Wir diskutieren den möglichen Einsatz großer Sprachmodelle und generativer KI im Rechtswesen und erörtern, wie sich dieser evaluieren lässt. Dazu gehen wir auf bisherige Ansätze zur Evaluierung von großen Sprachmodellen, insbesondere am Beispiel des HELM-Projektes (holistic evaluation of large language models) ein und stellen erste explorative Versuche aus dem deutschsprachigen Raum, die Leistungsfähigkeit großer Sprachmodelle zu bewerten, vor. Auf dieser Basis entwickeln wir Anforderungen an eine systematische Methodik für künftige Evaluierungsstudien.