Gesetze ändern sich, doch viele Prüfverfahren für juristische KI blenden das aus. Ein neuer Benchmark aus Thailand zeigt, wie stark Sprachmodelle abfallen, wenn sie mit dem falschen Gesetzestext arbeiten. Für Finanzhäuser, die KI in Recht und Compliance erproben, betrifft das die Frage, wie sie solche Systeme abnehmen.
Warum der Rechtsstand zählt
Ein Gericht entscheidet nach dem Recht, das am Tag der Entscheidung gilt. Gängige Benchmarks für juristische Frage-Antwort-Systeme bewerten Antworten dagegen am heutigen Recht. Pawitsapak Akarajaradwong, Sarana Nutanong und Chompakorn Chaksangchaichot haben diese Lücke vermessen. In ihrem Preprint auf arXiv werten sie 156.650 Entscheidungen von vier thailändischen Gerichten aus.
Bis zu 67 Prozent dieser Entscheidungen zitieren Recht, das inzwischen geändert oder aufgehoben wurde. Die Autoren haben daraus NitiBench+ gebaut, mit 1.670 Aufgaben aus 17 Rechtsgebieten. Zu jeder zitierten Vorschrift enthält der Datensatz die damals geltende und die aktuelle Fassung. Das Suchkorpus umfasst jede datierte Version jeder thailändischen Gesetzesvorschrift.
Was der falsche Gesetzestext kostet
Bewertet wird nach dem Schema der thailändischen Anwaltskammer auf einer Skala von null bis zehn Punkten. Lesen Modelle die heutige Fassung geänderter Vorschriften, sinkt ihre Punktzahl um 0,25 Punkte. Fehlt aufgehobenes Recht ganz, beträgt der Abschlag 0,79 Punkte. Getestet wurde das an 13 Modellen mit offenen Gewichten.
Der Verlust entsteht bei inhaltlichen Regeländerungen. Rein redaktionelle Änderungen kosten keine Punkte. Ein Maß, das nur die zitierten Paragrafen mit denen des Gerichts abgleicht, erkennt den Fehler nicht. Die Antwort nennt dann die richtige Vorschrift und gibt trotzdem den falschen Inhalt wieder.
Im zweiten Teil vergleichen die Autoren 26 aktuelle Modelle auf der korrekten Rechtsgrundlage. Das beste Modell erreicht 7,78 von zehn Punkten (Stand: 2. November 2026). Ohne Suchwerkzeug geben nur fünf Modelle mit offenen Gewichten überhaupt thailändisches Recht wieder.
Was Finanzhäuser daraus ableiten können
Thailändisches Recht spielt für Investoren im DACH-Raum kaum eine Rolle. Das Muster lässt sich nach unserer Einschätzung aber übertragen. Finanzregulierung wird laufend überarbeitet, vom Fondsrecht bis zu Offenlegungspflichten. Ein KI-Assistent, der eine veraltete Fassung heranzieht, liefert eine plausible, aber falsche Antwort.
Für Häuser, die KI in Compliance, Rechtsabteilung oder Fondsdokumentation testen, folgen daraus zwei Prüfpunkte. Die Wissensbasis braucht datierte Fassungen jeder Vorschrift. Die Bewertung muss zudem prüfen, ob eine Antwort zum jeweiligen Stichtag inhaltlich stimmt. Ein korrektes Zitat allein belegt das nicht, wie die Studie zeigt.
Die Arbeit ist noch nicht begutachtet, ihre Zahlen sind daher vorläufig. Die Autoren führen eine öffentliche Rangliste, die neue Modelle laufend aufnimmt. Ein vergleichbarer Test mit datierten Fassungen europäischen Aufsichtsrechts wäre aus unserer Sicht der naheliegende nächste Schritt. Bis dahin können Einkäufer von KI-Werkzeugen beim Anbieter erfragen, wie dessen System mit Rechtsständen umgeht.
* DE: Die ergänzenden Inhalte können KI-generiert sein. EN: The additional content may be AI-generated.