FinVeriQA: Warum KI-Finanzagenten unabhängige Prüfer brauchen

AIFinVeriQA: Warum KI-Finanzagenten unabhängige Prüfer brauchen

Sprachmodelle schreiben flüssige Finanzanalysen, verrechnen sich aber und ordnen Belege falschen Unternehmen zu. Das zeigt die Studie FinVeriQA, die am 18. November 2026 auf arXiv erschienen ist. Für Häuser, die KI-Agenten im Research einsetzen wollen, zählt damit vor allem die Architektur um das Modell herum.

Arbeitsteilung statt Alleskönner

Das Autorenteam um Meenakshi Rajpurohit hat einen quelloffenen Prototyp gebaut, der auf SEC-Filings und Live-Marktdaten zugreift. Jede Aufgabe übernimmt dort die Komponente, die sie am verlässlichsten löst. Ein kompaktes Modell namens Laya verteilt die Fragen und sortiert Anfragen nach Anlageberatung aus. Python berechnet jede Zahl, Retrieval und Werkzeuge liefern die Belege.

Das Sprachmodell Mistral-7B formuliert nur noch die Antwort mit Quellenangaben. Ein Code-Validator prüft am Ende, ob die zitierten Belege existieren und die Zahlen zu den Berechnungen passen. Über das Model Context Protocol (MCP), einen offenen Standard zur Anbindung von KI-Werkzeugen, lässt sich die Pipeline in andere Anwendungen einbinden. Der Code liegt öffentlich auf GitHub.

Was die Messwerte zeigen

Die deutlichste Zahl betrifft das Rechnen. Mistral-7B löste nur 29 von 100 Finanzberechnungen korrekt, Python dagegen alle. Bei Kursen sank der Preisfehler durch einen Live-Abruf von 210 Prozent auf null. Ein Modell, das Kurse aus dem Gedächtnis nennt, liefert veraltete Werte mit großer Selbstsicherheit.

Auch bei der Verteilung der Fragen schlug das spezialisierte Modell die Generalisten deutlich. Ein größeres Mistral-Modell entschied nicht besser als das kleine. Ein Reasoning-Modell von DeepSeek kam näher heran, war aber rund zehnmal langsamer.

Die Lücke in der Prüfung

Aufschlussreich ist eine Fallstudie der Autoren. Zwei Antworten des Agenten bestanden alle Prüfungen des Validators. Dennoch beschrieben sie Beispieldaten von AMD unter den Namen Nvidia und Alphabet. Der Validator kontrollierte, ob Zitat und Zahl zusammenpassen, aber nicht, zu welchem Unternehmen der Beleg gehört.

Ein zweiter Versuch verschärft den Befund. Die Autoren verfälschten eine einzige Zahl in den Belegen, die alle Durchläufe nutzten. Die Durchläufe blieben untereinander weitgehend einig, die Genauigkeit fiel jedoch auf null. Eine Prüfung gegen dieselben Belege erkannte 35 Prozent der Fehler, ein Abgleich mit der Originalpassage 77 Prozent.

Was Entscheider daraus ableiten

Für Asset Manager und Banken ergibt sich daraus ein Prüfraster für KI-Research-Werkzeuge. Zu klären ist, ob Zahlen aus Code stammen, ob Kurse live abgerufen und wogegen Belege geprüft werden. Eine Kontrolle, die nur die eigenen Zwischenergebnisse eines Systems abgleicht, erzeugt eine Sicherheit, die nicht trägt.

Einschränkend gilt: FinVeriQA ist ein Forschungsprototyp mit kleinen Testmengen und kompakten Open-Source-Modellen. Ob sich die Befunde auf große kommerzielle Modelle übertragen lassen, ist nach unserer Einschätzung offen. Ungeklärt bleibt auch, wie sich Abgleiche mit Originaldokumenten in Research-Prozesse einfügen, ohne die Antwortzeiten zu sprengen.

* DE: Die ergänzenden Inhalte können KI-generiert sein. EN: The additional content may be AI-generated.