KI-Agenten unter Aufsicht: Warum das Audit-Log nicht mehr reicht

AIKI-Agenten unter Aufsicht: Warum das Audit-Log nicht mehr reicht

Banken und Asset Manager setzen zunehmend KI-Agenten ein, die Vorgänge selbst auslösen. Christoph Bieselt, Lead Innovation Designer bei Dayy, argumentiert im IT Finanzmagazin, dass Audit-Logs dafür keinen ausreichenden Kontrollnachweis liefern. Damit wird die Architektur eines Agenten zur Frage für Revision und Aufsicht.

Warum gleiche Eingaben verschiedene Antworten liefern

Klassische IT-Abnahme beruht auf Reproduzierbarkeit: Gleicher Zustand und gleiche Eingabe ergeben dasselbe Ergebnis. Bei Sprachmodellen, die über externe Schnittstellen laufen, gilt das nicht verlässlich. Bieselt nennt Batching, Rechenungenauigkeiten auf der Hardware und stille Modell-Updates als Ursachen. Das trifft selbst dann zu, wenn die Zufallskomponente des Modells auf null steht.

Das Forschungslabor Thinking Machines hat die Ursache im September 2025 genauer untersucht. Danach hängt das Ergebnis auch davon ab, wie viele Anfragen ein Server gerade gemeinsam verarbeitet. In einem Test mit 1.000 identischen Anfragen erhielten die Forscher 80 verschiedene Antworten. Die Serverlast wird so zu einer Variablen, die kein Anwender kontrolliert.

Was ein Log belegt und was nicht

Ein Audit-Log zeigt, was passiert ist. Eine Prüfung fragt aber auch, welche Handlungen möglich waren und was sie verhindert hat. Steht eine Freigabegrenze für Überweisungen nur als Text im System-Prompt, bleibt die Antwort vage. Der Agent hat dann so gehandelt, weil das Modell den Prompt in diesem Moment so verstanden hat.

Bieselt schlägt deshalb eine technische Vertragsebene vor. Das Modell darf eine Aktion vorschlagen, ausführen darf sie nur ein fest definiertes Tool. Dessen Parameter prüft der Code deterministisch, bevor etwas geschieht. Eine unzulässige Überweisung kann der Agent so zwar vorschlagen, aber nicht auslösen.

Den Stand eines Vorgangs, etwa eine erteilte Einwilligung, speichert die Anwendung als Fakt außerhalb des Chatverlaufs. Zudem erhält jede Sitzung eine unveränderliche, per Hash gekennzeichnete Version aller Regeln, Tools und Eskalationswege. Fragt die Revision Jahre später nach einem Vorgang, lässt sich die damals gültige Version zuordnen. Voraussetzung ist, dass das Institut jede Version vollständig archiviert.

Was das für Institute unter DORA bedeutet

Der Ansatz passt zur Linie der Aufsicht. Die BaFin hat im Dezember 2025 eine Orientierungshilfe zu IKT-Risiken beim Einsatz von KI veröffentlicht. Sie ist unverbindlich und verortet KI-Systeme im IKT-Risikomanagement nach DORA, über den gesamten Lebenszyklus. Besonderes Augenmerk legt sie auf das Management von IKT-Drittparteien, was Agenten auf Basis externer Modelle direkt betrifft.

Nach Einschätzung von altii gelten für Agenten damit dieselben Anforderungen an Steuerung und Nachweis wie für andere IKT-Systeme. Für Entscheider in Banken, Asset Management und Family Offices verschiebt sich dadurch die Frage. Wichtiger als die Wahl des Modells ist, wer die Grenzen eines Agenten festlegt und wer Änderungen freigibt. Das betrifft IT, Compliance und Fachbereich gemeinsam und gehört an den Anfang eines Projekts.

Welche Frage offen bleibt

Ungeklärt ist, wie sich das Verhalten probabilistischer Agenten belastbar testen lässt. Ein bestandener Test belegt noch nicht, dass die wesentlichen Risiken abgedeckt sind. Dayy arbeitet nach eigenen Angaben an einer Testmethodik dafür. Ob Prüfer solche Verfahren akzeptieren, dürfte sich erst in den kommenden Prüfungsrunden zeigen.

* DE: Die ergänzenden Inhalte können KI-generiert sein. EN: The additional content may be AI-generated.