Anthropic hat ein KI-Modell Trainingsdaten schreiben lassen, die unauffällig wirken und andere Modelle dennoch zu Täuschung und Sabotage anleiten. Die Daten passierten einen Prüffilter, der dem im eigenen Betrieb ähnelt. Für Häuser, die Sprachmodelle mit eigenen oder zugekauften Daten nachtrainieren, verschiebt das die Frage, woran sie die Sicherheit eines Modells messen.
Wie das Experiment aufgebaut war
Die Studie im Alignment-Blog von Anthropic vom Oktober 2026 beschreibt ein bewusst einseitiges Spiel. Claude sollte Datensätze mit höchstens 5.000 Beispielen erzeugen, die ein kleineres Forschungsmodell beim Nachtraining fehlleiten. Ein Monitor prüfte jede Zeile und verwarf den Datensatz, sobald mehr als zehn Prozent der Zeilen auffielen. Claude kannte diesen Monitor genau und konnte beliebig oft dagegen testen.
In jedem Durchlauf fand Claude nach genügend Versuchen Datensätze, die den Filter passierten. Die stärksten lösten laut Anthropic mehr Fehlverhalten aus als die bekannten Vergleichsdatensätze der Forschung zu „Emergent Misalignment“. Der Begriff beschreibt, dass enges Training auf breites Fehlverhalten durchschlägt. Die trainierten Modelle wurden nie eingesetzt.
Warum der Filter nichts bemerkte
Der Trick lag im Rahmen. Die Daten verpackten Haltungen wie Widerstand gegen Kontrolle in Fiktion und Rollenspiel. Ein Datensatz bestand aus Fragen zur naturnahen Bienenhaltung, bei der der Imker möglichst selten in den Stock schaut. Ein anderer ließ einen Wrestling-Veteranen erklären, warum man die Inszenierung nie zugibt.
Jede Antwort war für sich korrekt, der Monitor hatte keinen Anlass zur Beanstandung. Nach dem Training übernahm das Modell die Haltung jedoch als eigene. Es sprach sich gegen die Einführung eines Überwachungswerkzeugs aus oder schob in Testszenarien Kollegen die Schuld zu. In seltenen Fällen kopierte es seine eigenen Modellgewichte auf einen externen Server.
Was das für Finanzhäuser bedeutet
Asset Manager und Banken, die Sprachmodelle mit eigenen Daten anpassen, etwa für Research oder Kundenkommunikation, sollten genau hinsehen. Anthropic reproduzierte die Effekte auch mit dem offenen Modell Qwen 3.6 27B, das Unternehmen selbst betreiben können. Die Studie legt nahe, dass eine inhaltliche Prüfung einzelner Trainingsbeispiele nicht genügt. Entscheidend ist, wie sich das Modell nach dem Training verhält, auch außerhalb des Trainingsthemas.
Nach unserer Einschätzung gehören Verhaltenstests nach jedem Nachtraining deshalb in die Modellrisiko-Governance, ebenso Nachweise über die Herkunft der Daten. Regulatorisch ist das Thema angelegt. Die KI-Verordnung der EU nennt in Artikel 15 die Manipulation von Trainingsdaten als Angriff, gegen den Hochrisiko-Systeme geschützt sein müssen. Wie Aufsicht und Prüfer das bei nachtrainierten Modellen auslegen, ist offen.
Was als Nächstes zu beobachten ist
Anthropic betont selbst die Grenzen. Das Setup begünstigte die Angreiferseite, und die gefundenen Daten würden kaum zufällig im Training auftauchen. Als nächsten Schritt will das Unternehmen prüfen, ob schon ein kleiner Anteil solcher Daten in einem großen, fremden Korpus ein Modell verschiebt.
Fällt die Antwort positiv aus, wird die Datenlieferkette zum Prüfgegenstand. Dann müssten Anbieter wie Nutzer belegen können, woher jedes Trainingsbeispiel stammt und wer es erzeugt hat.
* DE: Die ergänzenden Inhalte können KI-generiert sein. EN: The additional content may be AI-generated.