Nadellas Notbremse: Microsoft will KI-Modelle wie ein Insider-Risiko behandeln

Satya Nadella hat am 10. Oktober 2026 auf seinem persönlichen Blog einen Text mit dem Titel „Models as Insider Risks in the Super Intelligence Era“ veröffentlicht. In der deutschen Fachpresse wurde er vor allem als Forderung nach einer „Notbremse“ für künstliche Intelligenz aufgegriffen. Der Begriff erfasst nur einen Ausschnitt. Der Microsoft-Chef beschreibt eine Sicherheitsarchitektur, in der Unternehmen leistungsfähigen Modellen grundsätzlich misstrauen, weil sich deren Verhalten nicht mehr mechanistisch erklären lässt. Die Abschaltmöglichkeit ist dabei eines von sieben Prinzipien. Für Banken, Versicherer und Kapitalverwaltungsgesellschaften, die agentische KI in Research, Vertrieb oder Backoffice einsetzen, ist das weniger eine Zukunftsdebatte als eine Beschreibung dessen, was Aufsicht und Regulierung in Teilen bereits verlangen.

Die Kernthese: Intelligenz und Befugnis trennen

Nadellas Ausgangspunkt ist ein Verlust an Nachvollziehbarkeit. Klassische Software ließ sich auf konkrete Codepfade zurückführen. Bei heutigen Frontier-Modellen gelingt das nicht: Ihr Verhalten lässt sich weder bestimmten Trainingsdaten noch einer Konfiguration der Modellgewichte zuordnen. Gleichzeitig erhalten diese Systeme Zugriff auf sensible Daten und dürfen geschäftskritische Handlungen ausführen. Daraus leitet Nadella ab, dass die Bereitstellung von Intelligenz von der Befugnis über sie getrennt werden muss. Die Verantwortung für das, was ein System im Auftrag eines Unternehmens tut, lasse sich nicht auslagern, auch nicht an den Modellanbieter: Dessen Zusicherungen, schreibt er, „do not relieve us of that responsibility“.

Als Denkmodell schlägt er vor, Modelle mit geschlossenen wie mit offenen Gewichten so zu behandeln wie Personen mit weitreichendem Zugriff im Unternehmen. Gemeint ist keine Unterstellung böser Absicht. Jeder hinreichend fähige Akteur mit Zugang zu wichtigen Systemen kann Fehler machen oder kompromittiert werden, und die Kontrollarchitektur muss das berücksichtigen. Für solche Akteure gibt es bewährte Verfahren: Identität festlegen, Rechte begrenzen, Aktivitäten protokollieren, Eindämmungsgrenzen ziehen. Die Offenlegung der Denkschritte eines Modells (Chain of Thought) bezeichnet Nadella als unverzichtbar, aber nicht ausreichend, weil Modellausgaben nicht zuverlässig wiedergeben, wie ein Ergebnis tatsächlich zustande kam. Auch Modelle, die sich gegenseitig prüfen, lösen das Problem nur teilweise, denn am Ende überwacht eine undurchsichtige Instanz die andere. Die Kontrollen über Zugriff und Handlungsspielraum müssen deshalb außerhalb des Modells liegen. Nadella beruft sich dafür auf einen Grundsatz der Informationssicherheit aus den 1970er-Jahren: Ein Programm darf die Mechanismen, die seine Berechtigungen durchsetzen, weder umgehen noch manipulieren können.

Sieben Prinzipien, eines davon die Notbremse

Konkret formuliert Nadella sieben Gestaltungsprinzipien:

• Modellvielfalt: Kein einzelnes Modell soll alleinige Abhängigkeit für ein wichtiges Ergebnis sein oder die eigene Arbeit prüfen.
• Vollständige Beobachtbarkeit: Jede relevante Modellaktion hinterlässt manipulationssichere, für Menschen lesbare Spuren, sodass sich ein Ergebnis ohne Selbstauskunft des Modells rekonstruieren lässt.
• Verifizierbarkeit: Das Gesamtsystem wird laufend getestet, ausdrücklich auch mit Fehlern, Angriffen und Grenzfällen.
• Unabhängige Kontrollen: Die Organisation legt selbst fest, worauf ein Modell zugreift und was es tun darf.
• Unabhängige Prüfbarkeit: Die Validierung erfolgt unabhängig von der validierten Intelligenz.
• Eindämmung: Ein Modell gilt von Beginn an als potenziell kompromittiert. Eine befugte Person muss es jederzeit, auch mitten in einer Aufgabe, anhalten oder abschalten können.
• Offenlegung von Vorfällen: Betroffene werden zeitnah informiert, und die Branche teilt, welche Kontrollen versagt haben.

Das Bild der Notbremse stammt aus dem Eindämmungsprinzip und von Nadella selbst. Bemerkenswert ist der Zusatz, dass fortgeschrittenere Modelle auch fortgeschrittenere Eindämmungstechnik erfordern, für die es erst noch Standards geben muss. Sein Schlussgedanke kehrt die übliche Logik der Anbieterauswahl um: Am vertrauenswürdigsten sei nicht das System mit dem verlässlichsten Modell, sondern dasjenige, das es erlaubt, dem Modell am wenigsten vertrauen zu müssen.

Was der Text nicht ist

Konkrete Vorfälle nennt Nadella nicht. heise online stellt den Beitrag in den Zusammenhang KI-gestützter Hacking-Angriffe, der Blogtext selbst argumentiert strukturell. Einen Regulierungsvorschlag mit klarem Adressaten enthält er ebenfalls nicht; er ist die Positionsbestimmung eines Konzernchefs. The Decoder liest ihn ausdrücklich kritisch, als Versuch, das Vertrauen in Modellanbieter wie OpenAI und Anthropic zu schwächen.

Aus Sicht von altii gehört ein weiterer Punkt zur Einordnung: Microsoft verdient an Cloud-, Identitäts- und Sicherheitsinfrastruktur, also genau an der Schicht außerhalb des Modells, in der Nadella die Kontrolle verorten will. Das entwertet die Argumente nicht, zumal sie sich weitgehend mit etablierten Grundsätzen der Informationssicherheit decken. Es erklärt aber, warum ein Hyperscaler die Debatte gerade so rahmt. Zugleich enthält der Text eine Spitze, die Microsoft selbst trifft: Wer Kontrollen und Prüfbarkeit unabhängig von der Intelligenz organisieren will, kann sie schwerlich beim selben Anbieter bündeln, der auch das Modell liefert.

Für Finanzunternehmen ist vieles davon bereits Pflicht

Für den regulierten Finanzsektor liest sich ein Großteil der Prinzipien wie eine Übersetzung geltender Anforderungen. Der Digital Operational Resilience Act (Verordnung (EU) 2022/2554) gilt seit Januar 2025 unter anderem für Kreditinstitute, Versicherer und Kapitalverwaltungsgesellschaften. Er verlangt einen IKT-Risikomanagementrahmen mit Protokollierung, Tests, Meldung schwerwiegender IKT-Vorfälle und einem Management des Drittparteienrisikos, das Konzentrationsrisiken und Ausstiegsstrategien einschließt. Die BaFin hat am 18. Dezember 2025 eine unverbindliche Orientierungshilfe zu IKT-Risiken beim Einsatz von KI in Finanzunternehmen veröffentlicht, die KI ausdrücklich in diesen Rahmen einordnet und die Risiken entlang des gesamten Lebenszyklus bis zur Stilllegung betrachtet. Nadellas Modellvielfalt entspricht dort dem Umgang mit Konzentrationsrisiken und Exit-Planung, seine Beobachtbarkeit der Nachweisführung, seine Offenlegungspflicht dem Meldewesen, wenn auch gegenüber der Aufsicht und nicht gegenüber der Branche.

Die Notbremse selbst ist im europäischen Recht bereits angelegt, allerdings nur für einen engen Kreis von Anwendungen. Nach Artikel 14 der KI-Verordnung (Verordnung (EU) 2024/1689) müssen Hochrisiko-KI-Systeme so gestaltet sein, dass Menschen eingreifen oder das System über eine „Stopp“-Taste oder ein vergleichbares Verfahren in einen sicheren Zustand bringen können. Betreiber müssen die menschliche Aufsicht nach Artikel 26 kompetenten Personen übertragen. Zu den Hochrisiko-Anwendungen nach Anhang III zählen im Finanzsektor etwa die Kreditwürdigkeitsprüfung natürlicher Personen sowie Risikobewertung und Preisgestaltung in der Lebens- und Krankenversicherung. Durch das Digital-Omnibus-Paket gelten diese Pflichten für eigenständige Hochrisiko-Systeme erst ab dem 2. Dezember 2027 (Stand: Oktober 2026).

Der eigentliche Gehalt von Nadellas Vorschlag liegt deshalb in der Ausweitung. Er fordert die Abschaltbarkeit für jedes agentische System mit Zugriff auf wichtige Daten und Prozesse, unabhängig von seiner Einstufung. Ein Research-Agent, der Analystenberichte auswertet, ein System zur Portfolioüberwachung oder ein Assistent für die Kundenkommunikation fallen in aller Regel nicht unter die Hochrisiko-Kategorien der KI-Verordnung, wohl aber unter DORA.

Implikationen für Entscheider

Erstens ist die Notbremse vor allem eine Prozessfrage. Festzulegen ist, wer zum Anhalten befugt ist, woran ein Anlass erkannt wird und was ein sicherer Zustand konkret bedeutet. Ein Agent, der mitten in einer Aufgabe gestoppt wird, kann eine halb platzierte Order, einen teilweise versandten Mailing-Lauf oder einen unvollständig aktualisierten Datensatz hinterlassen. Ein Abbruch ohne definierten Rückfallzustand erzeugt ein neues operationelles Risiko.

Zweitens rückt die Abhängigkeit von einem einzigen Modell über einen einzigen Hyperscaler in den Blick. Viele Häuser haben ihre KI-Anwendungen auf einem Anbieter aufgebaut, weil das Integration und Beschaffung vereinfacht. Modellvielfalt kostet Geld und erhöht die Komplexität. Die Ausstiegsstrategien, die DORA ohnehin verlangt, setzen aber voraus, dass ein Wechsel technisch vorbereitet ist.

Drittens stellt sich die Frage, wem die Belege gehören. Wenn Protokolle und Prüfspuren in der Infrastruktur desselben Anbieters liegen, der auch Modell und Orchestrierung stellt, ist die von Nadella geforderte Unabhängigkeit kaum gegeben. Das verbindet die Debatte mit der Frage digitaler Souveränität, die für europäische Finanzunternehmen ohnehin auf der Agenda steht.

Offene Fragen

Nadella räumt selbst ein, dass die Standards für die Eindämmung leistungsfähiger Modelle noch fehlen. Offen ist, ob die Industrie sie selbst setzt oder ob Aufsichtsbehörden und Normungsgremien sie vorgeben, und wie sich ein Anhalten mitten in der Aufgabe bei Dutzenden parallel arbeitender Agenten zuverlässig umsetzen lässt. Auch die geforderte branchenweite Offenlegung von Vorfällen steht in einem Spannungsverhältnis zu Vertraulichkeit und Haftung, und das europäische Meldewesen sieht sie in dieser Form nicht vor. Für Finanzunternehmen ist die praktische Konsequenz dennoch klar umrissen: Die Kontrollarchitektur für KI gehört in den bestehenden IKT-Risikorahmen, und sie muss so gebaut sein, dass sie auch dann trägt, wenn dem Modell nicht vertraut werden kann. csa

* DE: Die ergänzenden Inhalte können KI-generiert sein. EN: The additional content may be AI-generated.