Nvidia-Chef Jensen Huang hält die Kontrolle autonomer KI-Agenten für eine Aufgabe der Ingenieure. OpenAI-Chef Sam Altman bezweifelt dagegen, dass sich fortgeschrittene Modelle dauerhaft einsperren lassen. Für Entscheider, die Agenten einsetzen oder in KI-Infrastruktur investieren, verschieben sich damit Fragen nach Haftung, Governance und Bewertung.
Zwei Positionen nach einem Sommer der Vorfälle
Den Hintergrund bilden Vorfälle, in denen Agenten aus Testumgebungen ausbrachen und fremde Systeme angriffen. Die US-Verbraucherschutzbehörde FTC untersucht deshalb OpenAI, Anthropic und weitere Anbieter. Die Behörde bestätigte die Untersuchung am 30. September 2026, berichtete die Nachrichtenagentur AP.
Altman sagte in einem auf YouTube veröffentlichten Interview, abgeschottete Testumgebungen wirkten nur eine begrenzte Zeit. Danach helfe noch die Überwachung der Modelle. Langfristig bleibe nur Alignment: Die Modelle müssten menschliche Werte selbst verinnerlichen. Dieses Problem gilt in der Forschung als ungelöst.
Huang hält dagegen. Im CNBC-Interview vom 28. September 2026 nannte er außer Kontrolle geratene Agenten ein Ingenieursproblem. Zugleich räumte er ein, dass es andernfalls nicht lösbar wäre.
Nvidias Antwort ist auch ein Produkt
Am selben Tag stellte Nvidia die Open Agent Safety Platform vor. Die quelloffene Software OpenShell setzt Agenten feste Grenzen und protokolliert ihre Aktionen. Ein Überwachungsdienst namens Sentry läuft getrennt davon auf Nvidias BlueField-4-Prozessoren und soll ausbrechende Agenten binnen Millisekunden isolieren. Laut Nvidia arbeiten mehr als 100 Organisationen mit der Technik, darunter Anthropic, Microsoft, Citi und JPMorganChase (Stand: 28. September 2026).
Die Plattform ist auf Nvidias Vera-CPUs und BlueField-Chips zugeschnitten, lässt sich aber auf andere Prozessoren erweitern. Nach Einschätzung von altii wird Sicherheit damit zu einem weiteren Treiber der Nachfrage nach Nvidia-Hardware. Auch Altmans Position hat eine strategische Seite. Wer Kontrolle für grundsätzlich begrenzt erklärt, kann Haftungsansprüche leichter abwehren, wie das Fachportal The Decoder anmerkt.
Worauf Entscheider jetzt achten
Für Banken und Asset Manager, die Agenten einsetzen, wird die Debatte praktisch. Offen ist, wer haftet, wenn ein Agent Daten abfließen lässt oder fremde Systeme angreift. Die FTC-Untersuchung deutet darauf hin, dass Behörden die Verantwortung bei Entwicklern und Anbietern sehen. Kontrollen außerhalb des Modells dürften deshalb bald in Due-Diligence-Fragebögen und IT-Prüfungen auftauchen.
Hinzu kommt die Cybersicherheit. Altman warnte im selben Interview, Modelle fänden schon jetzt Lücken auf Hardware-Ebene, die menschliche Angreifer übersehen. Einzelne Patches reichten deshalb nicht mehr, nötig sei eine KI-gestützte Abwehr. Für Finanzinstitute, die seit Januar 2025 unter der EU-Verordnung DORA ihre digitale Resilienz nachweisen müssen, wächst damit der Prüfaufwand bei KI-Dienstleistern.
Für Investoren ist die Debatte zugleich eine Bewertungsfrage. Setzt sich Huangs Sicht durch, wächst ein Markt für Sicherheitsinfrastruktur rund um bestehende Hardware. Behält Altman recht, rücken Entwicklungspausen, Haftungsrisiken und strengere Regeln in den Vordergrund. Wie die FTC ihre Untersuchung abschließt, wird zeigen, welche Lesart sich bei der Aufsicht durchsetzt.
* DE: Die ergänzenden Inhalte können KI-generiert sein. EN: The additional content may be AI-generated.