Mit Dory1.0-4B liegt ein kleines Sprachmodell von Nvidia vor, das seine Rechentiefe erst im Betrieb festlegt. Ein einziges Modell kann damit schnell und günstig oder langsamer und gründlicher antworten. Für Banken und Asset Manager, die KI im eigenen Rechenzentrum betreiben wollen, verschiebt das die Frage nach der passenden Modellgröße.
Wie das Modell seine Tiefe wählt
Klassische Sprachmodelle schicken jede Eingabe genau einmal durch einen festen Stapel von Schichten. Dory wiederholt dagegen einen mittleren Block von Schichten mehrmals, je nach Einstellung ein- bis viermal. Anfang November 2026 haben die Autoren das Verfahren in einem Fachaufsatz auf arXiv beschrieben. Die Gewichte stehen seit Mitte Oktober unter einer kommerziell nutzbaren Lizenz auf Hugging Face bereit.
Das Modell hat vier Milliarden Parameter und verarbeitet bis zu 256.000 Token Kontext, grob mehrere hundert Seiten Text. Trotz der Wiederholungen bleibt der Speicherbedarf konstant, weil das Modell nur die Zwischenstände der letzten Runde vorhält. Mehr Runden kosten also Rechenzeit, aber keinen zusätzlichen Arbeitsspeicher.
Was die Benchmarks zeigen und was offen ist
Mit zwei oder mehr Runden schlägt Dory laut den Autoren im Schnitt von zwölf Benchmarks größere Modelle wie Qwen3.5-9B. Die Zugewinne zeigen sich vor allem beim Programmieren und bei langen Dokumenten. Zugleich erzeugt das Modell bei schwierigen Aufgaben 1,3- bis 2,5-mal weniger Token als mit nur einer Runde. Das dürfte die längere Rechenzeit pro Token teilweise ausgleichen.
Alle Zahlen stammen vom Hersteller selbst, eine unabhängige Überprüfung steht noch aus. Unsere Einschätzung: Mehr Runden verbessern das Schlussfolgern, ersetzen aber kein Faktenwissen, das ein kleines Modell nicht gespeichert hat. Für wissenslastige Aufgaben bleiben größere Modelle daher vermutlich im Vorteil.
Was das für den KI-Einsatz in Finanzhäusern bedeutet
Viele Häuser im Asset- und Wealth Management wollen sensible Daten nicht an externe KI-Dienste geben. Kleine Modelle auf eigener Hardware sind deshalb attraktiv, bislang aber oft zu schwach für anspruchsvolle Aufgaben. Ein Modell mit wählbarer Tiefe könnte diese Lücke verkleinern: Kurze Anfragen laufen mit einer Runde, die Prüfung eines langen Prospekts mit vier.
Für die Planung heißt das: Die Kosten einer Anfrage hängen nicht mehr nur am gewählten Modell, sondern an einer Einstellung pro Aufgabe. IT und Fachbereich müssen festlegen, welche Aufgaben wie viel Rechenzeit verdienen. Statt mehrere Modelle vorzuhalten, genügt im Prinzip ein einziges.
Die Einstellung wird damit auch ein Thema für das Modellrisikomanagement. Dasselbe Modell kann je nach Rundenzahl unterschiedliche Antworten liefern. Wer KI in regulierten Prozessen einsetzt, sollte die gewählte Tiefe deshalb dokumentieren und mitprüfen.
Worauf es als Nächstes ankommt
Dory stammt aus Nvidias Forschungsreihe Nemotron Labs und ist kein fertiges Unternehmensprodukt. Entscheidend wird, ob unabhängige Tests die Herstellerzahlen bestätigen und gängige Inferenz-Software die Architektur stabil unterstützt. Offen bleibt auch, ob größere Modelle mit wählbarer Tiefe folgen und sich das Prinzip im Markt durchsetzt.
* DE: Die ergänzenden Inhalte können KI-generiert sein. EN: The additional content may be AI-generated.