NTT trimmt ein LLM mit wenig Daten auf Fachwissen: 83,1 %

Der japanische Konzern NTT hat am 12. November 2026 ein neues Tuning-Verfahren vorgestellt, mit dem ein großes Sprachmodell (LLM) das Wissen aus den Arbeitshandbüchern eines Unternehmens aufnehmen soll. Laut der Pressemitteilung von NTT erzeugt das LLM dabei selbst aus mehreren Blickwinkeln die Daten, mit denen es lernt, sodass keine riesigen Dokumentenmengen gesammelt werden müssen. Laut AI Watch erreichte der Test mit dem hauseigenen Modell tsuzumi 2 eine Quote richtiger Antworten von 83,1 %.

Warum scheitert klassisches Tuning an Unternehmensdaten?

Tuning bedeutet, ein bestehendes LLM an einen bestimmten Zweck oder eine Aufgabe anzupassen. Laut INTERNET Watch brauchte man bisher extrem große Datenmengen, damit ein Modell Fachwissen eines Betriebs behält; die Dokumente, die ein Unternehmen besitzt, sind weit davon entfernt. In der Pressemitteilung von NTT heißt es, eine A4-Textseite umfasse einige Kilobyte, während das übliche Verfahren, das das gesamte Modell neu trainiert, Daten im Bereich von mehreren Dutzend Gigabyte benötige.

AI Watch nennt als Praxiswert rund 1.000 PDF-Dateien mit jeweils bis zu etwa 100 Seiten. Wiederholt man so wenig Text einfach im Training, kommt es laut dem Medium zu Überanpassung: Das Modell merkt sich exakte Formulierungen oder Paragrafennummern, antwortet aber nicht mehr, wenn die Frage in einem anderen Zusammenhang gestellt wird. NTT ergänzt, dass ähnliche Informationen aus dem Internet geschäftsfremdes Rauschen hineintragen und ein hochwertiger Datensatz schwer aufzubauen sei.

Wie erstellt das LLM sein eigenes Lernmaterial?

NTT orientierte sich daran, wie Menschen in der Schule lernen. Laut Pressemitteilung liest man im Sprachunterricht einen Text nicht nur, sondern beantwortet Fragen zur Absicht des Autors und tauscht Eindrücke mit Mitschülern aus. Das Verfahren überträgt diesen Gedanken: Das LLM übernimmt die Rolle des Lehrmaterial-Erstellers, erzeugt aus dem Handbuch vielfältige Lerndaten und lernt anschließend damit.

AI Watch nennt drei Formen erzeugter Daten:

• das FAQ-Format, das den Inhalt des Handbuchs in Fragen und Antworten nach dem Vorbild realer Anfragen umformt;
• das Tabellenformat, das mehrere Bedingungen oder Fristen ordnet und strukturiert;
• das Dialogformat, in dem ein Schüler und ein Lehrer Hintergrund und Absicht einer Regel vertiefen.

Ebenfalls laut AI Watch nutzt auch die Datenerzeugung tsuzumi: Aus einer kleinen Menge Ausgangsdaten entstehen Trainingsdaten im Umfang von mehreren Milliarden bis zehn Milliarden Tokens (ein Token ist die Texteinheit, die ein LLM verarbeitet). NTT erklärt, das Verfahren lasse sich auf tsuzumi und auch auf andere LLM anwenden.

Wie belastbar ist die Zahl von 83,1 %?

NTT maß das Behalten mit echten Handbüchern: Dem Modell werden Fragen zum Inhalt des Handbuchs gestellt, und die Trefferquote wird verglichen. Laut Pressemitteilung erzielte tsuzumi 2 vor dem Lernen 65,3 %; frühere Arbeiten, die Texte aus anderen Blickwinkeln umformulieren, kamen höchstens auf 73,3 %; das neue Verfahren erreicht 83,1 %, also knapp zehn Punkte mehr.

Auch ein leichteres Modell wurde getestet. Laut AI Watch stieg Llama 3 (3B) von etwa 25 % auf knapp 60 % und schlug frühere Methoden durchgängig. Dasselbe Medium schreibt, in allgemeinen Benchmarks habe das Modell nach der Wissenszufuhr seine Grundfähigkeiten nicht eingebüßt. Ein Vorbehalt gilt: Die Multiple-Choice-Fragen hat NTT selbst entworfen, da es laut AI Watch keinen gemeinsamen Benchmark für unternehmensspezifisches Wissen gibt. Es sind also NTTs eigene Zahlen; in den gelesenen Artikeln findet sich kein Hinweis auf eine unabhängige Nachprüfung.

RAG oder spezialisiertes Modell?

Zur Nutzung interner Dokumente ist Retrieval-Augmented Generation (RAG) weit verbreitet, bei dem vor der Antwort passende Textstellen gesucht werden. AI Watch gibt die Einschätzung eines NTT-Vertreters wieder: Wo absolute Genauigkeit Vorrang hat, sei RAG zu empfehlen; bei sehr schnellen Antworten, etwa der Echtzeitanalyse vieler Anrufe in einem Contact Center, bringe die externe Suche Verzögerung und höhere Kosten, weil mehr Modelle und GPUs parallel laufen müssten. Ein Modell, das das Wissen schon enthält, antworte schneller und brauche weniger GPUs.

Laut derselben Quelle schließt das Verfahren RAG nicht aus. Beides lässt sich kombinieren, und ein Modell mit Branchen- und Hintergrundwissen verbessert auch die Suchqualität. Als Zielfelder nennt der Bericht Medizin und Finanzen, wo japanspezifische Regeln und Verfahren streng sind, sowie die Fertigungsindustrie mit vielen hausinternen Fachbegriffen.

Wie ist der Zeitplan, und was ändert sich für ein deutsches Unternehmen?

Laut Pressemitteilung soll das Verfahren in den Unternehmen der NTT-Gruppe eingeführt werden. AI Watch berichtet, NTT prüfe unter anderem einen verwalteten Cloud-Dienst: Das GPU-intensive Training liefe in Rechenzentren der Gruppe, das angepasste Modell ginge an den Kunden zurück. Preis und Starttermin nennen die gelesenen Artikel nicht. Die Ergebnisse werden auf dem NTT R&D FORUM 2026 vom 18. bis 25. November im Forschungszentrum Musashino in Tokio gezeigt; dort wird laut AI Watch auch das Konzept eines „selbstentwickelnden tsuzumi“ vorgestellt.

Für ein deutsches Unternehmen liegt die Lehre vor allem in der Methode. Passen die eigenen Verfahrensanweisungen in rund tausend Dokumente, kann es ein spezialisiertes Modell denkbar machen, wenn das Modell selbst Frage-Antwort-Paare, Tabellen und Dialoge schreibt, wo Datenmangel bisher abschreckte. Die gelesenen Artikel erwähnen keine Verfügbarkeit außerhalb Japans, und die Ergebnisse bleiben NTTs eigene: Vernünftig ist, zuerst die Trefferquote mit eigenen Dokumenten und eigenen Fragen zu messen und dann die Aufgabenteilung zwischen RAG und angepasstem Modell zu entscheiden.