NTT leert een LLM bedrijfskennis met weinig data: 83,1% score

Het Japanse NTT kondigde op 12 november 2026 een nieuwe tuningtechniek aan waarmee een groot taalmodel (LLM) de kennis uit de werkhandleidingen van een bedrijf opneemt. Volgens het persbericht van NTT laat de methode het LLM zelf vanuit meerdere invalshoeken de gegevens maken waarmee het leert, zodat er geen enorme hoeveelheden documenten verzameld hoeven te worden. Volgens AI Watch haalde het model tsuzumi 2 in de test een percentage goede antwoorden van 83,1%.

Waarom schiet klassiek tunen tekort bij bedrijfsdata?

Tunen betekent een bestaand LLM aanpassen aan een bepaald gebruik of een bepaalde taak. Volgens INTERNET Watch waren tot nu toe extreem grote hoeveelheden data nodig om een model bedrijfskennis te laten onthouden, veel meer dan de documenten die een bedrijf heeft. Het persbericht van NTT vermeldt dat een A4-pagina tekst enkele kilobytes beslaat, terwijl de gangbare methode, die het hele model opnieuw traint, data van tientallen gigabytes vergt.

AI Watch noemt als praktijkwaarde ongeveer 1.000 pdf-bestanden van elk maximaal zo'n 100 pagina's. Zulke teksten gewoon herhalen in de training leidt volgens het medium tot overfitting: het model onthoudt precieze formuleringen of artikelnummers, maar kan niet meer antwoorden als de vraag in een andere context wordt gesteld. NTT voegt toe dat aanvullen met vergelijkbare informatie van internet ruis meebrengt die niets met het bedrijf te maken heeft en dat een hoogwaardige dataset moeilijk samen te stellen is.

Hoe maakt het LLM zijn eigen studiemateriaal?

NTT liet zich inspireren door hoe mensen op school leren. Volgens het persbericht lees je bij taalles een tekst niet alleen: je beantwoordt vragen over de bedoeling van de auteur en wisselt indrukken uit met klasgenoten. De techniek past die gedachte toe: het LLM treedt op als maker van leermateriaal, produceert uit de handleiding gevarieerde leerdata en leert daar vervolgens van.

AI Watch noemt drie vormen van gegenereerde data:

• het FAQ-formaat, dat de inhoud van de handleiding omzet in vragen en antwoorden naar het model van echte vragen uit de praktijk;
• het tabelformaat, dat meerdere voorwaarden of termijnen ordent en structureert;
• het dialoogformaat, waarin een leerling en een leraar de achtergrond en bedoeling van een regel uitdiepen.

Ook volgens AI Watch gebruikt de generatiemotor zelf tsuzumi: uit een kleine hoeveelheid brondata ontstaan trainingsdata van enkele miljarden tot tien miljard tokens (een token is de teksteenheid die een LLM verwerkt). NTT stelt dat de techniek toepasbaar is op tsuzumi en op andere LLM's.

Hoe betrouwbaar is de score van 83,1%?

NTT mat het onthouden met echte handleidingen: het model krijgt vragen over de inhoud van de handleiding en het percentage goede antwoorden wordt vergeleken. Volgens het persbericht scoorde tsuzumi 2 vóór het leren 65,3%; eerder onderzoek, dat teksten vanuit andere invalshoeken herschrijft, kwam hooguit op 73,3%; de nieuwe techniek haalt 83,1%, bijna tien punten meer.

Ook een lichter model werd getest. Volgens AI Watch steeg Llama 3 (3B) van ongeveer 25% naar bijna 60% en versloeg het eerdere methoden consequent. Hetzelfde medium meldt dat de basisvaardigheden van het model op algemene benchmarks niet afnamen na het toevoegen van kennis. Een kanttekening: de meerkeuzevragen zijn door NTT zelf opgesteld, omdat er volgens AI Watch geen gezamenlijke benchmark bestaat voor bedrijfsspecifieke kennis. Het zijn dus de eigen cijfers van NTT; in de gelezen artikelen staat niets over onafhankelijke herhaling.

RAG of een gespecialiseerd model?

Voor het benutten van interne documenten wordt veel retrieval-augmented generation (RAG) gebruikt, waarbij eerst relevante passages worden opgezocht. AI Watch geeft het standpunt van een NTT-medewerker weer: waar absolute nauwkeurigheid voorgaat, wordt RAG aanbevolen; bij taken die zeer snelle antwoorden vragen, zoals het realtime analyseren van veel gesprekken in een contactcenter, zorgt externe zoekactie voor vertraging en hogere kosten omdat meer modellen en gpu's tegelijk draaien. Een model dat de kennis al bezit, antwoordt sneller en heeft minder gpu's nodig.

Volgens dezelfde bron sluit de techniek RAG niet uit. Beide zijn te combineren en een model dat de branche- en bedrijfscontext kent, verbetert ook de zoeknauwkeurigheid. Als doelgebieden worden zorg en financiën genoemd, waar Japanse regels en procedures streng zijn, en de maakindustrie met veel eigen vakterminologie.

Wat is de planning en wat verandert er voor een Nederlands bedrijf?

Volgens het persbericht wordt de techniek ingevoerd bij bedrijven van de NTT-groep. AI Watch meldt dat NTT onder meer een beheerde clouddienst onderzoekt: het gpu-intensieve trainen zou in datacenters van de groep gebeuren en het afgestelde model gaat terug naar de klant. Prijs of lanceringsdatum staan niet in de gelezen artikelen. De resultaten worden getoond op het NTT R&D FORUM 2026 van 18 tot 25 november in het onderzoekscentrum van NTT in Musashino, Tokio, waar volgens AI Watch ook het concept van een 'zelf-evoluerende tsuzumi' wordt onthuld.

Voor een Nederlands bedrijf zit de les vooral in de werkwijze. Passen de eigen procedures in zo'n duizend documenten, dan kan het laten schrijven van vraag-antwoordparen, tabellen en dialogen door het model zelf een gespecialiseerd model haalbaar maken waar gebrek aan data eerder afschrikte. De gelezen artikelen vermelden geen beschikbaarheid buiten Japan en de resultaten blijven die van NTT: verstandig is eerst de score te meten met eigen documenten en eigen vragen en daarna te bepalen hoe het werk wordt verdeeld tussen RAG en een afgesteld model.