NVIDIA Nemotron 3 Diarization volgt acht sprekers in audio

Automatische spraakherkenningstools blinken uit in het transcriberen van gesproken woorden, maar transcriptie alleen laat cruciale context van gesprekken buiten beschouwing. Zonder inzicht in wie wanneer spreekt, kan software immers niet bepalen wie een toezegging heeft gedaan, wie een bezwaar naar voren bracht of wie een andere deelnemer tijdens een discussie onderbrak. Sprekerdiarisatie levert de noodzakelijke tijdstempels voor elke deelnemer, waardoor achterliggende taalmodellen en analytische verwerkingspijplijnen elke uitspraak nauwkeurig aan de juiste spreker kunnen toewijzen. NVIDIA heeft zijn spraakecosysteem nu verder uitgebreid met de publicatie van Nemotron 3 Diarization, een model met open gewichten en 100 miljoen parameters dat ontworpen is om tot acht sprekers tegelijkertijd te onderscheiden binnen zowel offline audiobestanden als streaming audio met een lage latentie.

Architectuur en sprekerherkenning op volgorde van binnenkomst

Nemotron 3 Diarization ondersteunt enkelkanaals 16 kHz-audio in gangbare bestandsindelingen zoals .wav, .flac, .opus en .mp3. Het systeem zet ruwe audio eerst om in zogeheten Mel-spectrogramfeatures met een framestap van 10 milliseconden. Deze features worden vervolgens met een factor acht gestapeld om encoderframes van 80 milliseconden te vormen. De resulterende frames worden verwerkt door een Transformer-encoder van 31 lagen die is uitgerust met roterende positionele inbeddingen (RoPE). Vervolgens schaalt een eendimensionale convolutionele laag de uitvoer van de encoder weer op naar een temporele resolutie van 10 milliseconden. Dit levert een tensor op met dimensies [T, 8], die voor elk tijdstapje de activeringswaarschijnlijkheid van acht potentiële sprekerkanalen weergeeft.

Deze meerkanaals representatie maakt het mogelijk om direct met overlappende spraak om te gaan. Wanneer twee deelnemers gelijktijdig praten, registreren twee afzonderlijke kanalen binnen exact hetzelfde tijdframe een positieve waarschijnlijkheidswaarde. De architectuur bouwt voort op de Sortformer-methodologie door sprekers strikt te ordenen op basis van het moment waarop ze voor het eerst te horen zijn. De eerst waargenomen stem wordt toegewezen aan kanaal één, de volgende aan kanaal twee, en daaropvolgende stemmen vullen de resterende beschikbare kanalen op. Dit mechanisme waarborgt een stabiele en consistente anonieme toewijzing van sprekerslabels gedurende live streamingsessies, zonder dat permutaties over opeenvolgende audiobrokken opnieuw moeten worden berekend.

• Arrival-Order Speaker Cache (AOSC): Bewaart historische representaties van sprekers uit eerdere audiobrokken, georganiseerd per kanaal.
• First-in, first-out (FIFO) wachtrij: Voedt onmiddellijk voorafgaande framecontext direct aan het actieve encoderingsvenster.
• Rechtercontextbuffer: Neemt audio op die direct volgt op het huidige audioblok om nauwkeurige overgangen tussen sprekergrenzen te ondersteunen.
• Anonieme identiteitstoewijzing: Achterliggende systemen koppelen de numerieke kanaaluitvoer aan werkelijke personen via actieve sprekervalidatie of metadata.

Bedrijfslatenties en benchmarkprestaties

Het model kan worden geconfigureerd met variabele invoerbufferlatenties die worden berekend op basis van de blokgrootte en de rechtercontext vermenigvuldigd met 80 milliseconden. NVIDIA definieert vier primaire operationele instellingen: 30,4 seconden voor offline verwerkingstaken, naast streamingbuffers van 1,04 seconden, 0,64 seconden en 0,32 seconden. Hoewel een extreem lage buffer van 80 milliseconden technisch haalbaar is, noemt NVIDIA 0,32 seconden als de laagste aanbevolen drempel voor betrouwbare spraakverwerking. Deze metingen hebben uitsluitend betrekking op de invoeraudiobuffering en zijn exclusief hardwarematige uitvoeringstijd, netwerkoverdracht en berekeningen voor automatische spraakherkenning.

Tijdens de initiële Voice Arena Diarization-Bench evaluatie over 139 Engelstalige gesprekken met een totale duur van ongeveer 22 uur, behaalde Nemotron 3 Diarization de eerste plaats tussen 12 systemen en 17 configuraties. Gemeten onder omstandigheden met overlappende spraak, door het systeem gegenereerde detectie van spraakactiviteit en een kraag ('collar') van nul, noteerde het model een diarization error rate (DER) van 14,72%. Dit betekent een relatieve foutreductie van ongeveer 24% ten opzichte van de 19,3% DER van het op een na beste systeem, terwijl het model tevens leidend bleef bij kragen van 100 milliseconden en 250 milliseconden voor zowel online als fysiek opgenomen audiomateriaal. NVIDIA merkt op dat deze benchmarkresultaten nog onderhevig zijn aan herziening na afronding van de definitieve Versie 1-beoordeling door Voice Arena.

In vergelijking met NVIDIA's eerdere model voor vier sprekers (diar_streaming_sortformer_4spk-v2.1) bij een latentie van 1,04 seconden, verlaagde Nemotron 3 Diarization de DER in alle acht geteste omstandigheden, met relatieve verbeteringen variërend van 9,0% op CALLHOME-Part2 tot 65,2% op NOTSOFAR1 MHM. De ongewogen gemiddelde relatieve DER-reductie over deze acht benchmarks kwam uit op 41,0%. Er trad één geïsoleerde regressie op bij de 2-sprekersvariant van CALLHOME bij 30,4 seconden latentie, waar de DER steeg van 5,68% naar 5,98%, hoewel de volledige CALLHOME-Part2-evaluatie juist verbeterde van 10,32% naar 9,10%. Bovendien bereikte de gecompileerde doorvoer met een batchgrootte van 32 op een NVIDIA RTX PRO 5000 GPU met BF16-precisie een real-time factor (RTFx) van 15.113x bij 30,4 seconden, vergeleken met 2.619x voor de eerdere basislijn.

Trainingsdata, implementatie en praktische beperkingen

De training van deze architectuur met 100 miljoen parameters vereiste een combinatie van circa 10.000 uur aan echte gespreksaudio met 82.611 uur aan gesimuleerde mengsels van meerdere sprekers. De gesimuleerde dataset maakte gebruik van gelicentieerde bronaudio in 21 talen, aangevuld met authentieke opnames van meerdere sprekers die in licentie zijn verkregen van David AI. De toevoeging van de David AI-corpora verlaagde de samengestelde diarisatiefout van 11,19% naar 10,42% in offline en ultra-lage-latentietesten.

Nemotron 3 Diarization wordt verspreid onder de OpenMDW License 1.1 op Hugging Face, wat commercieel gebruik toestaat. Het model functioneert binnen het NVIDIA NeMo Speech-framework op Linux-systemen die zijn uitgerust met NVIDIA Ampere-, Ada Lovelace-, Hopper- of Blackwell-GPU's en vereist Python 3.12 of nieuwer. Voor end-to-end transcriptie van meerdere sprekers kan het model worden gekoppeld aan spraakherkenningsmodellen zoals Parakeet TDT 0.6B v3. Implementatie wordt momenteel ondersteund via platforms zoals Baseten en DigitalOcean, met lokale apparaatintegratie via de Argmax Pro SDK 3, terwijl Hugging Face Inference Providers momenteel nog niet worden ondersteund.

Organisaties die het systeem inzetten, moeten rekening houden met inherente architectonische beperkingen. Het model stelt een harde limiet van maximaal acht gelijktijdige sprekers; interacties die deze drempel overschrijden leiden tot gemiste spraak of verkeerd toegewezen kanalen. Daarnaast kunnen ernstige akoestische galm, zware achtergrondruis, opnames via verreveldsmicrofoons en verschuivingen in het brondomein de foutpercentages van de diarisatie doen toenemen.

Consequenties voor zakelijke spraakverwerking

Voor technische teams die werken aan conversationele intelligentie, analyse van klantcontactcentra en realtime vergaderassistenten, biedt Nemotron 3 Diarization een commercieel inzetbare open-weight component die complexe, overlappende dialogen kan ontleden. Door de capaciteit voor gelijktijdige sprekers te verdubbelen van vier naar acht en een stabiele kanaaltoewijzing in streamingmodus te garanderen, kunnen organisaties responsieve transcriptiesystemen opzetten die uitspraken en toezeggingen nauwkeurig toeschrijven, zonder afhankelijk te zijn van gesloten, externe diarisatie-API's.