NVIDIA Nemotron 3 Diarization erkennt acht Stimmen im Audio

Automatische Spracherkennungssysteme zeichnen sich durch eine präzise Transkription des gesprochenen Wortes aus, doch eine reine Textabschrift lässt den entscheidenden Kontext einer Unterhaltung oft unberücksichtigt. Wenn unklar bleibt, welcher Teilnehmer zu welchem Zeitpunkt spricht, kann eine Software weder nachvollziehen, wer eine Zusage gemacht hat, noch wer Einwände erhoben oder eine andere Person unterbrochen hat. Die Sprecherdiarisierung liefert die erforderlichen Zeitstempel für alle beteiligten Personen. Dadurch wird es nachgelagerten Sprachmodellen und Analysepipelines ermöglicht, jede einzelne Äußerung exakt zuzuordnen. NVIDIA erweitert sein Sprachökosystem nun mit der Veröffentlichung von Nemotron 3 Diarization, einem Open-Weight-Modell mit 100 Millionen Parametern, das speziell darauf ausgelegt ist, bis zu acht Sprecher sowohl in Offline-Audiodateien als auch in echtzeitnahen Streaming-Szenarien mit geringer Latenz zu unterscheiden.

Architektur und sprecherbezogene Reihenfolgeverfolgung

Nemotron 3 Diarization verarbeitet einkanalige 16-kHz-Audiosignale in gängigen Standardformaten wie .wav, .flac, .opus und .mp3. Das System wandelt die rohen Audiodaten zunächst mit einer Schrittweite von 10 ms in Mel-Spektrogramm-Merkmale um. Diese Merkmale werden anschließend um den Faktor acht zusammengefasst, sodass 80 ms lange Encoder-Frames entstehen. Diese Frames durchlaufen einen 31-lagigen Transformer-Encoder, der mit sogenannten Rotary Positional Embeddings (RoPE) ausgestattet ist. Eine eindimensionale Faltungsschicht (1D-Konvolution) skaliert die Ausgaben des Encoders wieder auf eine zeitliche Auflösung von 10 ms hoch und liefert einen Tensor mit den Dimensionen [T, 8], welcher für jeden Zeitschritt die Aktivierungswahrscheinlichkeit für acht potenzielle Sprecherkanäle abbildet.

Diese mehrkanalige Repräsentation ermöglicht die direkte Erfassung von überlappender Sprache. Wenn zwei Teilnehmer gleichzeitig sprechen, verzeichnen zwei separate Kanäle innerhalb desselben Zeitrahmens positive Wahrscheinlichkeiten. Die Architektur baut auf dem Sortformer-Verfahren auf, bei dem Sprecher strikt nach der zeitlichen Reihenfolge ihres Erscheinens geordnet werden. Die zuerst erkannte Stimme wird Kanal eins zugewiesen, die nächste Kanal zwei, während nachfolgende Stimmen die verbleibenden Plätze belegen. Dieser Mechanismus stellt eine stabile, anonyme Kanalzuordnung über fortlaufende Streaming-Abschnitte hinweg sicher, ohne dass Permutationen zwischen aufeinanderfolgenden Audio-Chunks neu berechnet werden müssen.

• Arrival-Order Speaker Cache (AOSC): Speichert historische Sprecherrepräsentationen aus vorherigen Audio-Chunks kanalbezogen ab.
• First-in-First-out-Warteschlange (FIFO): Führt den Kontext der unmittelbar vorangegangenen Frames direkt in das aktive Kodierungsfenster ein.
• Rechter Kontextpuffer: Liest Audiodaten direkt nach dem aktuellen Chunk ein, um präzise Übergänge an Sprechergrenzen zu unterstützen.
• Anonyme Identitätszuweisung: Nachgelagerte Systeme ordnen numerische Kanalausgaben konkreten Personen über aktive Sprecherverifikation oder Metadaten zu.

Betriebslatenzen und Benchmark-Ergebnisse

Das Modell unterstützt flexible Latenzeinstellungen für den Eingangspuffer, die sich aus der Chunk-Größe und dem rechten Kontext multipliziert mit 80 ms berechnen. NVIDIA hebt vier zentrale Betriebspunkte hervor: 30,4 Sekunden für Offline-Workloads sowie Streaming-Puffer von 1,04 Sekunden, 0,64 Sekunden und 0,32 Sekunden. Zwar ist technisch ein extrem kleiner Puffer von 80 ms realisierbar, NVIDIA stuft 0,32 Sekunden jedoch als den niedrigsten empfohlenen Schwellenwert für eine verlässliche Sprachverarbeitung ein. Diese Werte beziehen sich ausschließlich auf die Pufferung des Eingangsaudios und schließen Hardwareausführung, Netzwerkübertragung sowie ASR-Berechnungen aus.

Bei der ersten Evaluierung im Voice Arena Diarization-Bench, basierend auf 139 englischsprachigen Konversationen mit einer Gesamtdauer von rund 22 Stunden, belegte Nemotron 3 Diarization den ersten Platz unter 12 Systemen und 17 Konfigurationen. Unter Bedingungen mit Sprachüberlappung, systemgenerierter Sprachaktivitätserkennung und einem Null-Toleranzfenster (Zero Collar) erzielte das Modell eine Diarisierungsfehlerrate (DER) von 14,72 %. Dies entspricht einer relativen Fehlerratensenkung von rund 24 % gegenüber dem zweitplatzierten System mit 19,3 % DER. Das Modell führte das Testfeld zudem bei Toleranzfenstern von 100 ms und 250 ms für Online- und Präsenzaudio an. NVIDIA weist darauf hin, dass diese Werte nach Abschluss der finalen Prüfung von Voice Arena Version 1 noch überarbeitet werden können.

Im direkten Vergleich mit NVIDIAs früherem 4-Sprecher-Checkpoint (diar_streaming_sortformer_4spk-v2.1) bei einer Latenz von 1,04 Sekunden reduzierte Nemotron 3 Diarization die DER in allen acht getesteten Bedingungen. Die relativen Verbesserungen reichten von 9,0 % bei CALLHOME-Part2 bis hin zu 65,2 % bei NOTSOFAR1 MHM. Die ungeweichtete mittlere relative DER-Reduktion über diese acht Benchmarks betrug 41,0 %. Eine isolierte Regression trat beim 2-Sprecher-CALLHOME-Datensatz bei 30,4 Sekunden Latenz auf, wo die DER von 5,68 % auf 5,98 % stieg; die vollständige Evaluierung von CALLHOME-Part2 verbesserte sich dennoch von 10,32 % auf 9,10 %. Zudem erreichte der kompilierte Durchsatz bei Batch-Größe 32 auf einer NVIDIA RTX PRO 5000 GPU mit BF16-Präzision einen Echtzeitfaktor von 15.113x RTFx bei 30,4 Sekunden, verglichen mit 2.619x beim Basismodell.

Trainingsdaten, Implementierung und praktische Grenzen

Das Training der 100M-Parameter-Architektur stützte sich auf eine Kombination aus etwa 10.000 Stunden realen Gesprächsaufnahmen und 82.611 Stunden simulierter Mehrsprecher-Mischungen. Der simulierte Datensatz nutzte lizenziertes Ausgangsmaterial aus 21 Sprachen sowie von David AI lizenzierte Realdaten mit mehreren Sprechern. Die Integration der David-AI-Daten senkte die zusammengesetzte Fehlerrate über Offline- und Ultraniedriglatenz-Tests von 11,19 % auf 10,42 %.

Nemotron 3 Diarization wird unter der OpenMDW-Lizenz 1.1 auf Hugging Face bereitgestellt, die eine kommerzielle Nutzung gestattet. Das Modell läuft innerhalb des NVIDIA NeMo Speech Frameworks auf Linux-Systemen mit NVIDIA-GPUs der Architekturen Ampere, Ada Lovelace, Hopper oder Blackwell und setzt Python 3.12 oder neuer voraus. Für eine vollständige Transkription kann das Modell mit Spracherkennungsmodellen wie Parakeet TDT 0.6B v3 gekoppelt werden. Bereitstellungen werden derzeit über Plattformen wie Baseten und DigitalOcean unterstützt; für On-Device-Integrationen steht das Argmax Pro SDK 3 zur Verfügung. Hugging Face Inference Providers werden hingegen bislang noch nicht unterstützt.

Bei der Integration müssen Unternehmen architektonische Einschränkungen berücksichtigen: Das System ist strikt auf maximal acht simultane Sprecher begrenzt. Werden mehr Sprecher aktiv, führt dies zu Auslassungen oder Fehlzuordnungen. Zudem können starker Nachhall, laute Hintergrundgeräusche, Fernfeldaufnahmen und Abweichungen in der Domänenverteilung die Fehlerraten erhöhen.

Bedeutung für unternehmensweite Sprachverarbeitung

Für Entwicklungsteams, die Conversational Intelligence, Contact-Center-Analysen oder Meeting-Assistenten in Echtzeit implementieren, bietet Nemotron 3 Diarization eine kommerziell nutzbare Open-Weight-Lösung zur Analyse komplexer, überlappender Dialoge. Durch die Verdopplung der maximalen Sprecherzahl von vier auf acht und die konsistente Kanalzuordnung im Streaming-Modus können Organisationen reaktionsschnelle Transkriptionssysteme aufbauen, die Aussagen zuverlässig zuordnen, ohne auf proprietäre Diarisierungs-APIs angewiesen zu sein.