NVIDIA Nemotron 3 Diarization 可追蹤語音中八位說話者

自動語音辨識工具在將口述內容轉錄為文字方面表現優異，但單純的逐字稿仍無法解決關鍵的對話語境問題。若無法釐清誰在何時說了什麼，軟體便難以判斷是哪一位發言者給予了承諾、提出了反對意見或在討論中插話。說話者日誌化（Speaker Diarization）能夠為每位參與者提供必要的時間戳記，使下游的語言模型與分析管道得以準確歸屬每一句話。NVIDIA 藉由推出開源權重模型 Nemotron 3 Diarization 進一步擴展其語音生態系統，該模型具備 1 億個參數，專門用於在離線檔案及低延遲串流音訊中辨識多達八位說話者。

架構設計與依到達順序的說話者追蹤機制

Nemotron 3 Diarization 支援 16 kHz 單聲道音訊，涵蓋 .wav、.flac、.opus 與 .mp3 等標準格式。系統會將原始音訊以 10 毫秒的幀步長轉換為 Mel 頻譜圖特徵，隨後進行 8 倍堆疊以產生 80 毫秒的編碼器幀。這些幀隨後通過一個配備旋轉位置編碼（RoPE）的 31 層 Transformer 編碼器。最後，一維卷積層將編碼器的輸出上採樣回 10 毫秒的時間解析度，輸出維度為 [T, 8] 的張量，代表每個時間步長中八個潛在說話者聲道的啟用機率。

這種多聲道表示法能夠直接處理重疊語音。若兩位參與者同時說話，兩個不同的聲道會在完全相同的幀內記錄正向機率。該架構建立在 Sortformer 方法論之上，嚴格依據說話者的到達時間進行排序。第一位被偵測到的聲音會被分配至第一聲道，下一位分配至第二聲道，其餘聲音則依序填入剩餘位置。此機制可確保在整個串流工作階段中保持穩定的匿名說話者標記，無需在連續的音訊區塊之間重新評估排列組合。

• 到達順序說話者快取（AOSC）：按聲道組織並保留來自先前音訊區塊的歷史說話者特徵表示。
• 先進先出（FIFO）佇列：直接向當前編碼視窗提供緊接在前的幀語境資訊。
• 右側語境緩衝區：載入緊接在當前區塊之後的音訊，以協助準確判定說話者的邊界轉換。
• 匿名身分指派：下游系統可透過活躍說話者驗證機制或相關元資料，將數值聲道輸出對應至實際個體。

運作延遲與基準測試表現評估

該模型支援可變的輸入緩衝區延遲設定，該設定是由區塊大小加上右側語境乘以 80 毫秒計算得出。NVIDIA 重點標註了四個主要運作設定點：適用於離線工作負載的 30.4 秒，以及 1.04 秒、0.64 秒與 0.32 秒的串流緩衝區。儘管技術上可以實現 80 毫秒的極端緩衝區，但 NVIDIA 指出 0.32 秒是確保語音處理可靠性的最低建議運作門檻。這些指標僅代表輸入音訊的緩衝時間，並不包含硬體執行、網路傳輸以及自動語音辨識的計算時間。

在針對 139 段總計約 22 小時的英語對話進行的初次 Voice Arena Diarization-Bench 評測中，Nemotron 3 Diarization 在 12 個系統與 17 種配置中奪得第一名。在涵蓋重疊語音、系統產生之語音活動偵測以及零容忍區間（zero collar）的評估條件下，該模型錄得 14.72% 的日誌化錯誤率（DER）。相較於第二名系統 19.3% 的 DER，這代表了約 24% 的相對降幅，同時在線上與實體面對面對話音訊中，於 100 毫秒及 250 毫秒容忍區間條件下亦維持領先。NVIDIA 指出，這些基準數據在 Voice Arena 完成最終 Version 1 審查後可能會有所修訂。

在 1.04 秒延遲設定下，與 NVIDIA 先前的 4 說話者檢查點（diar_streaming_sortformer_4spk-v2.1）相比，Nemotron 3 Diarization 在所有八項測試條件中均降低了 DER，相對改進幅度從 CALLHOME-Part2 的 9.0% 到 NOTSOFAR1 MHM 的 65.2% 不等。在這些基準測試中，未加權平均相對 DER 降幅達到了 41.0%。唯一單獨出現效能倒退的情況是在 30.4 秒延遲下的 2 說話者 CALLHOME 測試，其 DER 從 5.68% 上升至 5.98%，但完整的 CALLHOME-Part2 評測仍從 10.32% 改善至 9.10%。此外，在配備 BF16 精度的 NVIDIA RTX PRO 5000 GPU 上，經編譯後的 batch-32 吞吐量在 30.4 秒設定下達到了 15,113 倍即時因子（RTFx），大幅高於基準模型的 2,619 倍。

訓練資料、部署方案與實際應用限制

訓練此 1 億參數架構結合了大約 10,000 小時的真實對話音訊與 82,611 小時的模擬多人混音資料。模擬資料集採用了橫跨 21 種語言的授權來源音訊，並結合來自 David AI 授權的真實多說話者錄音。納入 David AI 語料庫後，在離線與超低延遲評估中將複合日誌化錯誤率從 11.19% 降低至 10.42%。

Nemotron 3 Diarization 透過 Hugging Face 以 OpenMDW License 1.1 釋出，允許商業使用。該模型可在配備 NVIDIA Ampere、Ada Lovelace、Hopper 或 Blackwell 架構 GPU 且執行 Python 3.12 或更新版本的 Linux 系統上，於 NVIDIA NeMo 語音框架內運作。為了實現端對端的多說話者逐字稿生成，該模型可與 Parakeet TDT 0.6B v3 等語音辨識模型搭配使用。目前已支援透過 Baseten 和 DigitalOcean 等平台進行部署，並可藉由 Argmax Pro SDK 3 實現裝置端整合，而 Hugging Face Inference Providers 目前尚未支援。

部署該系統的組織必須考量其內在的架構限制。該模型將同時追蹤的說話者上限嚴格鎖定為八人；若對話人數超出此門檻，將導致語音遺漏或聲道歸屬錯誤。此外，嚴重的聲學混響、高強度背景噪音、遠場麥克風收音以及領域分佈偏移，都可能使日誌化錯誤率上升。

對企業語音處理架構的實質效益

對於開發對話智慧、客服中心分析系統與即時會議助理的工程團隊而言，Nemotron 3 Diarization 提供了一個具備商業可行性的開源權重組件，能夠解析複雜的重疊對話。藉由將並行說話者上限從四人倍增至八人，並在串流模式下維持穩定的聲道指派，企業與組織能夠建構反應敏捷的轉錄系統，精準歸屬口述承諾與責任歸屬，而無需仰賴專有的黑箱日誌化 API 服務。