NVIDIA Nemotron 3 Diarization rastreia oito vozes em áudio

As ferramentas modernas de reconhecimento automático de fala alcançaram grande precisão na transcrição textual de conversas gravadas, mas o registro bruto das palavras não resolve a totalidade das necessidades analíticas. Quando um sistema não identifica com exatidão quem falou e em qual momento exato ocorreu cada intervenção, torna-se impossível determinar quem assumiu um compromisso formal, quem apresentou uma objeção técnica ou quem interrompeu um colega durante uma reunião de negócios. A diarização de locutores resolve esse gargalo ao fornecer as marcas temporais precisas para cada participante, permitindo que modelos de linguagem e fluxos de automação atribuam cada sentença ao seu verdadeiro emissor. Para atender a essa demanda, a NVIDIA expandiu seu ecossistema de voz com o lançamento do Nemotron 3 Diarization, um modelo de pesos abertos com 100 milhões de parâmetros capaz de distinguir até oito participantes em arquivos estáticos e em transmissões de áudio com baixa latência.

Arquitetura e rastreamento ordenado por chegada

O Nemotron 3 Diarization aceita sinais de áudio monocanal a uma taxa de amostragem de 16 kHz nos formatos mais comuns, como .wav, .flac, .opus e .mp3. O processamento inicial converte o áudio bruto em representações de espectrograma Mel com deslocamento de janela de 10 milissegundos, que são subsequentemente agrupadas por um fator de oito para gerar quadros de entrada de 80 milissegundos destinados ao codificador. Esses blocos são processados por uma arquitetura de codificador Transformer de 31 camadas equipada com incorporações posicionais rotativas (RoPE). Em seguida, uma camada convolucional unidimensional realiza a sobreamostragem das saídas do codificador de volta para a resolução temporal de 10 milissegundos, gerando uma matriz de dimensões [T, 8] que expressa a probabilidade de ativação para oito canais potenciais de locutores em cada fração de segundo.

Essa representação multicanal resolve nativamente o problema clássico de vozes simultâneas. Quando dois interlocutores conversam ao mesmo tempo, dois canais distintos registram valores positivos de ativação dentro do mesmo quadro de tempo. O modelo se apoia nos princípios metodológicos do Sortformer, organizando a atribuição dos canais estritamente pela ordem de entrada na conversa: a primeira voz detectada ocupa o canal um, o locutor seguinte é associado ao canal dois e assim sucessivamente. Esse mecanismo mantém a identificação estável ao longo de todo o fluxo contínuo, dispensando o recálculo custoso de permutações entre blocos de processamento sucessivos.

• Cache de Locutores por Ordem de Chegada (AOSC): armazena representações históricas dos locutores a partir de blocos de áudio anteriores, mantendo a coerência por canal.
• Fila de execução First-in, first-out (FIFO): fornece o contexto imediato dos quadros precedentes diretamente para a janela de codificação ativa.
• Buffer de contexto à direita: processa frações do áudio imediatamente subsequentes ao bloco atual para suavizar transições de borda entre diferentes falantes.
• Atribuição de identidade anônima: possibilita que sistemas subsequentes vinculem os canais numéricos a identidades reais por meio de biometria vocal ou metadados de sessão.

Configurações de latência e desempenho em benchmarks

O modelo permite configurações flexíveis de latência no buffer de entrada, calculadas pelo tamanho do bloco somado ao contexto direito e multiplicadas pela base temporal de 80 milissegundos. A NVIDIA definiu quatro pontos principais de operação: 30,4 segundos para processamento offline em lote, além de buffers de streaming de 1,04 segundo, 0,64 segundo e 0,32 segundo. Embora uma configuração mínima de 80 milissegundos seja tecnicamente viável, a empresa recomenda 0,32 segundo como o limiar inferior para manter a confiabilidade. Esses intervalos referem-se estritamente ao acúmulo de áudio na entrada, sem incluir o tempo de inferência do hardware, o transporte pela rede ou a transcrição.

Na avaliação preliminar do Voice Arena Diarization-Bench, baseada em 139 conversas em língua inglesa totalizando quase 22 horas, o Nemotron 3 Diarization conquistou o primeiro lugar entre 12 sistemas concorrentes e 17 configurações analisadas. Em condições com fala sobreposta, detecção automática de atividade de voz e sem tolerância temporal (zero collar), o modelo obteve uma taxa de erro de diarização (DER) de 14,72%. O resultado equivale a uma redução relativa de aproximadamente 24% em relação aos 19,3% de DER registrados pelo segundo colocado. A liderança foi mantida nos testes com margens de tolerância de 100 e 250 milissegundos. A NVIDIA ressalta que essas métricas permanecem sujeitas a ajustes após a conclusão da revisão da Versão 1 do Voice Arena.

Quando comparado com o modelo anterior de quatro locutores da NVIDIA (diar_streaming_sortformer_4spk-v2.1) com latência de 1,04 segundo, o novo modelo reduziu o DER nas oito condições testadas, com melhorias relativas variando de 9,0% no CALLHOME-Part2 até 65,2% no NOTSOFAR1 MHM. A redução média não ponderada da taxa de erro atingiu 41,0% nesses cenários. Observou-se uma única regressão pontual no subconjunto CALLHOME de dois locutores com 30,4 segundos de latência, onde a DER subiu de 5,68% para 5,98%, embora o conjunto completo CALLHOME-Part2 tenha melhorado de 10,32% para 9,10%. Em termos de eficiência computacional, o throughput compilado em lote de tamanho 32 em uma GPU NVIDIA RTX PRO 5000 com precisão BF16 alcançou um fator de tempo real (RTFx) de 15.113x com 30,4 segundos de latência, superando a taxa de 2.619x do modelo de referência.

Dados de treinamento, implantação e limites práticos

O treinamento do sistema combinou cerca de 10.000 horas de áudio conversacional autêntico com 82.611 horas de composições simuladas com múltiplos falantes. O conjunto simulado utilizou fontes licenciadas em 21 idiomas distintos, somadas a gravações reais de múltiplos participantes licenciadas pela David AI. A inclusão das bases de dados da David AI ajudou a reduzir a taxa de erro de diarização composta de 11,19% para 10,42% nas avaliações que mesclam processamento offline e de ultrabaixa latência.

O Nemotron 3 Diarization foi disponibilizado no Hugging Face sob os termos da licença OpenMDW 1.1, que autoriza expressamente a exploração comercial. O modelo opera no ambiente de software NVIDIA NeMo Speech em estações Linux equipadas com placas gráficas das microarquiteturas Ampere, Ada Lovelace, Hopper ou Blackwell, exigindo Python 3.12 ou superior. Para fluxos de transcrição ponta a ponta com múltiplos locutores, ele pode ser integrado a modelos de reconhecimento como o Parakeet TDT 0.6B v3. A implementação em produção é viabilizada em plataformas de nuvem como Baseten e DigitalOcean, ou em dispositivos locais via Argmax Pro SDK 3, enquanto o suporte via Hugging Face Inference Providers ainda não está disponível.

As equipes que planejam implantar a tecnologia precisam considerar restrições operacionais intrínsecas. O limite estrutural do modelo é de no máximo oito pessoas conversando; interações que excedam esse número provocarão omissões ou trocas indevidas de canais. Além disso, fatores ambientais adversos, como reverberação acústica severa, ruídos intensos de fundo, captação por microfones distantes e variações acústicas fora da distribuição de treinamento, podem degradar a precisão da diarização.

O impacto prático para a infraestrutura empresarial

Para equipes de engenharia de software focadas em inteligência conversacional, monitoramento analítico de chamadas e assistentes de reuniões em tempo real, o Nemotron 3 Diarization representa um componente de pesos abertos de alta viabilidade econômica. Ao dobrar a capacidade de rastreamento de quatro para oito participantes simultâneos e garantir canais estáveis durante a transmissão ao vivo, as organizações podem estruturar sistemas de transcrição rápidos e confiáveis, capazes de registrar cada deliberação com precisão, sem a necessidade de recorrer a serviços proprietários e opacos de diarização em nuvem.