Onderzoekers hebben Nemotron 3 Diarization gepresenteerd, een geavanceerd AI-model dat is ontworpen om de precisie en snelheid van streaming speaker diarization te verhogen. Dit proces, waarbij een systeem bepaalt welke persoon op welk moment spreekt, is essentieel voor real-time audioanalyse met minimale vertraging. Het nieuwe model kan een groter aantal gelijktijdige sprekers onderscheiden terwijl de trainingstijd en het verbruik van rekenmiddelen drastisch zijn gedaald.
Architecturale vernieuwingen en capaciteit
In een wetenschappelijk rapport dat op 9 november 2026 werd gepubliceerd, leggen Ivan Medennikov en zijn team uit hoe de architectuur van het systeem is gestroomlijnd. Een belangrijke verbetering is de toename in capaciteit: waar eerdere versies beperkt waren tot vier sprekers, kan Nemotron 3 Diarization nu tot acht verschillende stemmen tegelijkertijd identificeren. Volgens de publicatie op arxiv.org is dit mogelijk gemaakt door de overstap naar een pure Transformer-encoder, die de vorige combinatie van een FastConformer-Transformer-stack vervangt.
Om de nauwkeurigheid van de analyses te verfijnen, maakt het model gebruik van een specifieke geleerde upsampling-laag. Deze techniek zet grove representaties van 80 milliseconden uit de encoder om naar een resolutie van 10 milliseconden. Hierdoor kan het systeem veel preciezer bepalen wanneer een spreker wisselt.
Efficiëntie en prestatiewinst
De nieuwe opzet biedt niet alleen functionele voordelen, maar is ook aanzienlijk efficiënter in gebruik. Hoewel het model twee keer zoveel sprekers kan verwerken, is het geheugengebruik tijdens de trainingsfase met een factor 2,8 afgenomen. Bovendien verloopt het trainingsproces 2,2 keer sneller dan bij de voorganger.
Voor praktische toepassingen is vooral de doorvoersnelheid tijdens de inferentie relevant, die tot 6,4 keer hoger ligt. Dit maakt het model uitermate geschikt voor streaming-toepassingen met een zeer lage latentie. De identiteit van sprekers over verschillende fragmenten heen wordt hierbij gewaarborgd via een zogenaamde 'arrival-order speaker cache', zoals verder toegelicht in de .
Benchmarks en open standaarden
De effectiviteit van het model is bewezen via diverse benchmarks. Nemotron 3 Diarization zet nieuwe standaarden voor de Diarization Error Rate (DER) op de CALLHOME en DIHARD III datasets. Daarnaast behaalt het systeem superieure resultaten in de tcpWER-metriek bij single-microphone condities van NOTSOFAR-1 en AMI wanneer het wordt gebruikt om DiCoW te conditioneren, wat wordt bevestigd in de .
In lijn met de open strategie van NVIDIA zijn de modelgewichten vrijgegeven onder de OpenMDW-1.1 licentie en is de trainingscode open source. Dit stelt ontwikkelaars in staat om het model breed in te zetten.
Integratie in het Nemotron-ecosysteem
Dit specifieke model maakt deel uit van een breder portfolio van AI-modellen die zijn ontwikkeld voor gespecialiseerde agenten. De Nemotron-familie biedt diverse opties, van de kostenefficiënte 'Nano'-variant tot de 'Ultra'-versie voor complexe redeneertaken. Zoals beschreven op de nvidia.com, zijn deze modellen geoptimaliseerd voor diverse GPU's, variërend van edge-apparatuur tot grootschalige datacenters. Ze kunnen worden geïmplementeerd via populaire frameworks zoals llama.cpp, Ollama en vLLM.
Met de toevoeging van Nemotron 3 Diarization wordt de multimodaliteit van het ecosysteem versterkt, waarbij spraakherkenning wordt gekoppeld aan visueel begrip en redeneerkracht. Het volledige rapport is inmiddels ingediend voor de conferentie ICASSP 2027.