Onderzoekers hebben PromptSep-Speaker ontwikkeld, een generatief model dat in staat is om een specifieke stem uit een mengeling van meerdere sprekers te isoleren door gebruik te maken van diverse multimodale aanwijzingen.
Het isoleren van een gewenste spreker uit een audiofragment waarin meerdere mensen tegelijk praten, staat bekend als Target Speaker Extraction (TSE). Traditionele systemen voor dit proces maken vaak gebruik van mask-prediction modellen. Volgens een recent onderzoekspapier op arxiv.org zijn deze oudere methoden echter gevoelig voor hoorbare artefacten en presteren ze minder consistent wanneer de akoestische omstandigheden veranderen.
Een multimodale aanpak
Om deze beperkingen aan te pakken, hebben Yutong Wen en collega-onderzoekers PromptSep-Speaker geïntroduceerd. In tegenstelling tot eerdere systemen die vaak steunen op één type aanwijzing, verenigt dit nieuwe model vier verschillende, uitwisselbare cues om de doelspreker te identificeren:
* De temporele volgorde van de spreker;
* Een transcript van de spraak;
* Enrollment-audio (een referentieopname van de stem);
* Een beschrijving van de spreker (speaker caption).
Het model is gebaseerd op latent diffusion, een generatieve techniek. Deze aanpak zorgt voor een hogere kwaliteit van de gescheiden audio. Om de effectiviteit van elke cue te maximaliseren, is er gebruikgemaakt van een bevroren WavLM-representatie met een hulpverlenend alignment loss-mechanisme. Dit proces optimaliseert de interactie tussen de query en de mengeling zonder dat daar extra labels voor nodig zijn.
Resultaten en prestaties
De prestaties van PromptSep-Speaker zijn getest via vier verschillende evaluatiesets en een luisterstudie. Uit de resultaten blijkt dat het model een state-of-the-art prestatie levert ten opzichte van bestaande TSE-systemen en baselines voor universele bronseparatie. De nauwkeurigheid en de algehele kwaliteit van de audio-isolatie zijn verbeterd over alle gebruikte cue-modaliteiten.
Het onderzoek is inmiddels ingediend voor de conferentie ICASSP 2027, zoals vermeld in de documentatie op .
Context en eerdere ontwikkelingen
PromptSep-Speaker bouwt voort op eerdere innovaties binnen het vakgebied. Zo werd in november 2025 reeds een eerdere versie, genaamd PromptSep, gepresenteerd. Dit eerdere framework richtte zich op algemene geluidseparatie en introduceerde de mogelijkheid om niet alleen geluiden te extraheren, maar ook specifieke geluiden te verwijderen. In dat project werd ook geëxperimenteerd met vocale imitatie als intuïtieve manier om geluidsbronnen aan te sturen, ondersteund door een strategie genaamd Sketch2Sound, zoals beschreven in een publicatie op arxiv.org.
Bredere academische omgeving
De ontwikkeling van PromptSep-Speaker vindt plaats in een dynamisch veld van audio- en spraakverwerking. Recente publicaties op het gebied van geluid (cs.SD) tonen een sterke focus op generatieve modellen en audio-taalmodellen. Zo zijn er recentelijk studies verschenen over de perceptie van audio in taalmodellen en het interpreteren van SSL-representaties voor spoeddetectie, wat wijst op een bredere trend naar meer intelligente en flexibele audio-analyse. Deze trends worden dagelijks bijgehouden door platforms zoals x.com, waar nieuwe wetenschappelijke inzichten over Target Speaker Extraction worden gedeeld met de gemeenschap.
Hoewel sommige academische bronnen zoals researchgate.net tijdelijk beperkte toegang bieden tot bepaalde data, blijft de openbare verspreiding van deze resultaten via pre-print servers essentieel voor de verdere ontwikkeling van generatieve audio-technologieën.