⚠️ KMI waarschuwing: Code oranje in Henegouwen Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Nieuw 21Codec-model verbetert controle over stemidentiteit bij streaming spraaksynthese

Nieuw 21Codec-model verbetert controle over stemidentiteit bij streaming spraaksynthese

Onderzoekers hebben 21Codec ontwikkeld, een nieuw streaming codec-model dat een nauwkeuriger controle over de stemidentiteit mogelijk maakt bij Text-to-Speech (TTS) systemen door de aansturing naar de decoder-zijde te verschuiven.

In de huidige ontwikkeling van spraaksynthese vormen streaming codec-modellen een belangrijke basis. Een hardnekkig probleem bij bestaande modellen is echter dat de identiteit van de spreker vaak wordt afgeleid uit de tokenstroom zelf. Volgens een recent onderzoekspapier dat is gepubliceerd op arxiv.org is het simpelweg 'streamable' maken van deze modellen onvoldoende. Dit komt doordat elk individueel fragment (chunk) de identiteit van de spreker opnieuw probeert af te leiden uit de lokale context van dat specifieke fragment, wat kan leiden tot zogenaamde 'speaker drift' of inconsistenties in de stem tijdens het streamen.

De werking van 21Codec

Om dit probleem op te lossen, stellen David Lindevelt, Suzan Verberne en Joost Broekens een nieuwe benadering voor met 21Codec. Het kernconcept van dit model is het verminderen van de hoeveelheid herstelbare sprekerinformatie binnen de tokenstroom en het implementeren van controle aan de zijde van de decoder.

In plaats van dat het model de stemkenmerken uit de datafragmenten probeert te 'raden', wordt de identiteit van de spreker bepaald via een specifieke conditioneringvector. Om dit te bereiken hebben de onderzoekers gebruikgemaakt van een adversariële sprekerclassificator en een specifieke vorm van data-augmentatie, genaamd NANSY-style formant-shift. Deze technieken dwingen het model om minder te vertrouwen op de tokenstroom en meer op de meegegeven spreker-embedding.

Voordelen voor streaming TTS

De belangrijkste innovatie van 21Codec is de stabiliteit van de stemidentiteit over verschillende fragmenten heen. In de traditionele systemen kan de stem midden in een zin subtiel veranderen omdat het model per fragment opnieuw analyseert wie er spreekt. 21Codec voorkomt dit door de controle over de identiteit centraal te beheren via de decoder.

Volgens de beschrijving in de stelt dit model systemen in staat om de stemidentiteit zelfs midden in een stream aan te passen of consistent te houden. Dit maakt 21Codec tot een veelbelovende kandidaat voor geavanceerde streaming TTS-systemen waarbij een hoge mate van controle en natuurgetrouwheid vereist is.

Academische context en indiening

Het onderzoek naar 21Codec is op 18 november 2026 ingediend bij arXiv en is daarnaast ingediend voor de conferentie ICASSP 2027. Het werk valt onder de vakgebieden Audio and Speech Processing en Sound. De auteurs benadrukken dat de mogelijkheid om de sprekeridentiteit extern aan te sturen, in plaats van deze intern uit de tokens te extraheren, een cruciale stap is voor de robuustheid van real-time spraakgeneratie.

Hoewel er in de bredere digitale wereld diverse tools bestaan voor het decoderen van informatie, zoals de universele decoders die worden aangeboden op alexrel.com, richt 21Codec zich specifiek op de neurale compressie en reconstructie van menselijke spraak. Waar algemene decoders zich bezighouden met tekstuele ciphers en coderingen, focust 21Codec zich op de akoestische parameters en de consistentie van de menselijke stem.

De resultaten tonen aan dat de sprekeridentiteit effectief behouden blijft tijdens het streamen, wat de weg vrijmaakt voor interactievere en kwalitatief betere virtuele assistenten en spraakinterfaces. De volledige technische details over de implementatie van de conditioneringvector en de adversariële training zijn terug te vinden in het volledige .

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!