Onderzoekers hebben een methode ontwikkeld om digitale watermerken direct in de latente ruimte van neurale audio-codecs te integreren, wat de robuustheid van deze markeringen aanzienlijk verhoogt bij het comprimeren van spraak.
Het beschermen van audiobestanden tegen ongeoorloofd gebruik of het verifiëren van de authenticiteit van spraak gebeurt vaak via watermarking. Traditionele methoden voegen een onzichtbaar signaal toe aan de waveform of het spectrogram van een audiobestand. Echter, moderne neurale audio-codecs vormen een grote uitdaging voor deze technieken. Omdat deze codecs spraak hercoderen, kwantiseren en vervolgens opnieuw synthetiseren, gaan traditionele watermerken vaak verloren tijdens het proces.
In een recent wetenschappelijk artikel, getiteld "Investigating Codec-Internal Latent Audio Watermarking for Neural Codec Robustness", onderzoeken Zi Hu en collega's een alternatieve aanpak. In plaats van het watermerk aan de uiteindelijke audio toe te voegen, richten zij zich op de zogenaamde 'continue latent-space'. Hierbij wordt een bericht van 32 bits ingebed in de latente representatie van een spraak-autoencoder.
Technische architectuur en werking
De voorgestelde pijplijn maakt gebruik van een specifieke set technologische componenten om de integriteit van het watermerk te waarborgen. Volgens de publicatie op arxiv.org maakt het systeem gebruik van een encoder-decoder gebaseerd op SEANet en een message embedder die gebruikmaakt van Conformer-technologie. Daarnaast wordt er gebruikgemaakt van RVQ-gestuurde latente decompositie.
Het doel van deze opzet is om een detector in het latente domein te trainen die bestand is tegen zowel standaard signaalverwerking als de specifieke transformaties die optreden binnen neurale codecs. Door het watermerk vóór de neurale decodering te plaatsen, kan het systeem beter omgaan met de destructieve aard van compressiealgoritmen.
Resultaten en afwegingen
Het onderzoek richt zich niet op het creëren van één universele standaard, maar op het in kaart brengen van de trade-offs tussen de nauwkeurigheid van het watermerk en de geluidskwaliteit van de audio. De resultaten zijn getest op spraakopnames met een samplefrequentie van 48 kHz.
Uit de data blijkt dat training die specifiek is afgestemd op EnCodec een aanzienlijke verbetering oplevert in de bit-accuraatheid van de EnCodec-24k variant. De nauwkeurigheid steeg van 78,8% naar waarden tussen de 95,6% en 97,1%. Er is echter een prijs voor deze toename in robuustheid: de audiokwaliteit neemt licht af. De PESQ-score (Perceptual Evaluation of Speech Quality), een maatstaf voor de helderheid van spraak, daalde van 3,727 naar waarden tussen 3,427 en 3,514.
Context en publicatie
Het onderzoek is ingediend bij de IEEE Spoken Language Technology Workshop (SLT) en biedt nieuwe inzichten in hoe digitale eigendomsrechten en authenticiteit gewaarborgd kunnen blijven in een tijdperk van geavanceerde neurale compressie. De volledige details over de methodologie en de experimentele resultaten zijn terug te vinden in de documentatie op .
Hoewel andere platforms zoals softpedia.com en red5.net vaak technologische trends volgen, is de primaire bron van deze specifieke wetenschappelijke doorbraak de academische database van arXiv, waar de volledige PDF en HTML-versies van het onderzoek beschikbaar zijn gesteld voor de wetenschappelijke gemeenschap.