Onderzoekers hebben een nieuwe methode ontwikkeld om synthetische spraak beter te herkennen door emotionele kenmerken te gebruiken als brug, zonder daarbij de algemene bruikbaarheid van spraakmodellen aan te tasten.
In de strijd tegen audio-deepfakes, waarbij kunstmatige intelligentie wordt gebruikt om menselijke stemmen na te bootsen, zoeken wetenschappers voortdurend naar effectievere detectiemethoden. Een team van onderzoekers, waaronder Yupei Li en Björn W. Schuller, heeft een benadering voorgesteld die gebruikmaakt van zogenaamde 'affectieve' beperkingen om de nauwkeurigheid van deepfake-detectie (DFD) te verhogen.
De rol van affectieve kenmerken
In de context van dit onderzoek verwijst de term 'affectief' naar zaken die betrekking hebben op emoties, gevoelens en stemmingen. Volgens definities van dictionary.com is 'affective' een synoniem voor emotioneel en wordt het veelvuldig gebruikt binnen de psychologie en psychiatrie. Ook buhave.com beschrijft de term als een adjective dat relateert aan hoe communicatie of ervaringen emotionele reacties kunnen beïnvloeden.
Binnen de spraaktechnologie zijn deze emotionele signalen cruciaal. Hoewel eerdere studies al hadden aangetoond dat affectieve aanwijzingen de detectie van deepfakes kunnen verbeteren, kampten bestaande methoden vaak met een specifiek probleem: het risico op vervorming. Wanneer modellen direct worden getraind op het herkennen van deepfakes, kunnen de oorspronkelijke spraakrepresentaties beschadigd raken. Dit is problematisch voor andere belangrijke taken, zoals automatische spraakherkenning (ASR) of sprekerverificatie (SV).
Een nieuwe methodiek: De 'Affective Bridge'
Om dit probleem op te lossen, stellen de auteurs in hun publicatie op arxiv.org een eenvoudiger proces voor. In plaats van complexe pijplijnen te bouwen waarin emoties worden gefuseerd met andere kenmerken, kiezen zij voor een tweestapsbenadering:
- Fine-tuning op emoties: Spraakencoders worden uitsluitend getraind op emotieherkenning, zonder dat er supervisie vanuit deepfake-detectie wordt toegevoegd.
- Lichtgewicht detectie: Er wordt een 'support vector machine' (SVM) getraind op deze bevroren, emotie-getunede representaties om deepfakes te onderscheiden van echte spraak.
Deze methode zorgt ervoor dat de capaciteit van de oorspronkelijke representatie behouden blijft voor downstream-taken zoals SV en ASR, terwijl de prestaties bij het opsporen van synthetische audio onverwacht verbeteren.
Resultaten en conclusies
De effectiviteit van emotie als 'brug' werd bevestigd door experimenten op de datasets FakeOrReal en In-the-Wild. Volgens de leidde deze aanpak tot een verbetering in nauwkeurigheid van respectievelijk tot 6% en 2%, gepaard gaand met een reductie in de Equal Error Rate (EER).
Een opvallende bevinding is dat emotie een unieke rol speelt in dit proces. Wanneer de onderzoekers probeerden de emotionele component te vervangen door de identiteit van de spreker, verslechterden de prestaties van de deepfake-detectie juist. Dit bewijst dat emotionele kenmerken een natuurlijke brug vormen tussen algemene spraakrepresentatie en de specifieke behoeften van DFD.
Daarnaast onthulde een analyse van de ASVspoof 2019 LA dataset dat er sprake is van dataset-specifieke spreker-bias binnen de subset van echte spraak. De volledige details van het onderzoek en de bijbehorende code zijn beschikbaar via de .