Onderzoekers hebben een nieuwe techniek genaamd TTS-Q ontwikkeld om complexe text-to-speech (TTS) modellen efficiënter te maken. De methode richt zich op het verkleinen van diffusion transformers, waardoor hoogwaardige spraaksynthese mogelijk wordt op apparaten met beperkte rekenkracht, zonder dat de kenmerkende klank van een stem verloren gaat.
De uitdaging van zero-shot spraakcloning
Moderne zero-shot text-to-speech systemen zijn in staat om een menselijke stem te klonen op basis van slechts enkele seconden audio. Deze kwaliteit wordt echter bereikt door het gebruik van diffusion transformers met miljarden parameters. Volgens een wetenschappelijk rapport op arxiv.org zorgt de enorme omvang van deze modellen en het proces van multi-step sampling ervoor dat ze momenteel ongeschikt zijn voor real-time toepassingen, assistieve technologieën of direct gebruik op lokale apparaten.
Om deze modellen toegankelijker te maken, wordt vaak gebruikgemaakt van post-training quantization (PTQ). Dit is een proces waarbij de precisie van de modelparameters wordt verlaagd om het geheugengebruik te verminderen zonder dat het model volledig opnieuw getraind hoeft te worden. Hoewel PTQ effectief is voor taal- en beeldmodellen, bleek dit bij spraakmodellen problematisch. Bij een reductie naar 4 bits bleef de verstaanbaarheid van de spraak weliswaar intact, maar verslechterde de timbre—de specifieke klankkleur van de spreker—waardoor de stem begon af te wijken van het origineel.
De werking van TTS-Q
In het onderzoek naar TTS-Q is geanalyseerd waarom quantisatie schadelijk is voor spraak. De onderzoekers voerden de eerste studie uit naar 4-bit weight-and-activation (W4A4) PTQ op diffusion transformers van 1 miljard en 3,5 miljard parameters. Hieruit bleek dat het verlies aan timbre werd veroorzaakt door zowel de quantisatie van de gewichten als die van de activaties.
De kern van de oplossing ligt in het feit dat activaties een tijdstapstructuur hebben die kan worden benut via een precisieschema. TTS-Q selecteert elementen die moeilijk te quantiseren zijn uit kalibratiekandidaten en past een gebalanceerd schema van gemengde precisie toe. Hierbij wordt een hogere precisie toegewezen aan de feed-forward activaties in de latere stappen van het proces. Volgens de publicatie op slaagt TTS-Q erin om het timbre optimaal te herstellen op beide schalen, zonder dat dit ten koste gaat van de verstaanbaarheid. Daarnaast vermindert de methode het piekgeheugengebruik op GPU's, wat de inzet van TTS in omgevingen met beperkte middelen vergemakkelijkt.
Context: De huidige staat van TTS-technologie
De behoefte aan efficiëntere modellen is groot, aangezien de markt voor AI-spraakdiensten sterk groeit. Er zijn diverse platforms die verschillende benaderingen van TTS aanbieden. Zo maakt soundtools.io gebruik van het Kokoro AI-model met 82 miljoen parameters, dat volledig in de browser van de gebruiker draait om privacy en snelheid te waarborgen. Andere diensten, zoals freetts.ai, bieden toegang tot honderden AI-stemmen in tientallen talen, waarbij neurale netwerken worden ingezet om natuurlijke intonatie en emotie te simuleren.
Ook commerciële tools zoals ttsreader.com focussen op toegankelijkheid door synchronisatie tussen apparaten en diverse exportopties voor audiobestanden. De ontwikkeling van TTS-Q draagt bij aan deze trend door de kloof te overbruggen tussen de enorme rekenkracht van cloud-gebaseerde miljarden-parameter modellen en de noodzaak voor lokale, snelle uitvoering op consumentenhardware.