Onderzoek wijst uit dat grote taalmodellen (LLM's) weliswaar informatie over prosodische prominentie in hun interne representaties opslaan, maar deze informatie niet effectief kunnen communiceren via tekstuele prompts.
Een nieuwe wetenschappelijke studie werpt licht op de kloof tussen wat kunstmatige intelligentie "weet" en wat het daadwerkelijk kan rapporteren. In het onderzoek, getiteld "Language models represent more about emphasis than they can tell you", analyseren onderzoekers Aarne Talman en Stergios Chatzikyriakidis hoe taalmodellen omgaan met prosodische prominentie — de nadruk of klemtoon die een spreker op bepaalde woorden in een zin legt.
De rol van tekst versus spraak
Prosodische prominentie wordt in menselijke taal mede bepaald door de gekozen woorden in een zin, maar is voor een aanzienlijk deel afhankelijk van de specifieke manier waarop een spreker de tekst uitspreekt. Om te testen hoe goed AI dit proces begrijpt, gebruikten de onderzoekers Engelse spraakopnames die op woordniveau waren gelabeld voor prominentie.
Volgens de publicatie op arxiv.org werden verschillende systemen met elkaar vergeleken: bevroren en fijngeslepen tekstmodellen, grote taalmodellen (LLM's) die via prompts werden aangestuurd, en specifieke spraakmodellen. De resultaten laten een duidelijk verschil zien tussen modellen die enkel tekst analyseren en modellen die toegang hebben tot het audiosignaal.
Beperkingen van tekstuele prompts
Een opvallende bevinding uit het onderzoek is dat LLM's, ondanks hun geavanceerde vermogens, moeite hebben om klemtonen correct te identificeren wanneer ze daar via prompts naar wordt gevraagd. Zelfs wanneer de modellen werden gevoed met 500 voorbeelden, presteerden ze niet beter dan een eenvoudige 'word-majority baseline'.
De tekstmodellen in het onderzoek scoorden op een drieledige taak maximaal 68,8%, waarbij de meeste modellen vergelijkbare fouten maakten. De onderzoekers concluderen in hun dat het simpelweg aansturen van een LLM via prompts niet volstaat om de kennis over nadruk uit het model naar buiten te brengen.
Interne representaties versus output
Hoewel de LLM's de klemtoon niet expliciet konden benoemen, onthulde een andere analysetechniek een verrassend resultaat. Door gebruik te maken van 'linear probes' — een methode om de interne activaties van een neuraal netwerk te analyseren — ontdekten de onderzoekers dat de informatie over de nadruk wel degelijk aanwezig was in de representaties van het model.
Dit betekent dat de taalmodellen intern wel encoderen waar de nadruk in een tekst waarschijnlijk zal vallen, maar dat deze kennis niet toegankelijk is via de standaard manier van communiceren (tekstgeneratie). De modellen "weten" dus meer over de klemtoon dan ze kunnen vertellen.
Superieure prestaties van spraakmodellen
Het contrast met spraakmodellen is groot. Waar tekstgebaseerde modellen vastliepen rond de 68,8%, bereikten spraakmodellen een nauwkeurigheid van 84,7%, zoals beschreven in de .
De auteurs beargumenteren dat tekst slechts een deel van de prominentie bepaalt. De rest van de nuance moet noodzakelijkerwijs uit het gehoor komen. De conclusie is dat hoewel LLM's de tekstuele determinanten van nadruk goed vatten, de volledige context van menselijke spraak pas echt ontsloten wordt wanneer het audiosignaal zelf wordt geanalyseerd.
Het onderzoek is op 19 november 2026 ingediend bij onder de categorieën Computation and Language en Sound.