De vraag of kunstmatige intelligentie in staat is om menselijke emoties en onderlinge aantrekkingskracht te doorgronden, heeft een nieuwe impuls gekregen door recent onderzoek. Wetenschappers hebben aangetoond dat de combinatie van tekstuele analyse via grote taalmodellen (LLM's) en specifieke spraaksignalen een aanzienlijk nauwkeuriger beeld geeft van de chemie tussen twee mensen dan wanneer men enkel op tekst vertrouwt.
Het onderzoek richtte zich op de dynamiek tijdens Japanse speeddating-gesprekken. Hierbij probeerden de onderzoekers vast te stellen in hoeverre spraakkenmerken de voorspellende kracht van AI kunnen versterken. Hoewel moderne taalmodellen al redelijk goed kunnen inschatten of mensen elkaar sympathiek vinden op basis van een schriftelijk transcript, gaat er in dat proces cruciale informatie verloren. De manier waarop iemand spreekt — de intonatie, het ritme en de klank — bevat namelijk signalen die niet in woorden te vatten zijn.
Volgens een publicatie op arxiv.org leidt de synergie tussen een tekstgebaseerd model en een gesuperviseerde spraakpredictor tot een significante verbetering in de nauwkeurigheid van de rangschikking tussen partners. Dit bewijst dat akoestische data complementaire informatie bieden die de puur tekstuele analyse aanvult. De studie, die werd gepresenteerd op de 28ste ACM International Conference on Multimodal Interaction (ICMI 2026), benadrukt dat de integratie van verschillende datastromen essentieel is voor een compleet beeld van menselijke interactie.
Interessant is dat deze verbetering echter niet in elk geval optreedt. De onderzoekers, waaronder Yuriko Kikuchi en Takato Hayashi, stellen dat de winst in nauwkeurigheid conditioneel is. Door gebruik te maken van Pearson-correlatiecoëfficiënten om de samenhang tussen voorspellingen en werkelijke scores te meten, zagen zij dat de resultaten varieerden per gesprek en per beoordelingsrichting. De toevoeging van spraaksignalen bleek vooral waardevol in situaties waar de tekstuele inhoud onvoldoende aanwijzingen gaf over de emotionele connectie. In gevallen waar de spraakpredictor individueel sterker presteerde, was de totale nauwkeurigheid van het systeem het hoogst, zoals verder uitgewerkt in de .
Deze ontwikkelingen passen in een bredere trend binnen de AI-sector, waarbij de focus verschuift naar multimodale systemen. Terwijl de capaciteiten van taalmodellen voor redeneren en coderen exponentieel groeien, blijft de menselijke nuance een uitdaging. Op platforms zoals whatllorg is te zien dat open-source modellen zoals GLM-5.2 en Kimi K3 zeer hoge scores behalen op kwaliteitsindexen. Toch blijkt uit dit specifieke onderzoek dat zelfs de meest geavanceerde modellen baat hebben bij externe aanvullingen, zoals spraakpredictors, om sociale interacties correct te interpreteren.
De conclusie van de studie is dat spraak zijn eigen unieke voorspellende waarde behoudt, ongeacht hoe geavanceerd het gebruikte taalmodel is. De kernvraag is volgens de onderzoekers niet of spraak helpt, maar onder welke specifieke omstandigheden deze hulp het meest effectief is. Deze inzichten kunnen in de toekomst leiden tot meer empathische sociale robots en geavanceerdere digitale matchingsystemen die verder kijken dan enkel de woorden die worden uitgesproken. Voor een overzicht van de huidige stand van zaken in open-source AI kan men terecht op , terwijl de technische details van dit specifieke onderzoek beschikbaar zijn via de .