Onderzoekers hebben een nieuwe audio-visuele dataset ontwikkeld om sociale robots en conversationele agenten te helpen bepalen wie er wanneer gaat spreken. De dataset, genaamd AVCC, biedt voor het eerst een menselijke referentiekader om de prestaties van AI-modellen te toetsen.
Het accuraat voorspellen van de volgende spreker in een gesprek, ook wel next-speaker prediction (NSP) genoemd, is een cruciale stap in de ontwikkeling van sociale robots. Voor dergelijke systemen is het essentieel om beurten te kunnen wisselen zonder dat zij telkens moeten wachten op volledige stilte, wat een gesprek natuurlijker maakt. Volgens een recent onderzoekspapier dat op 10 november 2026 werd gepubliceerd op arxiv.org, ontbrak het tot nu toe aan publieke benchmarks die de specifieke beperkingen van een robot simuleren, zoals het gebruik van slechts één camera en één microfoon.
De opzet van het AVCC-corpus
Om dit gat in de onderzoeksliteratuur op te vullen, hebben onderzoekers Haotian Qi en Gabriel Skantze het Audio-Visual Conversation Corpus (AVCC) geïntroduceerd. Deze dataset bestaat uit 31 uur aan audio-visuele opnames van online gesprekken waarin twee of drie personen deelnemen. In tegenstelling tot eerdere corpora, die vaak gebruikmaakten van individuele sensoren per spreker, is AVCC opgenomen met een enkele statische camera en microfoon.
Om de dataset bruikbaar te maken als benchmark, is er een specifieke testpartitie toegevoegd die bestaat uit zeven video's met sprekers die niet in de trainingsset voorkomen. In deze partitie zijn 865 'hold'-gebeurtenissen en 865 'shift'-gebeurtenissen vastgelegd bij momenten van wederzijdse stilte. Daarnaast bevat het corpus transcripties op woordniveau die via forced-alignment zijn gekoppeld aan de audio.
Vergelijking met menselijke prestaties
Een opvallend kenmerk van het AVCC-project is de toevoeging van een menselijke referentiebenchmark. Hiermee kunnen ontwikkelaars voor het eerst direct vergelijken hoe goed een AI-model presteert ten opzichte van een mens bij het voorspellen van de volgende spreker op exact dezelfde momenten.
In het onderzoek zijn twee verschillende modellen getest:
1. Het Role-Relative VAP-model (RoleVAP), dat uitsluitend gebruikmaakt van audio.
2. Het MuVAP-model, dat een multimodale aanpak hanteert door zowel audio als visuele informatie te combineren.
Om de wetenschappelijke gemeenschap verder te ondersteunen, hebben de auteurs alle labels, transcripties, menselijke data per respons en de scripts die nodig zijn om de resultaten te reproduceren, publiekelijk beschikbaar gesteld via .
Context en toepasbaarheid
De ontwikkeling van AVCC valt binnen de bredere vakgebieden van computationele taalwetenschap, mens-computerinteractie en geluidstechnologie. Door de focus te leggen op scenario's met een enkele camera en microfoon, sluit het onderzoek nauwer aan bij de hardwarematige realiteit van moderne sociale robots.
Hoewel de dataset zich richt op technische interactie en AI, is de bredere context van menselijke communicatie en sociale dynamiek vaak een inspiratiebron voor dergelijke projecten. Terwijl AI-onderzoekers zich richten op de technische aspecten van turn-taking, tonen populaire media, zoals series op platforms als viki.com, vaak de complexe sociale interacties en non-verbale signalen die in het echte leven bepalen wie wanneer het woord neemt.
Het AVCC-corpus biedt hiermee een gestandaardiseerde manier om te meten in hoeverre machines deze menselijke intuïtie kunnen benaderen. De volledige details van de methodologie en de resultaten van de geteste modellen zijn terug te vinden in de publicatie onder kenmerk .