Wetenschappers hebben een nieuwe methode ontwikkeld om de interactie tussen kunstmatige intelligentie en de fysieke wereld te verbeteren. In het onderzoek "Seeing Isn't Resolving: Visual and Linguistic Disambiguation with Conversational Grounding" wordt betoogd dat huidige standaarden voor visuele koppeling tekortschieten omdat ze te weinig aandacht besteden aan de onzekerheden die in dagelijkse gesprekken voorkomen. Om dit probleem aan te pakken, hebben Edoardo Cecchinato en zijn team de JAG-D dataset gecreëerd, zoals beschreven in de publicatie op arxiv.org.
De JAG-D dataset, een afkorting voor Japanese evaluation for Ambiguous visual Grounding with Dialogue, richt zich specifiek op de communicatie tussen mensen en robots. De dataset analyseert multimodale interacties waarbij onduidelijkheden kunnen ontstaan vanuit zowel visuele als taalkundige bronnen. Het hoofddoel van dit project is om te onderzoeken hoe moderne Visual Language Models (VLMs) deze ambiguïteiten kunnen herkennen en oplossen door gebruik te maken van de context van een gesprek.
Een centraal aspect van dit onderzoek is het concept van visuele waarneming. In algemene zin wordt de term visueel gedefinieerd als alles wat betrekking heeft op het zien of op het vermogen om te zien, volgens het cambridge.org. Binnen de robotica gaat het echter om een complexer proces: het koppelen van een specifieke taalkundige beschrijving aan een object in de omgeving. Wanneer een robot bijvoorbeeld de opdracht krijgt een object op te pakken terwijl er meerdere opties aanwezig zijn, ontstaat er een visuele ambiguïteit die moet worden opgelost.
De resultaten van het onderzoek tonen aan dat VLMs aanzienlijk beter presteren bij het oplossen van taalkundige onduidelijkheden wanneer zij toegang hebben tot de dialoogcontext. Een belangrijk succes is behaald bij de zogenaamde 'Japanse zero anaphora'. Dit is een taalkundig kenmerk waarbij onderwerpen in een zin vaak worden weggelaten omdat ze impliciet bekend zijn voor de gesprekspartners. Door de context van het gesprek mee te wegen, kunnen de modellen deze ontbrekende informatie effectiever invullen, wat leidt tot een accuratere interpretatie.
De onderzoekers wilden specifiek vaststellen of de verbetering in prestaties voortkwam uit de semantische betekenis van de dialoog of uit de structurele opbouw van het gesprek. De bevindingen suggereren dat de combinatie van visuele input en een gestructureerde dialoog cruciaal is voor robots die in complexe, menselijke omgevingen moeten opereren. Het volledige wetenschappelijke verslag is op 16 november 2026 ingediend bij , waar het is geclassificeerd onder de categorie computationele linguïstiek.
Door het beschikbaar stellen van de JAG-D dataset hopen de auteurs dat toekomstige AI-modellen natuurlijker en preciezer kunnen communiceren. De focus op de Japanse taal biedt hierbij waardevolle inzichten in hoe modellen omgaan met impliciete informatie. Meer details over de methodologie en de gebruikte data zijn terug te vinden in de volledige .