Onderzoekers hebben vastgesteld dat huidige Vision-Language-Action (VLA) modellen moeite hebben met het uitvoeren van specifieke instructies over de wijze waarop een taak moet worden uitgevoerd, wat de effectiviteit van robotische manipulatie beperkt.
In een recent wetenschappelijk onderzoek is geanalyseerd in hoeverre VLA-modellen daadwerkelijk in staat zijn om complexe instructies op te volgen. Terwijl deze modellen vaak worden ontwikkeld met taalmodellen als basis, blijkt er een significant verschil te zitten tussen het begrijpen van wat er moet gebeuren en hoe dat precies moet gebeuren. Volgens een publicatie op arxiv.org ligt de focus in eerdere studies voornamelijk op 'What-level' instructies, die simpelweg de taak definiëren, in plaats van 'How-level' instructies, die de specifieke methode van uitvoering voorschrijven.
De kloof tussen taakdefinitie en uitvoering
De diagnose van de onderzoekers, waaronder Sangwu Park en collega's, wijst uit dat How-level instructies momenteel geen positief effect hebben op de prestaties van VLA-modellen. Sterker nog, het toevoegen van deze gedetailleerde instructies kan het succespercentage van de taken zelfs verlagen. De auteurs van het onderzoek op suggereren dat dit komt doordat trainingssessies vaak gekoppeld worden aan één enkele instructie, wat het vermogen van het model om specifieke uitvoeringsstappen te volgen belemmert.
Om dit probleem aan te pakken, hebben de onderzoekers geëxperimenteerd met training op basis van verrijkte instructies op segmentniveau. Hoewel dit leidde tot een betere responsiviteit van de acties ten opzichte van de instructies, zorgde dit niet voor een consistente stijging in het algemene succes van de taken.
Nieuwe meetmethode: SIMPLER-IN
Om de tekortkomingen van standaard benchmarks bloot te leggen, hebben de wetenschappers een nieuw systeem geïntroduceerd genaamd SIMPLER-IN. Bij deze methode is succes enkel mogelijk wanneer de robot voldoet aan specifieke voorwaarden die uitsluitend in de instructie worden vermeld. Uit de resultaten van dit framework blijkt dat de verbeterde responsiviteit niet standhoudt wanneer er sprake is van zeer veeleisende instructies of situaties die buiten de trainingsdata vallen (out-of-distribution). De conclusie in het document op is dat het volgen van How-level instructies een open uitdaging blijft voor de sector.
Bredere context van VLA-ontwikkelingen
Terwijl de focus van het recente onderzoek ligt op de nuance van instructies, is er in de bredere robotica-gemeenschap ook aandacht voor de modaliteit van die instructies. Een ander onderzoeksproject, beschreven in een publicatie over arxiv.org, richt zich op het integreren van spraakinstructies voor gepersonaliseerde robotmanipulatie. Waar traditionele systemen vaak vertrouwen op tekstgebaseerde modellen of aparte spraakherkenningssystemen, probeert het VLAS-model spraakherkenning direct in het robotbeleid te integreren.
Dit type model probeert non-semantische informatie, zoals stemkenmerken, te benutten om gepersonaliseerde taken succesvoller uit te voeren. Door gebruik te maken van datasets zoals SQA en CSI, en een paradigma van voice retrieval-augmented generation (RAG), wordt getracht de interactie tussen mens en robot natuurlijker te maken.
Conclusie over de huidige stand van zaken
De combinatie van deze onderzoeken laat een complex beeld zien. Enerzijds wordt er vooruitgang geboekt in de manier waarop robots input ontvangen — van tekst naar directe spraakintegratie zoals beschreven bij — maar anderzijds blijft de cognitieve verwerking van de instructie zelf een knelpunt. Het onvermogen van huidige modellen om de 'hoe'-vraag effectief te vertalen naar actie, zoals aangetoond in de analyse op , vormt een barrière voor de volledige autonomie en precisie van vision-language-action systemen in complexe omgevingen.