Een nieuw onderzoek naar het model GPT-6-Astra toont aan dat geavanceerde multimodale modellen in staat zijn om tastzin te begrijpen en toe te passen bij complexe robotische handelingen. Het model presteert op diverse vlakken beter dan bestaande systemen die specifiek zijn ontworpen voor visueel-tactiele interacties.
In een recent wetenschappelijk rapport, gepubliceerd op 20 oktober 2026, presenteren onderzoekers onder wie Ziyong Wang en Yupei Lin een nieuwe benadering voor robotische manipulatie. Het centrale vraagstuk in de studie is of algemene multimodale modellen de onderliggende fysica van interacties in de echte wereld kunnen begrijpen en deze kennis kunnen gebruiken om acties aan te sturen. Volgens de publicatie op arxiv.org is dit gebied tot nu toe onvoldoende onderzocht, ondanks de potentie van dergelijke modellen als directe actie-policies voor robots.
Focus op contactrijke manipulatie
De onderzoekers hebben hun onderzoek gericht op zogenaamde 'contact-rich manipulation'. Dit type handelingen vereist dat een robot tactiele feedback kan interpreteren en zijn acties kan aanpassen wanneer hij op een obstructie stuit. Traditionele methoden voor tactiele policies vereisen vaak gespecialiseerde pretraining en optimalisatie per specifieke taak, wat gepaard gaat met aanzienlijke kosten en een enorme hoeveelheid data.
Om dit proces te stroomlijnen, introduceren de auteurs de 'GPT-as-Tactile-Policy'. Deze methode zet expert-demonstraties om in taakbegeleiding en tactiele referentiekaders. Hierdoor kan het systeem contacten beoordelen en correctieve acties ondernemen zonder dat er sprake is van aanvullende, robotspecifieke pretraining of fine-tuning van de policy per taak.
Prestaties en resultaten
Het model GPT-6-Astra combineert de context van expert-ervaringen met multimodale observaties en de geschiedenis van interacties om controlecommando's te genereren. De resultaten van deze aanpak zijn volgens de indrukwekkend. Over vijf verschillende UniVTAC-taken behaalde de methode een gemiddeld succespercentage van 93,8%.
De prestaties van GPT-6-Astra zijn vergelijkbaar met de huidige state-of-the-art policies, maar op specifieke taken overtreft het model deze zelfs. Een markant voorbeeld is de taak 'Insert Hole'. In dit scenario zorgde de integratie van tactiele feedback voor een stijging in het succespercentage van 31% naar 99%, zoals beschreven in de .
Analyse van de uitvoering
Uit de analyse van de uitvoering blijkt dat het model in staat is tot 'contact-guided probing'. Dit betekent dat de robot actief onderzoekt hoe hij contact maakt met objecten en zijn bewegingen corrigeert op basis van online feedback. Door het gebruik van expliciete expert-ervaringen kan de voortgang van de manipulatie effectief worden ondersteund.
Het onderzoek, dat is ingediend onder de categorieën Robotica en Computation and Language, suggereert dat de combinatie van taal- en visuele modellen met tactiele data een nieuwe weg opent voor robots die fysiek met hun omgeving moeten interageren. De volledige details van de methodologie en de testresultaten zijn beschikbaar via de .
Hoewel de technologie veelbelovend is, blijft de integratie van dergelijke modellen in commerciële robots een uitdaging. De resultaten van GPT-6-Astra tonen echter aan dat de noodzaak voor intensieve, taakspecifieke training mogelijk kan worden verminderd door het gebruik van krachtige, algemene multimodale systemen. Voor meer informatie over de implementatie kan men de raadplegen.