Onderzoekers hebben een innovatieve methode ontwikkeld die robotarmen in staat stelt om complexe taken met twee armen beter uit te voeren door menselijke demonstraties om te zetten in semantisch-geometrische representaties.
Het aansturen van robots die met twee armen tegelijkertijd moeten werken, ook wel bimanuale manipulatie genoemd, vormt een aanzienlijke uitdaging binnen de robotica. De variabiliteit in de volgorde van acties, de betrokkenheid van verschillende objecten en de geometrie van de interacties maken het lastig voor systemen om consistent te leren van menselijke voorbeelden. In een recent onderzoek, gepubliceerd via arxiv.org, presenteren wetenschappers een oplossing die zowel de betekenis (semantiek) als de fysieke ruimte (geometrie) van een taak integreert.
De uitdaging van bimanuale manipulatie
Bij taken waarbij twee armen worden gebruikt, is de interactie tussen objecten en de timing van bewegingen cruciaal. Traditionele modellen hebben vaak moeite om de discrete structuur van een taak te combineren met de voortdurende verandering van geometrische relaties tussen objecten. Volgens de publicatie op is het essentieel om een representatie te vinden die redeneren over de voortgang van een taak ondersteunt, ongeacht hoe een specifieke uitvoering varieert.
Een hybride architectuur van grafieken en Transformers
De onderzoekers, waaronder Franziska Herbert en haar team, hebben een systeem geïntroduceerd dat gebruikmaakt van een semantisch-geometrische graaf. Deze benadering combineert drie cruciale elementen: de identiteit van objecten, de semantische relaties tussen deze objecten en de bewegingsgeschiedenis per object.
Om deze data te verwerken, maakt het systeem gebruik van een specifieke architectuur:
1. Een MPNN-encoder: Een Message Passing Neural Network dat uitsluitend werkt op de temporele scenegrafiek. Deze encoder creëert gestructureerde representaties die losstaan van specifieke actie-labels.
2. Een Transformer-decoder: Deze component gebruikt de context van de actie om toekomstige handelingen, de bijbehorende objecten en de benodigde bewegingen te voorspellen.
Door deze twee onderdelen te scheiden, ontstaan er taak-agnostische representaties. Dit betekent dat de encoder kan worden hergebruikt voor verschillende robotmodellen (embodiments) door enkel de decoder te finetunen met een kleine hoeveelheid specifieke robotdata, zoals beschreven in de technische documentatie op .
Resultaten en praktische toepassing
De effectiviteit van deze methode is getest op elf verschillende bimanuale taken verspreid over twee datasets. De resultaten tonen aan dat de gestructureerde semantisch-geometrische representaties superieur zijn aan eenvoudiger sequentie-gebaseerde modellen, vooral wanneer de volgorde van acties en de betrokken objecten sterk variëren.
Tijdens de implementatie koppelt een planner de voorspellingen van acties en bewegingen aan geleerde 'Probabilistic Movement Primitives'. Dit leidde tot een volledig succespercentage bij twee reële bimanuale robottaken. Het systeem presteerde aanzienlijk beter dan diverse baselines, waaronder Transformer-modellen, decoder-only modellen en gefinetunede vision-language modellen, zoals vermeld in de preprint op .
Wetenschappelijke erkenning
Het onderzoek is niet alleen als preprint beschikbaar gesteld, maar is ook geaccepteerd voor publicatie in het vakblad IEEE Robotics and Automation Letters (RA-L) voor het jaar 2026. De definitieve versie van het artikel is opgenomen in volume 11, editie 8, op pagina's 9731-9738, wat de wetenschappelijke validiteit van de methode onderstreept volgens de referentie op .