Een team van internationale onderzoekers heeft een nieuw framework ontwikkeld waarmee robots met twee armen in staat zijn om grote objecten coöperatief vast te pakken. De methode, die gebruikmaakt van tactiele sensoren en visuele data uit één enkel gezichtspunt, lost een van de grootste uitdagingen in de robotische manipulatie op: het stabiel hanteren van omvangrijke voorwerpen zonder dat daarvoor een volledig 3D-model van het object nodig is.
Het onderzoek, dat is gepubliceerd via arxiv.org, is geaccepteerd voor de 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026). De auteurs, waaronder onderzoekers van de University of Auckland en de Chongqing University, richten zich specifiek op coöperatieve grip in plaats van sequentiële manipulatie, waarbij de twee armen gelijktijdig samenwerken om een object te stabiliseren.
Overwinning van simulatiebeperkingen
Veel bestaande studies naar bimanuale manipulatie beperken zich tot simulaties, omdat het in de echte wereld zeer moeilijk is om nauwkeurige 3D-modellen van objecten te verkrijgen en fysiek haalbare grijpbewegingen te genereren. Volgens de publicatie op vult dit nieuwe framework dat gat door een systeem te introduceren dat direct in de fysieke wereld kan worden toegepast.
Het systeem steunt op drie hoofdpijlers:
1. Multimodale dataset: Er is een dataset ontwikkeld die gewrichtshoeken, visuele observaties en krachtsignalen combineert.
2. Grip-generatie: Het framework maakt gebruik van een Denoising Diffusion Probabilistic Model (DDPM). Dit model genereert configuraties voor de gewrichten op basis van gesegmenteerde puntenwolken.
3. Executiestrategie: Om de overgang van simulatie naar realiteit (de zogenaamde 'sim-to-real gap') te overbruggen, integreert het systeem bewegingsplanning met een online verfijningsstrategie voor de grip.
Toepassing en resultaten
De praktische relevantie van dit onderzoek is groot voor de ontwikkeling van humanoïde robots. Zoals beschreven door humanoidintel.ai, is het dexterous manipuleren van grote objecten — zoals het verplaatsen van een computermonitor of een industriële opslagdoos — een van de moeilijkste onopgeloste problemen voor systemen van belichaamde AI (embodied AI).
De onderzoekers hebben hun benadering gevalideerd op echte hardware met een dubbele robotarm. De experimenten tonen aan dat het systeem hoge succespercentages behaalt bij objecten met verschillende geometrieën en posities, zelfs wanneer de robot deze objecten voor het eerst tegenkomt. De mogelijkheid om uitvoerbare grips te synthetiseren vanuit een enkel camerabeeld vermindert de afhankelijkheid van complexe voorafgaande 3D-scans aanzienlijk.
Technische implementatie en openbaarheid
De methodiek achter het project is verder uitgewerkt in een technische structuur die onderverdeeld is in datasetcollectie, grip-generatie en grip-executie. Voor de wetenschappelijke gemeenschap is een deel van de implementatie toegankelijk gemaakt via een publieke repository op github.com, onder de naam 'real_bi_dex_grasp'.
De resultaten van het onderzoek zijn ook gepresenteerd in posterformaat, waarbij de nadruk ligt op de integratie van tactiele sensing om de stabiliteit van de grip in real-time te waarborgen. Door de combinatie van visuele input en krachtsensoren kan de robot tijdens het proces bijsturen, wat essentieel is voor het voorkomen dat grote, zware objecten wegglijden of onstabiel worden tijdens het tillen.