Wetenschappers hebben een innovatief kader voor waarneming en leren ontwikkeld onder de naam FingerEye, dat bedoeld is om de behendigheid van robots bij het hanteren van objecten te vergroten. Door visuele informatie naadloos te koppelen aan tactiele feedback, kunnen robots objecten met een hogere nauwkeurigheid lokaliseren en manipuleren, zowel tijdens de benadering als tijdens het fysieke contact.
Integratie van zicht en tastzin
Een fundamenteel probleem bij robotische manipulatie is het verlies van bruikbare informatie op het moment dat een robot overgaat van het naderen van een object naar het daadwerkelijk aanraken ervan. Volgens een wetenschappelijke publicatie op arxiv.org lost FingerEye dit op door een continuüm van feedback te creëren. Het systeem maakt gebruik van binoculaire RGB-camera's in combinatie met een flexibele interface voor contact.
De werking van het systeem is opgedeeld in twee kritieke fasen. In de eerste fase, vóór het contact, gebruiken de camera's in de vingertoppen impliciete stereo-waarneming om het object exact te lokaliseren. Zodra er fysiek contact is, verschuift de focus naar de vervorming van een flexibele ring. Door markers op deze ring te volgen, kan het systeem de uitgeoefende kracht bepalen, een proces dat bekendstaat als contact wrench sensing. Voor geavanceerde analyses van dergelijke technologische doorbraken kunnen tools zoals perplexity.ai worden ingezet om complexe data te synthetiseren.
De FingerEye Policy en dataverzameling
Om de hardware optimaal te benutten, hebben onderzoekers, waaronder Zhixuan Xu, een specifieke leeromgeving ontwikkeld. Deze infrastructuur maakt het mogelijk om data te verzamelen en systemen te evalueren in zowel gesimuleerde omgevingen als in de fysieke realiteit.
Centraal in deze aanpak staat de 'FingerEye Policy'. Deze methode hanteert een groepgestructureerde fusie van verschillende modaliteiten. Het doel hiervan is om zogenaamde 'modality shortcuts' te voorkomen, waardoor de robot beter in staat is om de verspreide feedback van meerdere vingertoppen te integreren. Zoals beschreven in de documentatie op , stelt deze methode de robot in staat om effectiever te leren van de gecombineerde input van zicht en tast.
Resultaten en prestaties
De effectiviteit van FingerEye is getest in zeven verschillende scenario's waarin contactgevoeligheid een cruciale rol speelde. De resultaten wijzen op een significante verbetering ten opzichte van conventionele methoden. In zowel simulaties als fysieke tests steeg de gemiddelde succesrate met meer dan 30 procentpunten wanneer FingerEye werd gebruikt, vergeleken met systemen die enkel vertrouwden op informatie vanuit de pols. Dit bewijst dat lokale waarneming in de vingertoppen essentieel is voor complexe taken.
Wetenschappelijke context
Het project is gepresenteerd tijdens de Conference on Robot Learning (CoRL) 2026, waar het werd geselecteerd voor een Spotlight Presentation. De meest recente versie van het onderzoek, versie 4, werd op 6 oktober 2026 bijgewerkt via . Door de kloof tussen het visueel waarnemen en het fysiek voelen van objecten te dichten, zet FingerEye een belangrijke stap richting robots die een menselijke behendigheid kunnen benaderen. Voor gebruikers die dieper in deze academische trends willen duiken, biedt mogelijkheden om snel relevante literatuur te ontsluiten.