Onderzoekers hebben Pixel-UMI ontwikkeld, een nieuw systeem waarmee robots complexe fysieke taken kunnen aanleren door menselijke demonstraties te analyseren en aan te passen aan hun eigen mechanische beperkingen.
In een recent gepubliceerd wetenschappelijk document op arxiv.org presenteren Jason Jingzhou Liu en collega's een innovatieve pijplijn genaamd Pixel-UMI. Het doel van dit systeem is om "environment-aware whole-body policies" te creëren. Hiermee kunnen mobiele robots leren hoe ze hun volledige lichaam moeten inzetten voor manipulatietaken, gebaseerd op gegevens die zijn verzameld via gesensoriseerde menselijke demonstraties.
De uitdaging van fysieke verschillen
Een fundamenteel probleem bij het trainen van robots met menselijke data is het verschil in 'embodiment', oftewel de fysieke opbouw. Mensen en robots bewegen anders en hebben verschillende reikwijdtes en gewrichten, wat het direct kopiëren van bewegingen bemoeilijkt. Volgens de publicatie op complicateert dit verschil het leerproces van de robot-policy aanzienlijk.
Om dit op te lossen introduceert Pixel-UMI een proces genaamd Environment-Aware Retargeting (EAR). Deze techniek combineert de gereconstrueerde geometrie van de omgeving met de trajecten van het hoofd en de grijper van de menselijke demonstrateur. Op basis hiervan bepaalt het systeem de optimale houding van de robot en genereert het doelen voor de gewrichten en de basis die rekening houden met mogelijke botsingen.
Optimalisatie via masking en correcties
Naast de initiële retargeting maakt het systeem gebruik van delay-calibrated action assignment om trajecten om te zetten in concrete acties. Toch blijven er vaak residuele pose-fouten over door de kinematische verschillen tussen mens en machine. Dit leidt tot een mismatch in het gezichtspunt (viewpoint) tussen wat de mens zag tijdens de demonstratie en wat de robot observeert tijdens de uitvoering.
Om dit te corrigeren hebben de onderzoekers Retargeting-Error-Aware Masking (REAM) ontwikkeld. Deze methode gebruikt de foutmarges tijdens de trainingsfase, waardoor de robot minder afhankelijk wordt van inconsistente visuele informatie tijdens de uiteindelijke inzet.
Omdat geschatte acties alleen niet voldoende zijn om complexe interacties waarbij fysiek contact centraal staat vast te leggen, is er een extra stap toegevoegd. Via een proces genaamd DAgger worden on-policy menselijke correcties verzameld om de prestaties van de robot verder te verfijnen, zoals beschreven in de .
Resultaten en toepassingen
De effectiviteit van Pixel-UMI is getest op vijf verschillende uitdagende scenario's. Deze omvatten onder meer:
* Het manipuleren van gearticuleerde objecten.
* Het hanteren van vervormbare objecten.
* Het bereiken van doelen in beperkte ruimtes.
* Het vermijden van botsingen met het volledige lichaam.
* Bimanuele coördinatie bij taken met veel fysiek contact.
De resultaten tonen een gemiddelde voortgang in de taken van 87,0%. De volledige details en video-resultaten zijn beschikbaar via de links in het .
Hoewel de naam "Pixel" in deze context verwijst naar het robotica-onderzoek, is dit niet gerelateerd aan de consumentenelektronica van Google, zoals de Pixel-smartphones of de Pixel Watch-serie, die zich richten op mobiele communicatie en wearables. De focus van Pixel-UMI ligt puur op de intersectionele velden van robotica, kunstmatige intelligentie en computer vision.