Het trainen van robots om objecten nauwkeurig te manipuleren is vaak een tijdrovend proces, vooral wanneer taken uit meerdere opeenvolgende stappen bestaan. De noodzaak om de fysieke omgeving na elke poging handmatig te resetten, vormt een grote hindernis voor de snelheid van het leerproces. Een team van wetenschappers heeft nu een methode ontwikkeld die dit probleem omzeilt door virtual reality (VR) in te zetten voor het verzamelen van trainingsgegevens.
In het onderzoek "Learning to Stack: Cube-Stacking Imitation Learning from Virtual Reality Demonstrations" beschrijven Gryffin Reizian, Jordan Dowdy en Jean Chagas Vaz hoe zij een virtuele pijplijn hebben opgezet voor dataverzameling. Volgens de publicatie op arxiv.org maakt dit systeem het mogelijk om menselijke demonstraties los te koppelen van de uiteindelijke datasetconstructie. Hierdoor kunnen opgenomen bewegingen herhaaldelijk worden afgespeeld en worden omgezet van taakruimte-commando's naar specifieke acties in de gewrichtsruimte van de robot.
Voor de technische uitvoering maakten de onderzoekers gebruik van de simulatieomgevingen NVIDIA Isaac Sim en Isaac Lab. Een menselijke operator stuurde een robotarm met vijf vrijheidsgraden (5-DoF) aan via een HTC Vive Pro 2 headset en Manus Quantum-handschoenen. Door de integratie met OpenXR konden natuurlijke menselijke handelingen direct worden vertaald naar commando's voor de robotarm, wat de creatie van accurate trainingsvoorbeelden vergemakkelijkte.
De effectiviteit van deze aanpak werd getest met een specifieke opdracht: het stapelen van een rode, blauwe en groene kubus in een willekeurige startpositie. De resultaten laten een drastische verbetering in efficiëntie zien. Waar in de fysieke wereld in een half uur slechts 45 demonstraties konden worden gerealiseerd, leverde de virtuele omgeving in dezelfde tijd 200 demonstraties op. Met behulp van Isaac Mimic werden hier nog eens 100 extra samples aan toegevoegd.
Met deze uitgebreide dataset werd een zogenaamde 'behavior-cloning' policy getraind, waarbij gebruik werd gemaakt van observaties vanuit twee camera's. De evaluatie van dit model vond volledig plaats binnen de simulatie. De auteurs, wiens werk is geaccepteerd voor de 2026 IEEE National Aerospace and Electronics Conference (NAECON), stellen dat hun methode het hergebruik van demonstraties mogelijk maakt voor nieuwe actieruimtes zonder dat er opnieuw menselijke tussenkomst nodig is.
Hoewel dit onderzoek zich specifiek richt op robotica, past de bredere industrie steeds vaker digitale simulaties toe om processen te optimaliseren. Zo maken ook bedrijven in de fietssector, zoals cube.eu, gebruik van digitale tools voor hun productontwikkeling, zij het op een andere schaal dan de imitatieleer in AI. De theoretische basis voor dergelijke technologische sprongen wordt vaak ondersteund door academische kaders en open educatieve platformen, zoals die van de open.edu, die toegang bieden tot kennis over innovatieve systemen.
Door de verschuiving van fysieke naar virtuele dataverzameling wordt de grootste bottleneck in robotica weggenomen. De focus ligt nu niet langer op het handmatig resetten van objecten, maar op het optimaliseren van de virtuele modellen, wat de weg vrijmaakt voor robots die complexe, meerstaps handelingen autonoom en efficiënt kunnen uitvoeren.