Wat als je een robot kunt besturen door gewoon iets te tekenen? Dat is precies wat onderzoekers voor elkaar hebben gekregen met Sketch-MoMa, een nieuw teleoperatiesysteem. Je tekent een simpele schets op een 2D-scherm, en de robot begrijpt wat je wilt — inclusief hoe hij moet bewegen en grijpen.
Het idee is aantrekkelijk: ondersteuningsrobots in het dagelijks leven hebben interfaces nodig die iedereen kan bedienen. Volgens een wetenschappelijke publicatie op arxiv.org zijn gangbare 2D-apparaten een effectieve manier om robots altijd en overal aan te sturen. Handgetekende schetsen klinken dus als een logische oplossing.
Maar er was een probleem. Eerdere systemen begrepen de context niet. Dezelfde schets kan in verschillende situaties iets heel anders betekenen. Om dat op te lossen waren extra invoermethoden nodig — en dat maakte het systeem juist onhandiger.
Hoe Sketch-MoMa werkt
Sketch-MoMa pakt dit anders aan met behulp van Vision-Language Models (VLMs), AI-modellen die beelden kunnen 'lezen'. Het systeem kijkt niet alleen naar je schets, maar naar de schets in combinatie met een live beeld van wat de robot ziet. Zo leidt de robot zelf af welke vormen je hebt getekend én welke taken daarbij horen.
Die gegenereerde vormen en taken gebruikt het systeem vervolgens voor herkenning en bewegingsplanning. Het resultaat: de robot voert precieze operaties uit. Sketch-MoMa is specifiek gebouwd voor mobiele manipulatoren — robots die zowel door een ruimte kunnen rijden als objecten kunnen oppakken met een arm.
Getest met zeven taken en veertien mensen
De onderzoekers, onder wie Kosei Tanada, testten het systeem met zeven verschillende taken en vijf specifieke schetsvormen. Opvallend: Sketch-MoMa kan zelfs zeer gedetailleerde bewegingen aansturen, zoals de exacte manier van grijpen en hoe ver een object gedraaid moet worden.
Ook de praktijk bleek overtuigend. In een gebruikersexperiment met 14 participanten scoorde de aanpak concurrerend op gebruiksvriendelijkheid vergeleken met bestaande 2D-interfaces.
Officieel erkend op ICRA 2025
Het werk is niet alleen als preprint verschenen, maar ook officieel geaccepteerd voor de IEEE International Conference on Robotics and Automation (ICRA) 2025 — een van de belangrijkste congressen in de robotica.
Sketch-MoMa wijst op een toekomst waarin je geen programmeerkennis of speciale hardware nodig hebt om een robot te bedienen. Eenvoudige visuele aanwijzingen plus krachtige AI: dat verlaagt de drempel voor assistentie-robots aanzienlijk.
🧠 Even simpel uitgelegd
Stel dat je een robot wilt laten een kop thee pakken. In plaats van knoppen in te drukken of code te schrijven, teken je op een scherm een cirkeltje om de kop heen en een pijltje naar de hand van de robot. Het systeem vergelijkt jouw tekening met wat de robot op dat moment 'ziet' via zijn camera. Slimme AI (een Vision-Language Model) snapt dan: 'ah, die persoon wil dat ik dát object pak, op die plek, op die manier.' De robot weet dus niet alleen wat hij moet doen, maar ook hoe — bijvoorbeeld voorzichtig grijpen of het object draaien.
Meer informatie over het project is beschikbaar via de publicatie op arxiv.org.