Onderzoekers van de University of Michigan hebben MDF++ ontwikkeld, een nieuw wereld-actiemodel (WAM) dat visuele en tactiele gegevens end-to-end verwerkt om de precisie van robots bij complexe manipulatietaken aanzienlijk te verbeteren.
In de robotica maken wereld-actiemodellen (World-Action Models of WAMs) het mogelijk voor robots om acties te genereren en tegelijkertijd de toekomstige uitkomsten van die acties te voorspellen. Volgens een recent onderzoekspapier op arxiv.org kampen bestaande WAMs echter met een beperking: ze maken vaak gebruik van vooraf getrainde encoders die 'bevroren' zijn. Deze encoders zijn doorgaans getraind op basis van reconstructie, wat volgens de auteurs niet altijd resulteert in representaties die optimaal zijn voor de feitelijke aansturing van een robot.
End-to-end leren met diffusion backbone
Om dit probleem aan te pakken, hebben Zixuan Huang en zijn collega's MDF++ ontwikkeld. Dit model leert latente representaties van multisensorische waarnemingen volledig end-to-end, gebruikmakend van een zogenaamde diffusion backbone. Het doel hiervan is om representaties te creëren die fysiek gegrond zijn en direct relevant zijn voor de controle van de robot.
Een significante uitdaging bij dit type training is het risico op 'feature collapse', waarbij het model stopt met het leren van diverse en nuttige kenmerken wanneer alles simpelweg gezamenlijk wordt getraind. Om dit te voorkomen, introduceert MDF++ een specifieke multi-task leerstrategie. Zoals beschreven door het x.com, maakt dit systeem gebruik van cross-modale correlaties om taakrelevante representaties te waarborgen.
Prestaties bij contactrijke taken
De effectiviteit van MDF++ is getest op een reeks manipulatietaken waarbij fysiek contact een cruciale rol speelt. Hierbij gaat het onder andere om het vastdraaien van bouten en het koppelen van moeren in de echte wereld. De resultaten tonen aan dat MDF++ superieur is aan WAMs die gebaseerd zijn op bevroren, vooraf getrainde representaties. In sommige gevallen leverde dit een prestatieverbetering op tot wel 50 procent, aldus de publicatie via arxivsignals.io.
De kern van deze verbetering ligt in de manier waarop het model de toekomst voorspelt. In een bericht op X legt onderzoeker x.com uit dat de meeste huidige modellen de toekomst voorspellen in latente ruimtes die niet zijn geoptimaliseerd voor robotcontrole, terwijl MDF++ dit oplost via cross-modale voorspellingen.
Academische context en presentatie
Het onderzoek is uitgevoerd binnen het Department of Robotics aan de University of Michigan, Ann Arbor. De belangrijkste bijdragen van het project omvatten het ontwerp van het end-to-end framework en de implementatie van de strategie om feature collapse te voorkomen, zoals samengevat door DeepPaper.
Het team heeft het werk ingediend voor de CoRL 2026 (Conference on Robot Learning), waar de resultaten van het visuo-tactiele model verder zullen worden gepresenteerd. De focus van het project ligt op het overbruggen van de kloof tussen sensorische waarneming en effectieve motorische actie in complexe, fysieke omgevingen.