Onderzoekers hebben een nieuwe methode ontwikkeld om de interactie tussen robots en hun omgeving te optimaliseren door gebruik te maken van een specifiek type wereldmodel. In een recent gepubliceerd wetenschappelijk document introduceren Shashank Hegde en collega's LeWAM, een bidirectionele transformer die is ontworpen om acties en toekomstige waarnemingen nauwkeuriger te voorspellen.
De beperkingen van traditionele wereldmodellen
Binnen de robotica worden World Action Models (WAMs) ingezet om te voorspellen welke acties nodig zijn en hoe de omgeving daarop zal reageren. Volgens de publicatie op arxiv.org maken traditionele modellen vaak gebruik van reconstructie-gebaseerde representaties. Een nadeel hiervan is dat deze representaties vaak redundante en ruisgevoelige informatie bevatten, wat de nauwkeurigheid van daaropvolgende voorspellingen kan bemoeilijken.
Om dit probleem aan te pakken, hebben de auteurs LeWAM ontwikkeld. Dit model is gebaseerd op een decoder-vrije Joint-Embedding Predictive Architecture (JEPA). Het systeem is end-to-end getraind in vier verschillende modi: voorwaartse dynamiek, achterwaartse dynamiek, inverse dynamiek en beleidsvoorspelling.
Voordelen van de LeWAM-benadering
De implementatie van LeWAM biedt volgens de onderzoekers drie significante voordelen ten opzichte van bestaande systemen:
- Betere uitlijning: Door gebruik te maken van lineaire probes kan het model de status van zowel de robot als objecten in de omgeving beter aflezen dan een standaard 'forward-only' JEPA-wereldmodel. Bovendien slaagt LeWAM erin om visuele afleiders te negeren, wat een aanzienlijke verbetering is ten opzichte van reconstructie-gebaseerde WAMs, zoals beschreven in de .
- Effectiever handelen: In closed-loop evaluaties presteert LeWAM op een niveau dat vergelijkbaar is met een reguliere flow-matching policy die op dezelfde encoder is getraind, terwijl het tegelijkertijd de functionaliteit van een wereldmodel behoudt.
- Geoptimaliseerde planning: Het onderzoek wijst uit dat het plannen in de ruisruimte van de policy head de closed-loop prestaties van deze WAMs verbetert. Dit staat in contrast met het simpelweg samplen van ruwe acties, waarbij Model Predictive Control (MPC) vaak onbedoeld profiteert van onnauwkeurigheden in het dynamische model.
Context van de technologie
De techniek maakt gebruik van concepten zoals 'diffusion-steering'. Hoewel de term 'diffusie' in een natuurkundige context verwijst naar de spontane beweging van moleculen van een hoge naar een lage concentratie, zoals uitgelegd op sciencefacts.net, wordt het in de context van kunstmatige intelligentie en robotica gebruikt als een wiskundig proces om data te genereren of te sturen. In het geval van LeWAM wordt dit proces ingezet om de planning van de robot te verfijnen.
Het onderzoek is ingediend op 8 oktober 2026 en de meest recente versie (v2) werd op 5 november 2026 gepubliceerd via . De studie valt onder de categorieën robotica, kunstmatige intelligentie en computervisie.
Conclusie en impact
Door de overstap naar een latentie-gebaseerd model dat minder gevoelig is voor visuele ruis, kunnen robots efficiënter plannen en reageren op hun omgeving. De bidirectionele transformer-structuur van LeWAM stelt het systeem in staat om niet alleen vooruit te kijken naar toekomstige toestanden, maar ook om effectiever om te gaan met de inverse dynamiek van acties.
Voor meer details over de technische implementatie en de resultaten van de closed-loop evaluaties kan het volledige rapport worden geraadpleegd via de .