Onderzoekers hebben een nieuwe interface ontwikkeld die robotische signalen efficiënter integreert in video-diffusiemodellen, wat leidt tot snellere inferentie en hogere succespercentages bij complexe taken.
Een team van wetenschappers, waaronder Guoqiang Liang en Mike Zheng Shou, heeft een nieuwe benadering gepresenteerd voor het bouwen van World Action Models (WAMs). Deze modellen zijn ontworpen om gelijktijdig robotacties en toekomstige observaties te voorspellen. De kern van hun innovatie, genaamd MetaWAM, ligt in de manier waarop laag-dimensionale robotsignalen — zoals proprioceptie, acties en waarden — worden geïntegreerd in de latente ruimte van vooraf getrainde videodiffusiemodellen (VDMs).
Het probleem van signaalinjectie
Bij het ontwikkelen van WAMs is een cruciale ontwerpkeuze de interface waarmee robotsignalen het model binnenkomen. Volgens de publicatie op arxiv.org worden deze signalen in bestaande systemen vaak behandeld als een detail in de formattering. Dit gebeurt meestal door voor elk signaal een apart latent frame te gebruiken of door specifieke encoders en decoders aan het model toe te voegen.
De onderzoekers stellen echter dat signaalinjectie primair een probleem is van distributie-uitlijning. Ze onderzochten hoe goed een representatie aansluit bij de 'prior' van de vooraf getrainde VDMs tijdens het proces van denoising. Door de relatieve reconstructiefout van een bevroren VDM-denoiser als probe te gebruiken, ontdekten zij dat conventionele ruimtelijke coderingen ver afstaan van deze prior. In tegenstelling hiermee bleek dat packing in het frequentiedomein resulteerde in latents die door de denoiser veel minder gecorrigeerd hoefden te worden.
De werking van MetaWAM
Op basis van deze resultaten introduceerden de auteurs MetaWAM. Deze methode voegt alle robotsignalen samen in één enkel, uniform 'meta-frame'. In dit systeem wordt elk signaal toegewezen aan een aparte kanaalband in het frequentiedomein. Vervolgens worden deze signalen via een inverse Discrete Cosinus Transformatie (DCT) naar de ruimtelijke latente ruimte getild.
Het resultaat is een decodeerbare interface die is afgestemd op de prior van het vooraf getrainde VDM, zonder dat er extra modules of architecturale wijzigingen nodig zijn. Door een vaste bandindeling en 'slot-aware routing' kan hetzelfde meta-frame worden gebruikt voor beleid (policy), wereldmodel-voorspellingen en waardevoorspellingen over een gedeelde set robotvariabelen.
Resultaten en prestaties
De effectiviteit van MetaWAM is getest in verschillende scenario's. In de RoboCasa-omgeving behaalde het model een succespercentage van 68,9%. Een belangrijk voordeel is dat de meerdere frames per signaal zijn teruggebracht tot één enkel frame, wat de inferentielatentie met 39% heeft verminderd.
Daarnaast is de methode getest in de fysieke wereld. Bij drie specifieke taken met een Franka-robot behaalde MetaWAM een succespercentage van 85,0%. De volledige details van het onderzoek en de bijbehorende code zijn beschikbaar gesteld via de .
Context en beschikbaarheid
Het onderzoek is ingediend op 10 november 2026 en valt onder de categorieën Computer Vision en Pattern Recognition, evenals Robotica. Hoewel algemene zoekmachines zoals bing.com en google.com toegang bieden tot diverse informatiebronnen over AI en robotica, vormt de technische documentatie op de primaire basis voor de specifieke prestatiecijfers van MetaWAM. De integratie van video-diffusiemodellen in robotica blijft een actueel onderzoeksveld waarbij de focus verschuift van eenvoudige data-injectie naar geavanceerde distributie-uitlijning.