Een team van wetenschappers heeft een innovatief generatief videomodel ontwikkeld dat de interactie binnen extended reality (XR) ingrijpend kan veranderen. Waar traditionele modellen vaak afhankelijk zijn van tekstuele commando's of toetsenbordinvoer, reageert dit nieuwe systeem direct op de fysieke handelingen van een menselijke gebruiker.
In een wetenschappelijk rapport met de titel "Generated Reality" leggen Linxi Xie en collega-onderzoekers uit dat de huidige beperkingen in controle de bruikbaarheid van generatieve modellen voor belichaamde ervaringen hinderen. Om dit te doorbreken, hebben zij een model ontwikkeld dat gebruikmaakt van conditioning op basis van de posities van de gewrichten in de handen en de stand van het hoofd. Volgens de publicatie op arxiv.org is er een specifiek mechanisme voor 3D-controle ontwikkeld, waarbij bestaande strategieën voor diffusion transformers zijn geoptimaliseerd om een nauwere koppeling met de fysieke realiteit te bewerkstelligen.
Deze technologische vooruitgang steunt op een diepgaand begrip van hoe de menselijke anatomie functioneert. De interactie tussen het systeem en de gebruiker is immers gebaseerd op de coördinatie van het britannica.com, waarbij de precieze bewegingen van ledematen en het hoofd worden vertaald naar visuele output in een virtuele ruimte. Door deze anatomische input te integreren, kunnen gebruikers behendige handelingen uitvoeren met objecten in een gegenereerde omgeving die direct reageert op hun acties.
Het technische ontwerp van het systeem is opgebouwd in twee verschillende fasen. De onderzoekers startten met het trainen van een bidirectioneel video-diffusiemodel, dat diende als een zogenaamd 'teacher-model'. De opgedane kennis uit dit model werd vervolgens gedestilleerd in een causaal en interactief systeem. Dit resulteert in een omgeving vanuit een egocentrisch perspectief, wat betekent dat de beelden consistent blijven en in real-time reageren op de input van de persoon die de simulatie ervaart.
Om de praktische waarde van deze methode te bewijzen, is het systeem getest met menselijke proefpersonen. Uit deze evaluaties blijkt dat gebruikers beter presteerden bij het uitvoeren van specifieke taken in deze gegenereerde werelden dan bij het gebruik van oudere referentiemodellen. De deelnemers gaven aan een veel sterker gevoel van agentschap te ervaren; zij voelden dat hun fysieke bewegingen een direct en controleerbaar gevolg hadden in de virtuele ruimte.
De herziene versie van dit onderzoek werd op 23 augustus 2026 gepubliceerd. De resultaten, zoals beschreven in de , suggereren dat de kloof tussen grove aansturing en fijnmazige fysieke interactie hiermee aanzienlijk is verkleind. Dit opent nieuwe wegen voor simulaties waarin de natuurlijke interactie tussen de en digitale objecten centraal staat.
Voor wie geïnteresseerd is in de technische implementatie en de gebruikte datasets, biedt de volledige inzichten in de methodologie van "Generated Reality".