In de ontwikkeling van interactieve digitale omgevingen vormen cumulatieve fouten een aanhoudend probleem. Traditionele AI-modellen genereren visuele beelden vaak direct in een latente ruimte, waardoor complexe elementen zoals de houding van personages en de interactie tussen objecten impliciet worden beheerd. Dit resulteert vaak in een verlies van visuele consistentie naarmate een simulatie langer duurt.
Om dit op te lossen hebben onderzoekers, waaronder Zian Meng en Zhen Li, een nieuwe benadering ontwikkeld genaamd Marionette. In plaats van een enkel generatief proces, hanteert dit systeem een architectuur waarbij de wereldtoestand expliciet wordt gemodelleerd. Volgens een publicatie op arxiv.org wordt het proces opgesplitst in drie verschillende fasen om de controle over de omgeving te vergroten.
De eerste fase bestaat uit een autoregressief dynamisch model dat een interpreteerbare 3D-wereldtoestand voorspelt. Deze toestand is opgebouwd uit 276 dimensies en bevat essentiële data over de trajecten van wortelpunten, rotaties en de gearticuleerde skeletten van diverse entiteiten. Vervolgens wordt deze informatie via een zogenaamde 'graphics bridge' vertaald naar pose-control video's. Deze renderer berekent occlusie en geometrie in de wereldruimte zonder gebruik te maken van parameters. In de laatste stap zet een video-diffusiemodel deze controles om in fotorealistische RGB-beelden.
Een cruciaal voordeel van deze methode is de mogelijkheid om de wereldtoestand direct aan te passen. De auteurs van het onderzoek op tonen aan dat het model nauwkeurig reageert op externe sturing; bij het afdwingen van een niet-overeenkomende actiestroom veranderde de fout in de gewrichten ten opzichte van de wortel met 31% over 48 geteste segmenten.
Bovendien staat de scheiding tussen geometrie en uiterlijk toe dat fysieke fouten gecorrigeerd kunnen worden zonder het visuele model aan te passen. In ongestuurde simulaties ontstonden er problemen waarbij personages tot 21,2 meter uit elkaar dreven, terwijl ze in werkelijke sessies meestal op ongeveer 5 meter afstand bleven. Ook vertoonde een derde van de frames penetratie van de grond. Door het implementeren van een maximale scheidingsafstand en een terrein-collider in de geometrische laag, kon de grondpenetratie met 66% worden verminderd.
Ondanks deze extra tussenlaag blijft de visuele kwaliteit behouden. De onderzoekers rapporteren een Fréchet Video Distance (FVD) van 831, wat zeer dicht ligt bij de 799 die werd gemeten bij opgenomen poses. Dit bevestigt dat de structurele stabiliteit kan worden verbeterd zonder in te boeten op beeldkwaliteit.
Hoewel de naam van het model doet denken aan de traditionele kunst van poppenspel, waarbij technieken en culturele betekenissen centraal staan zoals beschreven door puppetbuildingworld.com, richt dit project zich puur op de technische implementatie van computer vision en AI. De volledige methodologie van dit project, dat op 14 augustus 2026 werd ingediend, is raadpleegbaar via de .