Onderzoekers hebben LynnReal-Hand ontwikkeld, een geavanceerd videomodel dat het mogelijk maakt om objecten in digitale omgevingen nauwkeurig te besturen via handbewegingen. Het systeem combineert hoge visuele kwaliteit met lage latentie voor real-time interactie.
Tot nu toe konden interactieve videomodellen van werelden voornamelijk worden verkend via tekstcommando's of camera-instellingen. Directe interactie met objecten bleef echter problematisch omdat dit een veel fijnere controle vereist. Volgens een wetenschappelijke publicatie op arxiv.org vormt de vertaling van continue handbewegingen naar coherente visuele reacties een grote uitdaging, mede door de complexe dynamiek tussen handen en objecten en de zware eisen aan rekenkracht voor real-time verwerking.
Innovaties in interactie en generatie
Om deze hindernissen te overwinnen, introduceren Shaohao Rui en zijn collega's LynnReal-Hand. Dit model verenigt precieze interactiemodellering met een efficiënte methode voor streaminggeneratie. De basis van het systeem is een dataset van 100.000 interactieclips, die zowel uit echte als synthetische omgevingen afkomstig zijn. Om de fijnmazige bewegingen van handen en de interactie met objecten te verbeteren, is er gebruikgemaakt van specifieke 'hand-aware' supervisie.
Een cruciaal onderdeel van de technologie is de implementatie van een causale flow-map, die generatie in slechts enkele stappen mogelijk maakt. Daarnaast is er gebruikgemaakt van 'region-aware score distillation'. Deze techniek combineert complementaire priors van zowel video als afbeeldingen om de visuele verschijning en de dynamiek van de interacties verder te verfijnen, zoals beschreven in de .
Snelheid en technische prestaties
Een van de grootste knelpunten bij videogeneratie is de latentie. De onderzoekers hebben daarom de 'Ultra-Fast-VAE' ontwikkeld, een compacte videodecoder. Deze decoder is in staat om een hoge reconstructiegetrouwheid te behouden, terwijl de computationele kosten aanzienlijk worden verlaagd.
De effectiviteit van het model is getest via HandBench, waarbij LynnReal-Hand superieure resultaten behaalde op het gebied van visuele kwaliteit en de nauwkeurigheid waarmee de handen worden gevolgd. De volledige sequentie van het model behaalde een FVD-score van 181,67 en een MANO Dice-score van 93,02. Zelfs bij het gebruik van het drie-staps causale model bleef de MANO Dice-score hoog, met een waarde van 92,49, meldt de .
Voor toepassingen in real-time interactie zijn de prestaties als volgt gemeten op een enkele H200 GPU:
- Resolutie: 540p streaming.
- Snelheid: 18,03 FPS (frames per seconde).
- Latentie: 741 milliseconden.
- Geheugengebruik: Een geoptimaliseerde piek van 34,89 GB GPU-geheugen.
Toekomstige beschikbaarheid
De ontwikkelaars hebben aangekondigd dat zij de datasets, de modelgewichten en de volledige code voor training en inferentie openbaar zullen maken. Hiermee willen zij verder onderzoek naar handgestuurde videowereldmodellen ondersteunen. De laatste revisie van het onderzoek werd op 17 november 2026 gepubliceerd via .
Hoewel de focus van dit project ligt op computer vision en kunstmatige intelligentie, maken dergelijke technologische sprongen in AI-gestuurde interactie vaak gebruik van brede infrastructurele ondersteuning. Bedrijven in de AI-sector, zoals deepl.com, richten zich inmiddels ook op de integratie van AI-agenten en workflows om de efficiëntie van digitale interacties te verhogen, wat past in de bredere trend van AI-native systemen.