Videomodellen die kunstmatige video's genereren, doen dat stukje voor stukje: elk nieuw fragment bouwt voort op wat er al is. Logisch, maar het heeft een flink nadeel. Na verloop van tijd 'vergeten' deze systemen vaak wie er in beeld is, hoe de scène eruitzag of hoe iets bewoog. Het resultaat: video's die na enkele seconden beginnen te driften en vervormen.
Onderzoekers Yonghao Yu en collega's hebben daar nu iets op gevonden: Video-Mirai, een trainingsmethode die het probleem aanpakt. Volgens de publicatie op arxiv.org komt de kern neer op dit principe: een videomodel moet wél voorspellen op basis van het verleden, maar hoeft niet uitsluitend van het verleden te leren.
🧠 Even simpel uitgelegd
Stel dat je een lang verhaal vertelt, maar je mag alleen luisteren naar wat jezelf net zei — dan raak je al snel de draad kwijt. Video-Mirai doet iets slims: tijdens het oefenen mag het model 'spiekken' naar hoe het verhaal afloopt. Zo leert het welke details belangrijk zijn om vast te houden. Tijdens het echte vertellen mag het niet spieken, maar het heeft wel geleerd beter op te letten. En de spiekbrief wordt na het oefenen gewoon weggegooid.
Zo werkt het
Video-Mirai wordt uitsluitend tijdens de trainingsfase toegepast. Het proces ziet er zo uit:
- De generator produceert een videofragment op de gebruikelijke, causale manier.
- Een bevroren 'foresight encoder' analyseert daarna de volledige reeks beelden op een niet-causale manier — met toegang tot de toekomstige frames.
- Een lichtgewicht voorspeller distilleert die toekomstkennis terug naar de causale toestanden van het model.
Het effect: de interne representaties van het model worden gesuperviseerd door toekomstige frames, zonder dat die frames als input dienen voor de generator zelf.
Meetbare resultaten
De methode is getest tegen een sterke baseline genaamd Causal-Forcing, met duidelijke verbeteringen op zowel korte als lange video's:
- Korte video's (5 seconden, VBench-test): de totale score steeg van 83,8 naar 84,6.
- Lange video's (30 seconden, voorbij de trainingshorizon): de consistentie van het onderwerp steeg van 84,9 naar 88,5, en de consistentie van de achtergrond van 90,2 naar 91,9.
De onderzoekers concluderen dat visuele autoregressieve modellen 'vooruitziendheid' nodig hebben om stabiele beelden te genereren over een langere periode.
Geen extra rekenkracht tijdens gebruik
Een belangrijk technisch voordeel: de extra componenten — de encoder en de voorspeller — worden na de training volledig verwijderd. Tijdens de inferentie, het daadwerkelijke genereren van de video, blijft de oorspronkelijke architectuur behouden. De rekenkracht per stap (FLOPs) en het gedrag van de KV-cache blijven ongewijzigd.
De studie benadrukt dat causaliteit een beperking moet zijn voor de uitvoering van het model, maar niet voor de supervisie van de representaties. Door representaties te trainen met kennis van de toekomst, leert het model beter welke informatie het moet vasthouden voor een coherent resultaat.
Voor professionals in de creatieve sector kunnen deze ontwikkelingen leiden tot AI-video's die minder snel 'driften' of vervormen tijdens langere sequenties. Platformen zoals vimeo.com, met tools voor videobeheer en AI-ondersteunde editing, kunnen complementair zijn aan dergelijke generatieve technologieën.