Onderzoekers hebben FilmWorld ontwikkeld, een geavanceerd AI-systeem dat in staat is om complexe literaire teksten uit romans te vertalen naar visuele narratieven. Het systeem lost hiermee een van de grootste uitdagingen in generatieve video op: het behouden van visuele en causale consistentie over meerdere scènes.
Het omzetten van een roman naar een film vormt een aanzienlijke hindernis voor de huidige generatieve kunstmatige intelligentie. Waar bestaande videomodellen vaak uitblinken in het creëren van korte, losstaande clips, vereist een volledige filmadaptatie een langdurig narratief met diverse scènes en personages die over de tijd heen evolueren. Volgens een wetenschappelijk rapport op arxiv.org opereert dit proces in een complex regime waarbij abstracte proza moet worden omgezet in concrete visuele beelden zonder dat de logica van het verhaal verloren gaat.
Dynamische modellering van de filmwereld
Om dit probleem aan te pakken, introduceren de auteurs van het project een methode die zij "dynamic cinematic world modeling" noemen. In plaats van direct beelden te genereren vanuit tekst, splitst het systeem het proces op in twee cruciale fasen: constructie en evolutie.
In de constructiefase worden abstracte en vaak ondergespecificeerde literaire beschrijvingen vertaald naar concrete, persistente entiteiten binnen een digitale wereld. Dit betekent dat een personage of locatie een vaste 'staat' krijgt die consistent blijft, ongeacht in welke scène ze verschijnen. In de evolutiefase wordt bepaald hoe deze entiteiten veranderen naarmate het plot vordert. Dit zorgt ervoor dat causale consistentie behouden blijft; als een personage in scène één een object verliest, mag dat object in scène twee niet zomaar weer verschijnen zonder narratieve verklaring.
Samenwerking tussen gespecialiseerde agenten
Het hart van FilmWorld is een zogenaamd "agentic system", waarbij verschillende gespecialiseerde AI-agenten samenwerken om de film te realiseren. Deze agenten zijn verdeeld in twee groepen:
- Constructie-agenten: Deze groep richt zich op de vertaling van het narratief naar een gestructureerde vorm. Zij modelleren de staat van wereldentiteiten met visuele ankers en stellen een shotplan op. Hiermee wordt de literaire taal effectief geprojecteerd op een cinematografische blauwdruk.
- Evolutie-agenten: Deze agenten zijn verantwoordelijk voor de feitelijke visuele generatie. Zij zorgen voor de propagatie van staten tussen verschillende shots en voeren een gesloten verificatiecyclus uit om te controleren of de visuele coherentie en de causale logica bewaard zijn gebleven.
Volgens de details in de publicatie op stelt deze architectuur het systeem in staat om veel complexere sequenties te genereren dan traditionele modellen, die vaak last hebben van "hallucinaties" of plotselinge veranderingen in het uiterlijk van personages.
Evaluatie via FilmEval
Een groot probleem bij de ontwikkeling van AI voor lange video's is het gebrek aan gestandaardiseerde meetmethoden. Om dit op te lossen, hebben de onderzoekers FilmEval geïntroduceerd. Dit is een systematisch evaluatiekader dat gebruikmaakt van een benchmark bestaande uit 15 representatieve romans met verschillende moeilijkheidsgraden.
Het protocol van FilmEval maakt gebruik van negen objectieve metrieken die zijn onderverdeeld in drie dimensies:
* Cinematografische presentatie: De visuele kwaliteit en regie van de beelden.
* Filmconsistentie: De mate waarin personages en omgevingen consistent blijven over de hele film.
* Novel fidelity: De trouw aan het oorspronkelijke literaire bronmateriaal.
De experimentele resultaten, zoals beschreven in het document op , tonen aan dat FilmWorld consistent beter presteert dan andere state-of-the-art video-genererende agentsystemen. De verbeteringen zijn vooral merkbaar in de getrouwheid aan het verhaal en de consistentie tussen verschillende scènes.
Het onderzoek is ingediend door een team van wetenschappers, waaronder Jialong Zuo en Haotong Zuo, en is gecategoriseerd onder computer vision en kunstmatige intelligentie. De volledige technische details en de resultaten van de benchmark zijn beschikbaar via de .