Onderzoekers hebben een nieuwe evaluatiemethode genaamd OPIS ontwikkeld om te testen hoe goed video-wereldmodellen in staat zijn om meerdere objecten over een langere periode te onthouden. De resultaten tonen aan dat het behouden van specifieke objecten uit een beginbeeld aanzienlijk moeilijker is voor AI dan het genereren van visueel geloofwaardige elementen.
In de ontwikkeling van video-wereldmodellen is het cruciaal dat de visuele staat van een omgeving consistent blijft over tijd. Echter, volgens een recent wetenschappelijk rapport op arxiv.org schieten huidige evaluatieprotocollen vaak tekort. Veel van deze bestaande methoden vertrouwen op gegenereerde geschiedenissen of specifieke referentiebeelden, wat een vertekend beeld kan geven van het werkelijke geheugenvermogen van een model.
De introductie van OPIS
Om dit probleem aan te pakken, hebben Hao Wang en een team van vijftien andere auteurs OPIS geïntroduceerd. Dit is een zogenaamde 'input-grounded benchmark'. In tegenstelling tot eerdere methoden koppelt OPIS de beoordeling strikt aan een vaste set objecten die in de initiële observatie aanwezig zijn. Hierdoor kan nauwkeuriger worden bepaald of een model daadwerkelijk onthoudt welke objecten er waren, in plaats van simpelweg nieuwe, plausibele objecten te verzinnen.
De dataset die bij OPIS hoort is uitgebreid en divers. Het omvat 500 verschillende casussen verspreid over drie domeinen: de echte wereld, robotica (embodied-robotic) en game-werelden. In totaal zijn er 12.672 objecten geannoteerd, variërend van starre objecten tot gearticuleerde en vervormbare instanties, zoals beschreven in de .
Meetmethode en resultaten
Het team maakt gebruik van een object-centrische evaluator die kijkt naar associatie en expliciete zichtbaarheidsredenering. Hiermee wordt op een hiërarchische manier gemeten op drie specifieke punten:
1. Presence (P): Is het object nog aanwezig?
2. Identity (I): Is het nog steeds hetzelfde object?
3. Structure (S): Is de structuur van het object behouden?
Bij het testen van acht verschillende wereldmodellen (zowel image-to-video als camera-geconditioneerde modellen) varieerden de OPIS-scores tussen de 48,65 en 56,01. Een opvallende bevinding is dat de prestaties van de modellen sterk afnemen naarmate de complexiteit toeneemt. Wanneer het aantal referentie-objecten groeit van minder dan 20 naar meer dan 40, dalen de scores voor aanwezigheid, identiteit en structuur. De gemiddelde score voor identiteit zakte in deze scenario's zelfs van 40,22 naar 23,11, aldus de .
Context en bredere industrie
Terwijl de academische wereld zich richt op de technische precisie van geheugen in AI-modellen, opereren andere organisaties met dezelfde naam in geheel andere sectoren. Zo is er dowjones.com, die zich richt op energiegegevens en marktinformatie, een volledig ander vakgebied dan de computer vision-benchmark. Daarnaast zijn er commerciële domeinen zoals opis.com, hoewel toegang tot dergelijke sites soms beperkt kan zijn door beveiligingsdiensten zoals Cloudflare.
De conclusie van de wetenschappers is helder: het is voor huidige AI-modellen aanzienlijk uitdagender om specifieke objecten uit de input consistent te houden dan om visueel overtuigende beelden te genereren die echter niet gebaseerd zijn op het oorspronkelijke geheugen. Dit wijst op een fundamentele kloof tussen visuele plausibiliteit en feitelijke ruimtelijke consistentie in video-generatie.