Onderzoekers hebben V-STORM ontwikkeld, een nieuw framework en dataset die Multimodale Large Language Models (MLLMs) helpen om nauwkeuriger te begrijpen waar en wanneer specifieke gebeurtenissen in een video plaatsvinden.
AI-modellen zien steeds beter wat er in een video gebeurt. Maar vraag ze wanneer en waar iets precies plaatsvindt, dan gaan ze vaak de mist in. Fijnmazig ruimtelijk-temporeel redeneren — het exact aanwijzen van bewijsstukken in de beelden en die vervolgens samenvoegen tot een logische redenering — blijft een flinke uitdaging. Bovendien ontbreekt het volgens een publicatie op arxiv.org aan schaalbare evaluatiemethoden die deze stappen direct koppelen aan verifieerbaar bewijs in de video.
Zo werkt V-STORM
Onderzoekers onder wie Dian Jiao en Siliang Tang pakten het probleem aan met het V-STORM framework. Het systeem zet video's om in zogenaamde Spatio-Temporal Scene Graphs (STSGs). Uit die grafen halen ze 'Grounded Chain of Thought' (GCoT) annotaties. Het gevolg: elke redeneerstap van de AI is herleidbaar naar concrete locaties en tijdstippen in de video.
De dataset is fors: 260.000 samples voor training en een benchmark van 3.000 samples die door mensen is geverifieerd. Volgens de auteurs vergroot deze aanpak de 'trouw' (faithfulness) van de AI. Het model hallucineert minder en geeft vaker antwoorden die direct onderbouwd kunnen worden met visueel bewijs.
Waar huidige modellen vastlopen
Het onderzoek legt een opvallend probleem bloot in de huidige generatie MLLMs. Er bestaat een duidelijke scheiding tussen het vinden van bewijsmateriaal en het samenvoegen daarvan. Veel modellen lokaliseren de relevante visuele aanwijzingen prima, maar falen bij het integreren van die cues in een correcte, meerstaps redenering.
Traditionele evaluatiemethoden maskeren die bottleneck, stelt de publicatie, omdat ze alleen naar het uiteindelijke antwoord kijken. De GCoT-methode maakt juist zichtbaar waar de logische keten precies doorbroken wordt. Finetunen met de V-STORM dataset leverde een significante verbetering op: zowel de nauwkeurigheid van de antwoorden als de betrouwbaarheid van de onderbouwing ging omhoog.
Straks vrij beschikbaar
De onderzoekers kondigden aan dat de dataset, de benchmark en de broncode publiekelijk beschikbaar komen. Andere ontwikkelaars kunnen hun modellen dan zelf testen op fijnmazig video-begrip.
Terwijl de academische wereld AI inzet voor technische analyse van videobeelden, gebruikt de creatieve sector video juist voor artistieke expressie. Zo meldde vrt.be onlangs dat de videoclip 'Storm', met choreografie van de Belg Damien Jalet, een prijs won voor beste performance op de Britse Music Video Awards. Die clip — 44 miljoen keer bekeken — is een heel andere 'storm' dan het AI-framework, maar illustreert wel de complexiteit van visuele storytelling en choreografie die AI-modellen proberen te ontleden.
🧠 Even simpel uitgelegd
Stel dat je een detective bent die een bewakingsvideo bekijkt. Je moet niet alleen zeggen wie de dader is, maar ook op welk moment en op welke plek in de beelden je elk bewijs zag. Veel AI-modellen zijn als een detective die alleen het eindantwoord geeft, zonder te laten zien waar zijn bewijs vandaan komt. V-STORM is een soort notitieboekje dat de AI dwingt om bij élke redeneerstap te noteren: dit zag ik op die plek, op dat tijdstip. Zo is te controleren of de AI echt naar de video keek, of gewoon iets verzint.