Onderzoekers hebben een nieuwe benadering ontwikkeld om video-gebaseerde taalmodellen (Video LLM's) in staat te stellen gebruikers proactief te helpen bij het aanleren van dagelijkse vaardigheden, zoals koken, door fouten direct te signaleren.
Het aanleren van praktische vaardigheden gebeurt tegenwoordig steeds vaker via instructievideo's op internet. Hoewel multimodale grote taalmodellen (LLM's) potentieel kunnen dienen als assistenten bij dergelijke taken, is een cruciale vereiste voor succes in de echte wereld het vermogen om preventief in te grijpen zodra een fout zichtbaar wordt. In een recent onderzoek, getiteld "Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?", is onderzocht in hoeverre huidige AI-modellen hieraan in staat zijn.
De uitdaging van real-time correctie
Volgens de publicatie op arxiv.org is het voor een taakassistent essentieel om reactief en stap-voor-stap begeleiding te bieden. Om dit te testen hebben de auteurs van het onderzoek, waaronder Apratim Bhattacharyya en collega's, de zogenaamde Ego-MC-Bench (Mistake Corrections) geïntroduceerd. Dit is een benchmark die specifiek is ontworpen om de prestaties van video LLM's te evalueren in realistische kookscenario's waarin fouten worden gemaakt.
Uit uitgebreide experimenten blijkt dat de huidige state-of-the-art video LLM's grote moeite hebben met deze benchmark. De onderzoekers stellen dat dit hoofdzakelijk te wijten is aan een gebrek aan geschikte trainingsdata. Hoewel er veel datasets met kookvideo's beschikbaar zijn, bevatten deze zelden voorbeelden van fouten die gekoppeld zijn aan correct getimede interventies.
Innovatie via synthetische data
Om dit tekort aan data aan te pakken, hebben de onderzoekers Ego-CoMist ontwikkeld. Dit is een synthetische, contrafeitelijke dataset die is ontstaan door niet-interactieve kookvideo's om te vormen tot trainingsvoorbeelden die proactieve interventies bevatten.
Het onderzoek toont aan dat het finetunen van modellen op basis van Ego-CoMist leidt tot significante prestatiewinst. Dit is met name zichtbaar bij kleinere en efficiëntere video LLM's. Volgens de zijn juist deze compactere modellen uitermate geschikt voor implementatie op 'edge devices', waardoor assistentie direct op lokale apparaten in de keuken kan worden geleverd zonder zware cloud-infrastructuur.
Context van digitale media in 2026
De ontwikkeling van dergelijke AI-assistenten vindt plaats in een landschap waar de consumptie van video-inhoud blijft groeien. Terwijl AI-modellen leren hoe ze gebruikers kunnen begeleiden bij het kijken van instructievideo's, verschuift ook de manier waarop mensen toegang krijgen tot content. Zo meldt journaldugeek.com dat in 2026 het gebruik van gratis en legale streamingplatformen in Frankrijk sterk is toegenomen, waarbij meer dan 15 miljoen Fransen maandelijks gebruikmaken van dergelijke diensten.
De opkomst van het AVOD-model (Advertising Video On Demand) zorgt ervoor dat een breed scala aan content toegankelijk blijft, variërend van publieke omroepen zoals France.TV en ARTE.TV tot commerciële opties zoals TF1+ en M6+. Deze brede beschikbaarheid van video-instructies maakt de behoefte aan intelligente, corrigerende assistenten zoals die in het onderzoek naar streaming-interventies worden beschreven, alleen maar groter.
Toekomstige implementatie
Het project, dat volgens de zal verschijnen op de NeurIPS 2026 (E&D), markeert een stap richting AI die niet alleen video's kan beschrijven, maar ook actief kan interageren met de fysieke handelingen van een gebruiker. Door het overbruggen van de kloof in trainingsdata via synthetische methoden, wordt de weg vrijgemaakt voor assistenten die in staat zijn om menselijke fouten tijdens het leerproces direct te corrigeren.