Onderzoekers hebben nieuwe 'agentic' frameworks ontwikkeld die kunstmatige intelligentie in staat stellen om live videostromen effectiever te analyseren. Door actieve beslissingen te nemen over wanneer ze moeten inzoomen, terugkijken of wachten op nieuwe beelden, kunnen deze systemen accuratesse aanzienlijk verhogen binnen strikte geheugen- en latentielimieten.
Het begrijpen van streaming video vormt een complexe uitdaging voor multimodale modellen. Systemen moeten vragen beantwoorden over een live videostroom terwijl ze kampen met beperkt geheugen en de noodzaak voor snelle reacties. Traditionele methoden die zich enkel richten op de meest recente frames behouden weliswaar een scherp beeld van het huidige moment, maar het toevoegen van historische frames kan leiden tot een versnipperde aandacht en het ontstaan van hallucinaties.
ActiveForager: Strategisch bewijs verzamelen
Een recente publicatie op arxiv.org introduceert ActiveForager, een streaming video-agent die werkt met een kort 'werkvenster' en alleen extra bewijsmateriaal verzamelt wanneer dat nodig is. In plaats van constant alle data te verwerken, kiest de agent per query uit vier acties: direct antwoorden, inzoomen op recente frames in hoge resolutie, gebeurtenissen uit het geheugen oproepen of wachten op toekomstige frames.
Om historische gegevens effectief te gebruiken, maakt ActiveForager gebruik van een sub-agent die kandidaat-clips isoleert en samenvat. Een speciaal 'stream-decoupled attention mask' voorkomt dat deze historische informatie interfereert met de huidige visuele tokens. Volgens de onderzoekers, die hun resultaten ook deelden via arxivlens.com, leidde dit bij het Qwen3-VL-8B model tot een stijging in algemene accuratesse op de OVO-Bench van 47,6% naar 65,9%. Daarnaast verdubbelde de zero-shot accuratesse op de Video-Holmes benchmark.
DeltaStreamer: Geheugen gebaseerd op visuele veranderingen
Een andere benadering is gepresenteerd in het project DeltaStreamer. Dit framework is geïnspireerd op de menselijke manier van observeren en onthouden. Waar veel systemen videogeschiedenis comprimeren tot tekstuele samenvattingen waardoor details verloren gaan, richt DeltaStreamer zich op het vastleggen van visuele veranderingen.
Zoals beschreven op cctest.ai, registreert de agent continu zowel scènebeschrijvingen als de specifieke verschillen tussen opeenvolgende frames. Wanneer een vraag wordt gesteld, bepaalt een planner welk bewijs nodig is en kan het systeem terugkeren naar de originele visuele bron als de tekstuele herinnering onvoldoende is. In een publicatie op arxiv.org meldten de auteurs dat DeltaStreamer scores van 66,07% op OVO-Bench en 59,53% op StreamingBench behaalde.
De verschuiving naar agentic video-understanding
De trend in de computer vision verschuift van statische inferentie naar systemen die actief beslissen welke informatie ze moeten inspecteren, behouden of verifiëren. Een uitgebreid overzicht in een survey op arxiv.org analyseert hoe deze 'agent-loops' contextuele knelpunten oplossen via hiërarchisch geheugen en actieve acquisitie van bewijsmateriaal.
Een eerder voorbeeld van deze trend is R3-Streaming (Remember, Respond, Reason). Dit framework formuleert streaming video als een cascaded control-probleem. Volgens een rapport op arxiv.org maakt dit systeem gebruik van een 'age-aware forgetting policy' voor geheugencompressie en een specifiek reinforcement learning-doel (TB-GRPO) om complexe vragen naar sterkere modellen te routeren. Dit resulteerde in een reductie van het visuele tokengebruik met 95 tot 96 procent, terwijl toch hoge scores op OVO-Bench en StreamingBench werden behaald.
Door de combinatie van on-demand bewijsvoering, veranderingsgevoelig geheugen en intelligente routing, bewegen AI-modellen zich richting een menselijker begrip van dynamische videostromen.