⚠️ KMI waarschuwing: Code oranje in Henegouwen Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Nieuwe methode 'LookAway' vermindert rekenkracht bij video-analyse door AI

Nieuwe methode 'LookAway' vermindert rekenkracht bij video-analyse door AI

Onderzoekers hebben een nieuwe techniek ontwikkeld genaamd 'LookAway', waarmee vision-language modellen (VLMs) efficiënter lange video's kunnen analyseren. Door eerst aantekeningen te maken en daarna de visuele data te negeren, wordt de benodigde rekenkracht drastisch verlaagd zonder dat dit ten koste gaat van de nauwkeurigheid.

Binnen de huidige generatie vision-language modellen is het analyseren van lange video's een intensief proces. Deze modellen moeten bij elke stap van het genereren van een antwoord de volledige 'key-value (KV) cache' van de video opnieuw lezen. Dit proces is zeer kostbaar in termen van rekenkracht, zeker wanneer video's honderden of duizenden tokens beslaan. In een recent onderzoek, gepubliceerd op arxiv.org, stellen wetenschappers voor om dit proces te optimaliseren door de manier waarop het model naar de beelden kijkt te veranderen.

De werking van LookAway

De kern van de nieuwe methode, genaamd LookAway, is dat het model niet langer constant naar de video blijft kijken terwijl het een antwoord formuleert. In plaats daarvan volgt het model een specifieke volgorde: eerst schrijft het model timestamped aantekeningen over de relevante delen van de video die nodig zijn om de gestelde vraag te beantwoorden. Zodra deze aantekeningen voltooid zijn, wordt de toegang tot de visuele KV-cache van de video volledig afgesloten voor de rest van de respons.

Uit de tests blijkt dat de afhankelijkheid van de video zich vooral concentreert in het begin van het antwoord. Door de video vroegtijdig 'weg te leggen', kan het model verder redeneren op basis van zijn eigen geschreven notities. Volgens de publicatie op presteert het model Qwen3.6-27B beter wanneer het deze aantekeningen maakt dan wanneer het direct probeert te redeneren zonder visuele ondersteuning op hetzelfde punt in het proces.

Resultaten en efficiëntie

De impact op de prestaties is aanzienlijk. Zonder aanvullende training slaagt LookAway erin om de nauwkeurigheid van volledige video-analyse bijna te evenaren, terwijl de kosten voor het decoderen slechts 0,12 tot 0,13 keer bedragen van de oorspronkelijke kosten. Dit betekent dat de rekenlast met bijna 90% wordt verminderd.

Om het proces verder te optimaliseren, hebben de onderzoekers het model gefinetuned op basis van correcte LookAway-responsen. Daarnaast is er gebruikgemaakt van reinforcement learning, waarbij het model werd beloond voor correcte antwoorden en gestraft voor het onnodig lezen van de KV-cache. De resultaten van deze training zijn als volgt:
- Het getrainde model legt de video gemiddeld na 66 tot 68 tokens weg.
- In drie verschillende benchmarks leest het model slechts 27% tot 35% van de KV-posities vergeleken met een standaardmodel.
- Ondanks de minder intensieve visuele analyse schrijft het model meer tokens dan een identiek getraind model dat de volledige video blijft gebruiken.

Validatie van de methode

Om te bewijzen dat de aantekeningen daadwerkelijk de basis vormen voor het antwoord, hebben de onderzoekers experimenten uitgevoerd waarbij de notities werden vervangen door die van een andere video. Dit leidde tot een duidelijke verslechtering van de nauwkeurigheid. Bovendien bleek dat het tegelijkertijd beschikbaar houden van de video en de aantekeningen geen significant voordeel bood boven het enkel gebruiken van de aantekeningen.

Het onderzoek, dat op 18 november 2026 werd ingediend bij , toont aan dat VLMs effectiever kunnen werken door visuele informatie eerst te synthetiseren tot tekstuele notities voordat de uiteindelijke redenering plaatsvindt. Hoewel andere bronnen zoals magneticmemorymethod.com en mediucom op dit moment geen aanvullende technische details verspreiden over deze specifieke implementatie, biedt de wetenschappelijke publicatie een gedetailleerd kader voor de toekomst van efficiëntere video-AI.

Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!