Waar kijkt een mens naar tijdens het kijken van een video? Die vraag blijkt verrassend lastig te beantwoorden voor computers. Onderzoekers onder leiding van Jenna Kang hebben nu een nieuw framework ontwikkeld dat menselijke blikrichtingen voorspelt in video's van willekeurige lengte. Volgens een publicatie op arxiv.org presteert hun aanpak nauwkeuriger dan eerdere methoden.
Waarom oude methoden tekortschieten
Wetenschappers gebruikten tot nu toe vooral twee technieken: 'saliency maps', die per moment aangeven waar aandacht waarschijnlijk naartoe gaat, en 'scanpaths', die een geordende reeks blikfixaties tonen. Beide benaderingen hebben een belangrijk probleem: ze negeren de fijnmazige tijdsdynamiek van ruwe blikgegevens.
Er is nog een groter knelpunt. De meeste bestaande systemen werken slechts binnen korte tijdvensters van ongeveer drie tot vijf seconden. Daarmee missen ze de langdurige gedragspatronen die juist zo kenmerkend zijn voor realistische video's uit de echte wereld.
Hoe het nieuwe model werkt
Het team rond Jenna Kang introduceerde een generatief framework voor 'infinite-horizon'-voorspellingen. Simpel gezegd: het model genereert bliktrajecten voor video's van elke gewenste lengte, zonder vast te zitten aan strikte tijdslimieten.
De kern van de aanpak is een autoregressief diffusiemodel. In plaats van statische kaarten produceert het systeem continue trajecten die bestaan uit ruimtelijke coördinaten en tijdstempels met hoge resolutie. Om de nauwkeurigheid te verhogen, wordt het model gestuurd door een visuele latente ruimte die specifiek is afgestemd op saliency — de opvallendheid van beeldonderdelen.
🧠 Even simpel uitgelegd
Stel dat je een film kijkt en een computer wil voorspellen waar jouw ogen naartoe gaan. Oudere systemen konden dat maar voor een paar seconden tegelijk — daarna hielden ze op. Het nieuwe model werkt als een domino-effect: het voorspelt eerst waar je kijkt, gebruikt die voorspelling vervolgens als input voor het volgende moment, en zo oneindig verder. Een 'diffusiemodel' doet dat door eerst willekeurige ruis te maken en die stap voor stap om te vormen tot een realistisch blikpatroon — net zoals je uit een wazige foto geleidelijk een scherp beeld tevoorschijn haalt.
Betere resultaten over lange periodes
In de meest recente versie van het onderzoek, die op 19 november 2026 werd bijgewerkt, stellen de onderzoekers dat hun methode significant beter presteert dan bestaande benaderingen. De verbeteringen zijn vooral zichtbaar in de spatio-temporele nauwkeurigheid over lange periodes en in het realisme van de gegenereerde trajecten.
Het onderzoek is ingediend onder de categorie Computer Vision and Pattern Recognition. Naast hoofdauteur Jenna Kang bestaat het team uit Colin Groth, Tong Wu, Finley Torrens, Patsorn Sangkloy, Gordon Wetzstein en Qi Sun.
Wat ermee mogelijk wordt
De mogelijkheid om menselijke aandacht over een onbeperkte tijdspanne te simuleren, opent nieuwe wegen voor systemen die menselijk gedrag moeten begrijpen of erop moeten anticiperen. Denk aan slimmere mens-machine-interactie of geavanceerde scene-understanding.
Wel blijft de focus van het huidige onderzoek primair gericht op de technische validatie van de generatieve trajecten. De resultaten suggereren in elk geval dat de overstap naar autoregressieve diffusie een effectieve oplossing biedt voor het temporele probleem waar de computer vision-gemeenschap voorheen mee kampte.