Onderzoekers hebben een nieuw systeem ontwikkeld, genaamd CodecMotion-OAD, dat de snelheid van online actiedetectie in streaming video's aanzienlijk verhoogt. Door gebruik te maken van bestaande gegevens uit de videodecodering wordt de rekenintensieve stap van optische flow-extractie overgeslagen.
Online actiedetectie (OAD) is een technologie die bedoeld is om acties in real-time te identificeren terwijl een video wordt gestreamd. Traditionele systemen voor OAD combineren vaak RGB-beelden (het visuele aspect) met zogenaamde 'optical flow', een methode om beweging tussen frames nauwkeurig te berekenen. Hoewel dit effectief is, vormt de extractie van deze dichte flow een grote computationele hindernis, wat de snelheid van de analyse vertraagt.
Efficiëntie via het gecomprimeerde domein
In een recent wetenschappelijk rapport, gepubliceerd op 17 oktober 2026 via arxiv.org, stellen Zepeng Sun en collega-onderzoekers voor om codec-bewegingsvectoren (MVs) te gebruiken. Deze vectoren zijn reeds beschikbaar tijdens het proces van videodecodering. Door deze bestaande informatie te benutten, is het niet langer nodig om een aparte, zware berekening voor optische flow uit te voeren.
De onderzoekers merkten op dat er een prestatiekloof bestaat tussen deze twee methoden. Bij het gebruik van de THUMOS'14-dataset scoort optische flow bij bewegings-only inputs 11,2 mAP-punten hoger dan bewegingsvectoren. Echter, wanneer deze gegevens worden gecombineerd met RGB-informatie, krimpt dit verschil tot slechts 3,7 punten. De grootste verbetering bij de fusie van RGB en bewegingsvectoren wordt gezien in het vermogen om verschillende actiecategorieën van elkaar te onderscheiden.
De werking van CodecMotion-OAD
Het voorgestelde systeem, CodecMotion-OAD, vervangt de traditionele optische flow door de door de decoder geleverde bewegingsvectoren, terwijl de bestaande architecturen voor temporele detectie behouden blijven. Het trainingsproces verloopt in twee fasen:
- Eerst worden de kenmerken van de bewegingsvectoren afgestemd op een vooraf getrainde interface voor flow-kenmerken, zonder dat daarvoor actielabels nodig zijn.
- Vervolgens worden de RGB+MV-detectoren getraind met behulp van grondwaarheid-labels en 'soft predictions' van een bevroren RGB+Flow-leermeester (teacher).
Volgens de auteurs van het onderzoek op is dit naar hun weten de eerste toepassing van codec-bewegingsvectoren voor actiedetectie op frameniveau.
Significante winst in verwerkingstijd
De resultaten van de tests met MiniROAD op de THUMOS'14-dataset tonen aan dat CodecMotion-OAD een score van 68,3 mAP behaalt. Ter vergelijking: een systeem met matched-distillation RGB+Flow behaalt 70,9 mAP. Hoewel de nauwkeurigheid iets lager ligt, is de winst in snelheid enorm. De verwerkingstijd van decodering tot voorspelling wordt met een factor 11,48 verminderd op CPU's en met een factor 2,04 op GPU's.
Context van videostreaming en content
De behoefte aan efficiënte actiedetectie is groot in de huidige digitale infrastructuur. Platforms die grote hoeveelheden video-inhoud aanbieden, zoals popcornflix.com, maken gebruik van complexe systemen voor het beheren van videoknooppunten en gebruikerservaringen. Ook mediacenters zoals Plex bieden uitgebreide bibliotheken met diverse categorieën, waaronder actie- en documentairefilms, waarbij metadata en categorisering essentieel zijn voor de vindbaarheid van content.
Hoewel platforms zoals Plex.tv zich richten op de distributie en consumptie van media, biedt het onderzoek van Sun en collega's de technische basis om dergelijke streams in de toekomst intelligenter en sneller te analyseren. De integratie van actiedetectie direct in het decoderingproces kan leiden tot snellere indexering van video's en een verbeterde interactie met streamingcontent.
De volledige details van de methodologie en de experimentele resultaten zijn beschikbaar in de publicatie op .