Onderzoekers hebben nieuwe inzichten verkregen in het energieverbruik van Vision-Language Models (VLMs) op edge-apparaten, waarbij blijkt dat de visuele verwerking bij continue waarneming de grootste kostenpost vormt.
In een recent wetenschappelijk onderzoek is gekeken naar de energiecompositie van zogenaamde 'edge' Vision-Language Models. Waar eerdere conclusies over het energieverbruik van visuele pre-filling vaak werden getrokken op basis van scenario's met een enkele vraag-antwoordsessie (single-shot workloads), hebben onderzoekers dit nu getoetst aan scenario's van voortdurende perceptie.
Het onderzoek, dat is ingediend bij arxiv.org, richtte zich op het profileren van negen verschillende VLMs. Deze modellen zijn verdeeld over drie verschillende architectuurfamilies. Voor de tests werden Jetson AGX Thor en Orin hardwareplatforms gebruikt, waarbij in totaal 4.508 records werden geanalyseerd en gekalibreerd met behulp van een pure teksttaak.
Twee onafhankelijke energiewetten
Uit de data komt naar voren dat er sprake is van twee onafhankelijke wetmatigheden met betrekking tot het energieverbruik. Ten eerste is er de kostenpost voor het decoderen van output-tokens. De onderzoekers stelden vast dat de energiekosten per output-token monotoon toenemen naarmate de schaal van het model groter wordt.
Ten tweede is er de kostenpost voor de visuele pre-fill, oftewel het coderen van beelden. In tegenstelling tot de decodeerkosten, wordt deze post niet bepaald door de schaal van het model, maar door de architecturale efficiëntie van de visuele encoder. Volgens de publicatie op is de schaal van het model hierbij minder relevant dan de specifieke opbouw van de encoder.
Impact van continue perceptie
De resultaten zijn bijzonder relevant voor toepassingen waarbij een model constant beelden moet analyseren. In scenario's van voortdurende perceptie (gedefinieerd als $N=10$) met een schaarse output, domineert de visuele pre-fill het totale energieverbruik. In deze specifieke gevallen beslaat de energie voor het coderen van beelden maar liefst 92% tot 97% van het totale energieverbruik.
Deze bevinding heeft directe gevolgen voor hoe edge-apparaten worden geoptimaliseerd. Omdat de visuele verwerking de overhand heeft, stellen de auteurs van het onderzoek verschillende optimalisatiestrategieën voor om de inzetbaarheid van VLMs op edge-hardware te verbeteren. Deze strategieën omvatten:
* Het hergebruiken van visuele frames.
* Adaptieve inkorting van de output (truncation).
* Task-aware routing.
* Optimalisatie van de doorvoer (throughput) van de encoder.
Academische erkenning en context
Het onderzoek is geaccepteerd voor de Teen Research Track van de IEEE International Conference on Data Mining 2026. De auteurs van het werk zijn Yiting Duan, Miaoxin Wang, Aoqing Guo en Bo Peng. Het werk is gecategoriseerd onder Computer Vision and Pattern Recognition en Artificial Intelligence, zoals vermeld in de .
Hoewel de term 'Edge' in deze context verwijst naar hardware-architecturen voor AI-modellen, is het belangrijk dit te onderscheiden van consumentensoftware zoals de webbrowser gizmodo.com, die zich richt op browse-efficiëntie en beveiliging op diverse besturingssystemen zoals Windows en macOS. Waar de browser zich richt op minimale resource-gebruik voor eindgebruikers, richt het onderzoek naar Edge VLMs zich op de fundamentele energie-efficiëntie van neurale netwerken op gespecialiseerde chips.
De volledige details van de gebruikte modellen en de specifieke architecturale verschillen tussen de drie families zijn terug te vinden in de volledige PDF-versie van het artikel via .