Onderzoekers hebben V-LUMEN ontwikkeld, een innovatief visueel geheugensysteem dat de capaciteit van vision-language models (VLMs) vergroot zonder de rekenlast per token te verhogen. De methode maakt gebruik van een extern lookup-geheugen om visuele informatie efficiënter te verwerken.
In de wereld van taalmodellen is het gebruik van lookup-gebaseerd geheugen een bekende manier om de capaciteit te vergroten zonder dat het model dieper of breder hoeft te worden. Het toepassen van dit principe op vision-language models (VLMs) is echter complexer. In tegenstelling tot tekst, die uit discrete tokens bestaat, zijn visuele kenmerken continu, ruimtelijk gestructureerd en afhankelijk van de specifieke vraag. Om dit probleem op te lossen, hebben Miso Choi, Daekeun Kim, Eunji Kim en Jungbeom Lee het systeem V-LUMEN geïntroduceerd, zoals beschreven in een publicatie op arxiv.org.
De werking van V-LUMEN
V-LUMEN introduceert een extern visueel lookup-geheugen dat specifiek is ontworpen voor multimodale modellen. Het systeem werkt door visuele kenmerken te discretiseren met behulp van een bevroren codeboek. Vervolgens worden er ruimtelijk bewuste geheugensleutels gecreëerd via een proces van hashing op basis van ruimtelijke aggregatie. Deze sleutels worden gemoduleerd met relevantiesignalen die zijn afgestemd op de tekstuele input.
Een cruciaal aspect van de architectuur is dat de adressering non-parametrisch is. De opgehaalde embeddings worden via een zogenaamd 'gated residual pathway' geïntegreerd in de backbone van het model. Volgens de technische beschrijving op arxivsignals.io stelt deze aanpak VLMs in staat om hun parameters op te schalen zonder dat dit leidt tot een toename van de FLOPs (floating point operations), wat betekent dat de rekenkracht per token gelijk blijft.
Prestaties en validatie
Om de effectiviteit van V-LUMEN te testen, is het systeem toegepast op een bevroren Qwen3-VL-2B backbone. De resultaten over vijf benchmarks die gericht zijn op complex redeneren tonen een aanzienlijke verbetering van de prestaties. Daarnaast vertoont het model een sterke 'zero-shot' transfer naar drie benchmarks waarbij de gebruikte afbeeldingen volledig verschilden van de data die tijdens de training was gebruikt.
Het onderzoek toont ook aan dat V-LUMEN een onafhankelijke as van capaciteit vormt. Wanneer een deel van de capaciteit van een LoRA- of MoE-adapter wordt vervangen door V-LUMEN binnen hetzelfde parameterbudget, blijft de nauwkeurigheid op twee verschillende backbones behouden. Dit suggereert dat extern visueel geheugen een alternatief is voor, en niet simpelweg een sterkere versie van, bestaande adaptatiemethoden.
Academische erkenning en beschikbaarheid
Het onderzoek naar V-LUMEN is geaccepteerd voor presentatie op de prestigieuze conferentie goodpapers.org, waar het tijdens een postersessie in Sydney zal worden toegelicht. De ontwikkeling is een resultaat van samenwerkingen waarbij onder andere de Korea University en Amazon Web Services betrokken waren, zoals vermeld op .
De publicaties van het team, waaronder die van de Vision & AI Lab, onderstrepen een bredere focus op het verbeteren van visuele retrieval en ruimtelijk redeneren in AI-modellen, zoals verder gedocumenteerd op de website van de Vision & AI Lab. De code voor V-LUMEN is publiekelijk beschikbaar gesteld om verder onderzoek naar embedding-scaling in multimodale modellen te faciliteren. Omdat de kosten voor het opzoeken van informatie constant blijven ongeacht de tabelgrootte en slechts één keer tijdens de 'prefill'-fase optreden, groeit de capaciteit van het model in opslagruimte in plaats van in rekenkracht per token.