⚠️ KMI waarschuwing: Code oranje in Henegouwen Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
SkimPrefill versnelt verwerking van lange beeld-tekstcombinaties in AI-modellen

SkimPrefill versnelt verwerking van lange beeld-tekstcombinaties in AI-modellen

Onderzoekers hebben een nieuwe methode ontwikkeld genaamd SkimPrefill, die de wachttijd voor vision-language modellen (VLM's) drastisch verkort bij het analyseren van omvangrijke documenten en grote hoeveelheden afbeeldingen.

Vision-language modellen zijn in staat om complexe vragen te beantwoorden over lange, afwisselende reeksen van tekst en beelden, zoals meerpagigidocumenten of collecties met honderden afbeeldingen. Een aanzienlijk probleem bij deze modellen is echter de zogenaamde 'prefill'-fase: de tijd die het model nodig heeft om de input te verwerken voordat het eerste antwoordtoken wordt gegenereerd. Volgens een recent onderzoekspapier op arxiv.org neemt deze prefill-fase bij inputs van ongeveer 100.000 tokens het grootste deel van de totale wachttijd in beslag.

De beperkingen van huidige pruning-methoden

Om dit probleem aan te pakken, wordt vaak gebruikgemaakt van 'pruning', waarbij irrelevante delen van de input worden verwijderd. Dit gebeurt door tokens een score te geven, waarbij ofwel het hoofdmodel zelf wordt gebruikt of een kleiner model uit dezelfde familie dat eerst een conceptantwoord schrijft. De onderzoekers stellen echter vast dat het proces van scoren zelf vaak zo veel tijd kost dat de uiteindelijke tijdwinst van het pruning-proces grotendeels teniet wordt gedaan.

De werking van SkimPrefill

De auteurs van het onderzoek, waaronder Xiaolin Lin en Grace Li Zhang, ontdekten dat de bewijslast voor een specifieke vraag meestal besloten ligt in slechts enkele volledige eenheden, zoals specifieke paragrafen of afbeeldingen. Zij stelden vast dat een klein hybride model deze relevante delen kan identificeren met behulp van één enkele 'attention head' in een vroege laag, zelfs wanneer de resolutie van de afbeeldingen wordt gehalveerd.

Op basis van deze bevindingen introduceerden zij . Deze methode laat een klein hybride model — specifiek het Qwen3.5-0.8B model — eerst de volledige input lezen tot aan die vroege laag, waarbij afbeeldingen op halve resolutie worden verwerkt. Omdat de meeste lagen van dit kleine model in lineaire tijd werken, is deze eerste scan zeer kort. SkimPrefill rangschikt vervolgens elke eenheid met de betreffende attention head en stuurt enkel de meest relevante top-eenheden door naar het hoofdmodel als een verkorte prompt. Een belangrijk kenmerk van deze aanpak is dat de selector niet getraind hoeft te worden om te kunnen dienen voor verschillende modelfamilies.

Significante prestatiewinst

De effectiviteit van SkimPrefill is uitgebreid getest op MMLongBench met inputs van 128.000 tokens, verspreid over 19 verschillende datasets en vijf typen taken. De resultaten tonen aan dat de methode de snelheid aanzienlijk verhoogt terwijl de gemiddelde nauwkeurigheid behouden blijft.

Wanneer slechts 10% van de oorspronkelijke inputtokens wordt behouden, werden de volgende versnellingen in de prefill-fase gemeten:
- Voor Qwen3.5-9B: een versnelling van 3,7 keer.
- Voor Gemma-4-12B: een versnelling van 11,6 keer.
- Voor Qwen3-VL-32B: een versnelling van 8,2 keer.

Deze resultaten, zoals beschreven in de publicatie op , suggereren dat het gebruik van een klein, efficiënt model als 'voorlezer' een effectieve manier is om de latentie van grotere vision-language modellen te verminderen zonder dat dit ten koste gaat van de kwaliteit van de antwoorden.

Het onderzoek is op 18 november 2026 ingediend en valt onder de categorieën Computer Vision and Pattern Recognition en Artificial Intelligence, zoals vermeld in de .

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!