Onderzoekers hebben een schaalbare techniek ontwikkeld om vast te stellen of specifieke gegevens zijn gebruikt bij het trainen van grote Vision-Language Models (VLMs). De nieuwe methode maakt gebruik van Bayesiaanse benaderingen om de rekenkosten van traditionele privacy-analyses drastisch te verlagen.
In een recent onderzoek, dat werd ingediend voor de conferentie NeurIPS 2026, presenteren Khanh Nguyen en collega's een nieuwe aanpak voor zogenaamde Membership Inference Attacks (MIAs). Het doel van een MIA is om te bepalen of een specifiek datapunt deel uitmaakte van de trainingsset van een bepaald AI-model. Dit is een cruciaal aspect van privacy-onderzoek, aangezien het kan onthullen of gevoelige informatie is gebruikt om een model te optimaliseren.
De uitdaging van schaalbaarheid
Traditionele, sterke MIA's maken gebruik van referentiemodellen, ook wel shadow models genoemd. Deze modellen worden gebruikt om de scoreverdelingen van het doelmodel te schatten. Echter, het trainen van dergelijke ensembles is rekentechnisch zeer kostbaar, zeker wanneer het gaat om moderne, grootschalige Vision-Language Models (VLMs). Volgens de publicatie op arxiv.org vormt deze computationele last een barrière voor effectieve privacy-audits van grote modellen.
Om dit probleem op te lossen, stellen de onderzoekers een alternatief voor dat expliciete training van meerdere referentiemodellen vervangt. In plaats daarvan maken zij gebruik van een Bayesiaanse benadering over parameters voor low-rank adaptation (LoRA). Door onzekerheid enkel binnen de LoRA-subruimte te modelleren, kan er uit een enkele trainingsrun een posterior worden geconstrueerd. Hieruit kunnen vervolgens diverse "virtuele referentiemodellen" worden gesampled.
Bayesiaanse statistiek als fundament
De kern van deze nieuwe methode rust op Bayesiaanse statistiek. Zoals uitgelegd door geeksforgeeks.org, is Bayesiaanse inferentie een methode waarbij de stelling van Bayes wordt toegepast om de waarschijnlijkheid van een hypothese bij te werken zodra er meer bewijs of informatie beschikbaar komt. In tegenstelling tot traditionele methoden, stelt deze benadering onderzoekers in staat om voorkennis (de prior) te combineren met geobserveerde data om tot een herziene overtuiging (de posterior) te komen.
Deze statistische benadering is essentieel voor het omgaan met onzekerheid in complexe systemen. ibcom vult aan dat Bayesiaanse statistiek onbekende parameters behandelt als willekeurige variabelen die worden gekenmerkt door kansverdelingen, in plaats van als vaste constanten. In de context van het onderzoek naar VLMs stelt dit de auteurs in staat om efficiënt de scoreverdelingen van het doelmodel te benaderen met een fractie van de kosten van conventionele methoden.
Toepassing en resultaten
De onderzoekers hebben hun methode, die gebruikmaakt van Stochastic Weight Averaging Gaussian (SWAG), getest op drie downstream-geadapteerde VLMs. De evaluatie vond plaats op twee privacygevoelige taken voor visueel vraag-antwoordenystemen (VQA): Document VQA en Medical VQA. Om de invloed van voorkennis uit de pretraining-fase te isoleren, is er daarnaast een gecontroleerde synthetische dataset geïntroduceerd.
De resultaten tonen aan dat deze nieuwe aanpak beter presteert dan standaard referentiegebaseerde aanvallen. Het belangrijkste voordeel is dat er slechts één fine-tuning run van een referentiemodel nodig is. Volgens de details op maakt dit membership inference aanzienlijk praktischer voor de analyse van grote AI-modellen.
Door de integratie van Bayesiaanse principes en low-rank adaptatie is het nu mogelijk om privacy-lekken in complexe visuele modellen sneller en nauwkeuriger op te sporen, zonder dat daarvoor enorme rekenclusters voor shadow-modellen nodig zijn.