Onderzoekers hebben een nieuwe diagnostische tool ontwikkeld, genaamd 'invariance auditing', om te controleren of machine learning-modellen de juiste kenmerken in data herkennen en irrelevante variaties correct negeren.
De effectiviteit van machine learning-modellen hangt sterk af van hun vermogen om relevante kenmerken te identificeren die essentieel zijn voor een specifieke taak, terwijl ze ruis of irrelevante informatie buiten beschouwing laten. Wanneer een model echter onterecht bepaalde verschillen negeert, kan dit leiden tot foutieve conclusies of gevaarlijke misinterpretaties. Om dit probleem aan te pakken, stellen Armand Rousselot, Joran Wendebourg en Ullrich Köthe een nieuwe methode voor om deze zogenaamde 'invarianties' te analyseren.
Wat is invariance auditing?
Volgens de wetenschappelijke publicatie op arxiv.org fungeert 'invariance auditing' als een diagnostisch instrument voor feature extractors. De tool genereert diverse inputs die voor het model identiek lijken, omdat ze dezelfde kenmerken (features) opleveren als een specifieke query-input. Door deze inputs te visualiseren, kunnen onderzoekers beoordelen of de geleerde invarianties van het model overeenstemmen met de vereiste semantiek van de taak.
In essentie laat de methode zien wat het model "niet ziet" of als gelijkwaardig beschouwt, zelfs wanneer er voor een menselijke waarnemer wezenlijke verschillen zijn tussen de beelden of data.
Efficiëntie door training-vrije aanpak
Een cruciaal aspect van deze nieuwe benadering is de snelheid en efficiëntie. In eerdere onderzoeken was het gebruikelijk om voor elke feature extractor een specifiek generatief model te trainen, een proces dat vaak dagen in beslag nam. De nieuwe methode beschreven in de is echter training-vrij.
De onderzoekers maken gebruik van reeds getrainde diffusion- of flow-matching-modellen om invariante inputs te samplen. Hierbij wordt een zogenaamde 'fiber loss' toegepast, die mismatches in kenmerken bestraft. Deze techniek stuurt het denoising-proces aan, waardoor de output dezelfde representatie krijgt als de oorspronkelijke query-input. Dit proces vervangt dagen van training door een enkele, gestuurde generatieprocedure, zonder dat dit ten koste gaat van de kwaliteit.
Zorgwekkende ontdekkingen in de praktijk
De praktische toepassing van deze auditing-methode op populaire datasets en modeltypen heeft zowel gewenste als zorgwekkende resultaten opgeleverd. Zo konden de onderzoekers aantonen dat bepaalde modellen kritieke anatomische verschillen over het hoofd zien.
Een specifiek voorbeeld dat in de wordt genoemd, betreft het model Qwen-2B. De tool detecteerde dat dit model patiënten met situs inversus — een medische aandoening waarbij het hart aan de rechterkant van het lichaam is geplaatst — in dezelfde categorie plaatste als patiënten met een typische anatomie. Dit betekent dat het model het cruciale verschil in hartpositie negeerde, wat in een medische context tot ernstige fouten kan leiden.
Toekomstige validatie van AI
De resultaten onderstrepen de noodzaak van rigoureuze validatie van AI-modellen voordat ze in kritieke sectoren worden ingezet. Door inzichtelijk te maken welke variaties een model negeert, kunnen ontwikkelaars hun systemen verbeteren en onvoorziene risico's beperken. De volledige details van het onderzoek, inclusief 22 figuren en een uitgebreide analyse van 34 pagina's, zijn beschikbaar via de . De code voor de methode is eveneens publiekelijk toegankelijk gemaakt om verder onderzoek in de machine learning-gemeenschap te stimuleren.