Wetenschappers hebben een nieuw framework ontwikkeld om de evaluatie van Sparse Autoencoders (SAEs) te verbeteren. Uit hun analyse blijkt dat veel huidige AI-modellen minder interpreteerbaar zijn dan eerdere meetmethoden lieten vermoeden. De studie legt specifiek bloot dat de meest dominante kenmerken binnen deze modellen vaak redundant blijven en meerdere betekenissen tegelijkertijd bevatten, wat de transparantie van de besluitvorming in AI bemoeilijkt.
De verschuiving in evaluatiemethoden
Sparse Autoencoders worden in de machine learning gebruikt om monosemantische kenmerken te identificeren. In een ideale situatie representeert één enkel kenmerk één specifiek concept, wat cruciaal is voor het begrijpen van complexe AI-systemen. Volgens een publicatie op arxiv.org is er echter een trend ontstaan waarbij onderzoekers zich hoofdzakelijk richten op globale eigenschappen. Hierbij wordt gekeken naar zaken als de getrouwheid van de reconstructie, de mate van sparsity en het aandeel 'dode' kenmerken.
De auteurs van het onderzoek, Riteng Zhang en Xiaoqian Wang, stellen dat deze huidige metrieken vaak ad hoc zijn en geen formeel gedefinieerd doel dienen. Om dit te corrigeren, stellen zij een nieuw paradigma voor waarbij SAE-kenmerken een zogenaamde "atomic interpretable unit basis" moeten vormen. Dit systeem dient als een coördinaatstelsel om semantisch betekenisvolle verklaringen van modelrepresentaties mogelijk te maken.
Problemen met dominantie en polysemanticiteit
Door het testen van honderden SAE's over diverse architecturen en modelfamilies zijn kritieke fouten aan het licht gekomen. Een centraal resultaat is dat bepaalde SAE's op basis van bestaande metrieken als monosemantisch worden aangemerkt, terwijl ze in werkelijkheid "functioneel polysemantisch" zijn. Dit betekent dat ze verschillende, niet-gerelateerde betekenissen bevatten, wat de interpretatie ervan hindert.
Opvallend is dat dit fenomeen vooral optreedt bij de meest dominante kenmerken, oftewel de elementen die de grootste invloed hebben op de berekeningen van het model. Deze cruciale componenten blijken systematisch redundanter en minder interpreteerbaar te zijn dan de minder dominante kenmerken.
Introductie van DAME en academische erkenning
Om deze tekortkomingen aan te pakken, hebben de onderzoekers de methode DAME (Dominance-Aware Monosemanticity Evaluation) geïntroduceerd. Deze proxy-metriek is specifiek ontworpen om de kwaliteit van kenmerken te toetsen met oog voor de dominantie van bepaalde features. De resultaten van dit werk zijn officieel geaccepteerd voor de neurips.cc conferentie, binnen het traject voor Evaluaties en Datasets.
De auteurs adviseren ontwikkelaars om dominantie-bewuste evaluaties als standaardcontrole te implementeren voordat SAE-kenmerken worden gebruikt voor interventies, attributie of circuit-tracing in AI-modellen.
Context en bredere expertise
Co-auteur Xiaoqian Wang is verbonden aan de Purdue University als Associate Professor in Electrical and Computer Engineering. Haar expertise ligt in betrouwbare machine learning, waarbij zij zich richt op de robuustheid, eerlijkheid en uitlegbaarheid van AI, zoals vermeld op haar purdue.edu.
De focus op het isoleren van semantische inhoud in complexe AI-representaties is onderdeel van een bredere trend. Zo beschrijft een recent project op biorxiv.org het SAIL-framework. Dit framework maakt gebruik van SAE's om visuele representaties van mensen af te stemmen op die van multimodale grote taalmodellen (MLLM's), wat de groeiende behoefte aan precisie in AI-interpreteerbaarheid onderstreept.