Het ontrafelen van de besluitvorming binnen kunstmatige intelligentie vormt een aanzienlijke uitdaging voor de computerwetenschappen. Binnen de zogenaamde mechanistische interpreteerbaarheid zoeken wetenschappers naar 'circuits': specifieke netwerken van verbindingen die verantwoordelijk zijn voor bepaalde taken. De analyse hiervan is echter vaak moeizaam, omdat traditionele methoden resulteren in honderden verbindingen die te complex zijn om effectief te verifiëren.
Om deze barrière te doorbreken, heeft onderzoeker Sai Adith Senthil Kumar een nieuwe benadering ontwikkeld genaamd 'Circuit Condensation'. Volgens een wetenschappelijke publicatie via arxiv.org maakt deze methode gebruik van post-training om specifiek gedrag te concentreren in kleinere, causale grafieken. In essentie gaat het hierbij om het vereenvoudigen van de informatiestroom binnen het model. Hoewel AI-circuits digitaal zijn, vertonen ze in hun basisstructuur kenmerken van een britannica.com, waarbij signalen via specifieke paden worden geleid om een resultaat te bereiken.
Het proces van condensatie verloopt via een iteratieve cyclus. In elke fase worden verbindingen met een lage attributiewaarde geëlimineerd. Vervolgens wordt een 'low-rank adapter' getraind om de oorspronkelijke output van het model te benaderen met de overgebleven verbindingen. Een strikte voorwaarde is dat de inkorting alleen wordt geaccepteerd als zowel de specifieke taakprestaties als de algemene capaciteiten van het model behouden blijven.
De resultaten van dit onderzoek wijzen op een drastische vermindering van de complexiteit. Bij tests met acht verschillende modellen en vier specifieke gedragingen waren de gecondenseerde circuits in 30 van de 32 scenario's kleiner dan de sterkste bevroren baselines. Uit de data op blijkt dat de complexiteit gemiddeld met een factor 8,1 afnam, terwijl er in extreme gevallen zelfs een reductie van factor 316 werd waargenomen. De onderzoekers stellen dat deze vereenvoudiging niet voortkomt uit een betere zoekmethode, maar direct het resultaat is van de gewichtsaanpassingen tijdens de training.
De effectiviteit van de techniek werd aangetoond bij de identificatie van indirecte objecten. Hierbij slaagde de methode erin het proces te isoleren tot slechts 24 'heads', waarvan er 17 reeds gedocumenteerd waren. Ter vergelijking: een bevroren circuit vereiste voor dezelfde taak 61 heads, waarvan er 36 onbekend waren. In het rapport op wordt benadrukt dat de resulterende structuur een functioneel sub-circuit is van het gepubliceerde mechanisme en niet louter een reconstructie. Bovendien kan dit gecondenseerde circuit de distributie van het volgende token nauwkeurig volgen en zelfs fouten in voorspellingen anticiperen.
Ondanks de positieve resultaten zijn er ook beperkingen. Via 'pair ablations' werd duidelijk dat er sterke afhankelijkheden bestaan tussen bepaalde verbindingen, wat betekent dat individuele componenten niet altijd onafhankelijk van elkaar begrepen kunnen worden. Een analyse van 19 circuits toonde bovendien aan dat 11 daarvan niet verder konden worden gereduceerd. Dit suggereert dat er een theoretische ondergrens is aan de mate waarin een causaal circuit kan worden gecondenseerd voordat de functionaliteit van het model in gevaar komt.