Een onderzoeker heeft een nieuwe wiskundige methode ontwikkeld waarmee de specialisatie van 'attention heads' in taalmodellen kan worden voorspeld door enkel naar de gewichten van het model te kijken. Deze aanpak maakt het mogelijk om de interne werking van grote taalmodellen (LLM's) te analyseren zonder dat er actieve berekeningen of data-inputs nodig zijn.
In een recent wetenschappelijk artikel, dat is ingediend bij arxiv.org, beschrijft onderzoeker Miguel P. Bento een nieuwe manier om de architectuur van Transformers te bestuderen. De kern van het onderzoek draait om het gebruik van continue symmetrieën binnen het aandachtmechanisme (attention mechanism) van deze modellen. Bento introduceert een zogenaamde scalaire invariant, aangeduid als $\rho$, die dient als maatstaf voor de capaciteit van een specifieke 'head' om te koppelen aan rotary positional encodings (RoPE).
Analyse zonder forward passes
Het belangrijkste aspect van dit nieuwe raamwerk is dat het onderzoekers in staat stelt om attention heads te analyseren zonder dat er sprake is van 'forward passes'. Normaal gesproken vereist het begrijpen van hoe een AI-model informatie verwerkt dat er data door het model wordt gestuurd om te zien hoe de activaties reageren. Door gebruik te maken van de geometrische eigenschappen van de gewichten zelf, opent dit een nieuwe richting voor data-onafhankelijke analyse van moderne LLM's, zoals beschreven in de publicatie op .
De term 'geometrisch' in deze context verwijst naar de wiskundige studie van ruimte en de relaties tussen punten, lijnen en oppervlakken, zoals nader toegelicht in de definities van het cambridge.org. In het onderzoek van Bento wordt deze geometrische benadering toegepast op de interne structuren van neurale netwerken om patronen te herkennen die onzichtbaar zijn bij standaard computationele analyses.
Voorspelling van inductie-heads
De praktische waarde van de $\rho$-invariant is aangetoond door te kijken naar 'induction heads'. Dit is een specifiek type circuit binnen taalmodellen dat veelvuldig wordt bestudeerd binnen de zogenaamde 'mechanistic interpretability', een vakgebied dat probeert te begrijpen waarom AI bepaalde beslissingen neemt.
Volgens de resultaten op correleert de waarde van $\rho$ sterk met de aanwezigheid van deze inductie-heads. De Spearman-correlatie varieerde tussen -0,55 en -0,74. Deze resultaten zijn behaald over vier verschillende modellen die gebruikmaken van bias-vrije RoPE, met een omvang variërend van 135 miljoen tot 7 miljard parameters.
Toepassing en efficiëntie
Naast theoretische analyse heeft Bento de methode ook ingezet als een 'proof of concept' voor het optimaliseren van modellen. In het onderzoek werd de $\rho$-waarde gebruikt om de YaRN-techniek (een methode voor het aanpassen van de contextlengte) selectief toe te passen. In plaats van deze techniek uniform over het hele model uit te rollen, werd deze enkel toegepast op de top 50% van de positionele heads.
Deze selectieve aanpak leidde tot een minder sterke verslechtering van de perplexiteit — een maatstaf voor hoe goed een model tekst voorspelt — vergeleken met een uniforme toepassing. Dit suggereert dat de geometrische invariant kan helpen bij het identificeren van welke delen van een model het meest kritiek zijn voor specifieke taken.
Het onderzoek is geaccepteerd als een uitgebreid abstract voor de 'Symmetry and Geometry in Neural Representations Workshop' (NeurReps) tijdens de NeurIPS-conferentie van 2026, zoals vermeld in de documentatie op . De code die bij dit onderzoek hoort, is publiekelijk beschikbaar gesteld om verdere data-onafhankelijke analyses van taalmodellen te stimuleren.