De architectuur van moderne grote taalmodellen (LLM's) wordt traditioneel gedomineerd door twee hoofdelementen: attention-mechanismen en feed-forward netwerken (FFN's). Lange tijd werd aangenomen dat beide essentieel waren voor de prestaties van een model. Een recente wetenschappelijke studie zet deze aanname echter op losse schroeven door te onderzoeken of de FFN-lagen volledig kunnen worden geëlimineerd zonder dat dit ten koste gaat van de effectiviteit.
In de huidige standaardopstelling van transformers nemen de feed-forward netwerken een onevenredig groot deel van de capaciteit in beslag. Volgens een arxiv.org beslaan deze lagen ongeveer twee derde van alle parameters in een model, wanneer men de embeddings buiten beschouwing laat. Tot op heden ontbrak het echter aan strikt gecontroleerde experimenten die onderzochten wat er gebeurt als deze lagen verdwijnen, terwijl variabelen zoals rekenkracht en netwerkdiepte constant worden gehouden.
De introductie van Simple Attention Networks
Om de noodzaak van FFN's te testen, hebben onderzoekers onder leiding van Henry Ndubuaku een nieuw type architectuur ontwikkeld: de Simple Attention Networks (SANs). Dit zijn decoder-transformers die uitsluitend gebruikmaken van attention-lagen. In de studie werden deze SANs systematisch vergeleken met traditionele transformers.
De onderzoekers hanteerden een rigoureuze methodologie om een eerlijke vergelijking te garanderen. De modellen werden gematcht op basis van drie cruciale parameters: de totale hoeveelheid parameters, de rekenkracht (uitgedrukt in trainings-FLOPs) en de diepte van het netwerk, waarbij werd geëxperimenteerd met een variatie van 2 tot 48 lagen. De tests werden uitgevoerd op datasets die reikten tot 105 miljard tokens, met modelgroottes tussen de 6 en 87 miljoen parameters.
De rol van parameterherverdeling
Uit de resultaten blijkt dat het simpelweg wegsnijden van de feed-forward lagen uit een bestaand model leidt tot een aanzienlijke daling in prestaties. Wanneer de diepte van het netwerk gelijk blijft, presteert de standaard transformer aanzienlijk beter, met een verschil van 0,47 nats in verlies. Zelfs bij een gelijke hoeveelheid rekenkracht blijft de traditionele architectuur superieur met een marge van 0,26 nats.
Het cruciale inzicht van de studie is echter dat dit prestatieverschil bijna volledig kan worden weggenomen door de vrijgekomen ruimte van de verwijderde FFN-lagen te heralloceren naar extra attention-lagen. Wanneer de parameters op deze manier worden herverdeeld, krimpt het verschil in verlies tot een marginaal niveau van 0,006 nats. Dit betekent dat het verschil slechts 0,27 procent van het totale verlies bedraagt, een resultaat dat consistent bleek over verschillende budgetten van 5, 30 en 105 miljard tokens, zoals beschreven in de .
Kennisopslag versus contextueel begrip
Ondanks de nagenoeg gelijke prestaties, is er een specifiek gebied waar de SANs tekortschieten: de zogenaamde 'parametrische recall'. De onderzoekers stelden vast dat attention-only modellen uitblinken in taken waarbij het antwoord direct uit de meegegeven context kan worden afgeleid. Ze presteren echter minder goed wanneer de benodigde informatie direct uit de interne gewichten van het model moet komen.
Dit suggereert dat de primaire functie van feed-forward lagen het dienen als een opslagplaats voor feitelijke kennis is. Zonder deze lagen heeft het model meer moeite om feiten op te halen die niet expliciet in de inputtekst staan.
Technische stabiliteit en conclusies
De studie biedt ook diepere technische inzichten in de trainbaarheid van deze modellen. Het bleek dat bij zeer diepe stacks (tot 48 lagen) de stabiliteit niet wordt gewaarborgd door residual gating, maar door QK-normalisatie. Bovendien wezen analyses van de gewichtenspectra uit dat de accumulatie van informatie bij het ontbreken van FFN-lagen verschuift naar de output-projectie van de attention-lagen.
Om de bevindingen te staven, voerden de auteurs een vooraf geregistreerde test uit op kennisintensieve webteksten (fineweb-edu). Hierbij werd een voorspeld gat van 0,02 tot 0,05 nats bevestigd met een gemeten waarde van 0,040. De uiteindelijke conclusie van de is dat binnen het onderzochte regime de attention-mechanismen in staat zijn om vrijwel al het zware werk te verrichten, wat de weg opent naar potentieel eenvoudigere en efficiëntere modelarchitecturen.