Wetenschappers hebben een innovatieve techniek ontwikkeld om grote taalmodellen (LLM's) efficiënter te specialiseren voor specifieke vakgebieden. De methode, die bekendstaat als Forward-Pass-Only MLP training (FPO), maakt het mogelijk om modellen aan te passen zonder de gebruikelijke, rekenintensieve 'backward pass' door de volledige architectuur van het model uit te voeren.
Volgens een wetenschappelijk rapport van Rivaan Patil en collega's op arxiv.org resulteert deze aanpak in een aanzienlijke winst in snelheid en middelen. De doorvoersnelheid bij het trainen ligt naar schatting 2,7 tot 3,2 keer hoger dan bij conventionele fine-tuning. Bovendien wordt het piekgeheugen tijdens dit proces met ongeveer 40% verminderd. Een belangrijk voordeel is dat de algemene prestaties van het model op benchmarks buiten het specifieke domein stabiel blijven, wat bij volledige netwerk-fine-tuning minder consistent het geval is.
De technische werking van FPO is gebaseerd op de observatie dat in de laatste lagen van een transformer-model de voorspellingsfout van de outputlaag de werkelijke gradiënt benadert. De onderzoekers stelden vast dat de cosinus-similariteit tussen deze waarden varieert tussen 0,47 en 0,59 over zes verschillende publieke modellen. Om te bepalen welke lagen geschikt zijn voor deze adaptatie, is een diagnostische test ontwikkeld die binnen twee minuten resultaat geeft. Zodra de juiste lagen zijn geïdentificeerd, berekent FPO een enkel foutsignaal bij de output en past dit direct toe op de doellagen, zonder dat er een autograd-grafiek wordt opgebouwd of signalen tussen lagen worden doorgegeven.
De validatie van deze methode vond plaats bij drie modelfamilies: OLMo-2-7B, Qwen3-8B en Falcon3-7B. In alle drie de gevallen verbeterde de in-domein perplexiteit. Tegelijkertijd bleven de scores op algemene benchmarks, waaronder MMLU, ARC-Challenge, HellaSwag en Winogrande, nagenoeg gelijk aan de basislijn. Hoewel Supervised Fine-Tuning (SFT) ook gelokaliseerd kan worden naar de doellagen van FPO, gebeurt dit volgens de tegen kosten die 2,2 keer hoger liggen dan bij de FPO-methode.
Terwijl FPO zich richt op de technische optimalisatie van neurale netwerken, is er in België een bredere academische focus op de maatschappelijke implicaties van AI en big data. Zo wordt aan de Universiteit Gent onderzoek verricht naar de rol van deze technologieën bij radicalisering en de bijbehorende uitdagingen voor het veiligheidsbeleid, zoals vermeld in de ugent.be. Deze studies benadrukken de noodzaak van betrouwbare AI-systemen, bijvoorbeeld bij cybersecurity-risicomanagement of politiepatrouilles.
Naast dit fundamentele AI-onderzoek zijn er diverse andere datagedreven initiatieven in Vlaanderen. Zo is er expertise via vito.be en onderzoek door inbo.be. Hoewel deze projecten andere doelstellingen hebben dan de optimalisatie van taalmodellen, illustreren ze de groeiende afhankelijkheid van efficiënte dataverwerking in diverse sectoren. De introductie van FPO biedt een potentieel nieuw pad voor het specialiseren van grote modellen zonder de extreme rekenkracht die traditionele methoden vereisen.