⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Onderzoekers vervangen LayerNorm en Softmax: Transformers worden zo hardware-vriendelijker

Onderzoekers vervangen LayerNorm en Softmax: Transformers worden zo hardware-vriendelijker

LayerNorm en Softmax. Twee operaties die in vrijwel elk Transformer-model zitten — en die volgens onderzoekers juist een knelpunt vormen voor hardwareversnellers. Yuhao Liu, Salim Ullah en Akash Kumar presenteren in een wetenschappelijk artikel van 15 november 2026 een oplossing: het LENS-framework. Het vervangt die vaste wiskundige functies door leerbare normalisatietoestanden, zodat Transformers efficiënter op hardware draaien. De bevindingen staan te lezen op arxiv.org.

🧠 Even simpel uitgelegd
Een Transformer is het bouwblok achter moderne AI zoals chatbots en beeldherkenning. Op een chip gaat rekenen het snelst via één standaardtruc: matrixvermenigvuldiging (GEMM). Maar twee onderdelen van een Transformer — LayerNorm (houdt getallen netjes binnen een bereik) en Softmax (zet scores om in kansen) — passen niet in dat straatje. Chipontwerpers moeten er dus extra, dure rekenunits voor inbouwen. LENS vervangt die onderdelen door kleine, meeleerbare netwerkjes die wél in matrixvorm te gieten zijn. Resultaat: minder speciale hardware nodig, dus sneller en zuiniger AI op chips.

Waarom hardware struikelt over LayerNorm en Softmax

Het kernprobleem: LayerNorm en Softmax laten zich niet efficiënt vertalen naar General Matrix Multiplication (GEMM). Dat is de standaardoperatie waar moderne hardware — zoals Neural Processing Units (NPU's) op ASIC- of FPGA-chips — optimaal voor is ingericht.

Omdat die functies niet in GEMM-vorm passen, moeten chipontwerpers grote hoeveelheden chipoppervlak en resources besteden aan gespecialiseerde rekenunits. LENS pakt dit anders aan: het framework herformuleert LayerNorm als kleine Multi-Layer Perceptrons (MLP's). Door een gemeenschappelijke structuur uit bestaande methoden te abstraheren, worden de operaties omgezet naar een vorm die beter aansluit bij de hardware-architectuur.

Testresultaten: prestaties grotendeels behouden

De auteurs testten LENS op verschillende taken. Voor beeldclassificatie gebruikten ze Vision Transformers (ViT). Voor autoregressieve taalmodellering namen ze Pythia-modellen, met generalisatietesten op de datasets WikiText en LAMBADA.

De uitkomsten: in diverse visuele instellingen matcht of overtreft LENS de prestaties van de baselines. In de overige experimenten — zowel beeld als taal — bleef het grootste deel van de oorspronkelijke prestaties behouden. De conclusie van de onderzoekers: handmatig ontworpen normalisatie- en attention-functies zijn mogelijk niet de enige optie om de traditionele LayerNorm en Softmax te vervangen.

Wat dit betekent voor AI op beperkte chips

LENS biedt volgens de auteurs een belangrijke basis voor Transformer-architecturen die specifiek zijn ontworpen voor accelerators met beperkte middelen. Hoe meer berekeningen naar GEMM verschuiven, hoe "hardware-vriendelijker" de architectuur wordt.

Verwarring met andere producten met dezelfde naam ligt voor de hand. De visuele zoekfunctie Lens van search.google heeft er niets mee te maken. Ook lens.org, een platform voor de analyse van patenten en wetenschappelijke werken, staat los van dit framework. Dit onderzoek gaat over een fundamentele wijziging in de wiskundige structuur van neurale netwerken.

De broncode van LENS is beschikbaar gesteld via de publicatie, zodat andere onderzoekers de resultaten kunnen verifiëren en verder ontwikkelen. Het onderzoek valt onder de vakgebieden Machine Learning, Artificiële Intelligentie en Hardware Architectuur.

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!