Een team van onderzoekers heeft een nieuwe methode ontwikkeld om de rekenkundige complexiteit van kunstmatige intelligentie-modellen te verminderen bij het verwerken van complexe, multidimensionale gegevens. In een recent gepubliceerd wetenschappelijk artikel introduceren zij HyenaND, een subquadratische operator die specifiek is ontworpen om de beperkingen van huidige attention-mechanismen en recurrente modellen te overwinnen.
De beperkingen van huidige modellen
In de huidige staat van machine learning worden attention-mechanismen veelvuldig gebruikt, maar deze kampen vaak met een hoge rekenlast naarmate de hoeveelheid data toeneemt. Volgens de publicatie op arxiv.org vereisen bestaande subquadratische alternatieven vaak compromissen wanneer ze worden toegepast op multidimensionale data.
Standaard convoluties missen bijvoorbeeld globale receptieve velden en input-afhankelijkheid. Aan de andere kant dwingen recurrente modellen onderzoekers om data, zoals afbeeldingen of volumes, te 'rasteren' naar een eendimensionale scanvolgorde. Dit proces tast de oorspronkelijke ruimtelijke structuur van de gegevens aan, wat kan leiden tot kwaliteitsverlies in de analyse.
De werking van HyenaND en nSubQ
HyenaND lost dit probleem op door direct te opereren op de natuurlijke geometrie van multidimensionale data. De operator maakt gebruik van convoluties met globale, input-afhankelijke kernels die impliciet worden geparametriseerd. Hierdoor kan het model globale verbanden leggen zonder de data plat te slaan naar een 1D-formaat.
Om de theoretische efficiëntie om te zetten in praktische snelheid, hebben de auteurs een CUDA-implementatie ontwikkeld genaamd nSubQ. Deze implementatie fuseert het FFT-convolutiepad, waardoor de schaling van $\mathcal{O}(L \log L)$ wordt vertaald naar aanzienlijke versnellingen in de werkelijke rekentijd (wall-clock speedups).
Toepassingen en resultaten
De onderzoekers hebben de effectiviteit van HyenaND getest over een breed scala aan domeinen. In een bericht op x.com werd gewezen op de veelzijdigheid van de operator bij het verwerken van complexe datasets. De experimenten richtten zich onder meer op:
- Genomics: Analyse van lange contexten in eendimensionale genetische data.
- Computer Vision: Toepassingen op ImageNet voor tweedimensionale beelden.
- Medische beeldvorming: Segmentatie van driedimensionale medische scans.
- PDE-modellering: Het simuleren van partiële differentiaalvergelijkingen in 2D en 3D.
De resultaten tonen aan dat pure HyenaND-stacks qua nauwkeurigheid kunnen concurreren met sterke attention-baselines. Opvallend is dat hybride configuraties, waarbij HyenaND-lagen worden afgewisseld met attention-lagen, beter presteren dan zowel pure attention-modellen als hybriden gebaseerd op sterke recurrentie.
Wetenschappelijke context en verspreiding
Het onderzoek is breed gedeeld binnen de AI-gemeenschap. Naast de officiële publicatie op is het werk ook opgepikt door platforms zoals huggingface.co, waar het via de 'ArXiv Daily Papers' sectie onder de aandacht van ontwikkelaars is gebracht.
De bijdrage van de auteurs, waaronder David R. Wessels en een team van elf andere wetenschappers, markeert een stap voorwaarts in de zoektocht naar modellen die zowel schaalbaar als ruimtelijk accuraat zijn. Door de afhankelijkheid van kwadratische complexiteit te verminderen, opent HyenaND de deur naar het efficiënter analyseren van extreem grote volumes aan wetenschappelijke en medische data.