Onderzoekers hebben TranSAGE ontwikkeld, een compiler-gebaseerd systeem dat het ontwerp van ruimtelijke hardwareversnellers voor grootschalige Transformer-modellen automatiseert om de energie-efficiëntie en doorvoersnelheid aanzienlijk te verhogen.
De groeiende populariteit van grootschalige Transformer-modellen in sectoren zoals robotica, computer vision en natuurlijke taalverwerking (NLP) brengt grote uitdagingen met zich mee op het gebied van geheugen en rekenkracht. Hoewel ruimtelijke versnellers voordelen bieden wat betreft energieverbruik en bandbreedte op de chip, is het handmatig ontwerpen van deze hardware voor complexe modellen tijdrovend en kostbaar. Om dit probleem op te lossen, hebben Chi Zhang en collega-onderzoekers TranSAGE geïntroduceerd, zoals beschreven in een recent wetenschappelijk artikel op arxiv.org.
Optimalisatie via multi-operatie pipelining
Een centraal probleem bij bestaande generatoren voor hardwareversnellers is dat zij zich vaak richten op de ondersteuning van een enkele operatie. Volgens de auteurs van het onderzoek op negeert deze aanpak de potentiële voordelen van multi-operatie pipelining, wat de uiteindelijke doorvoer en energie-efficiëntie van de hardware beperkt.
TranSAGE pakt dit aan door een compiler-gebaseerd framework te gebruiken dat de planning voor grootschalige Transformers gezamenlijk optimaliseert onder multi-operatie pipelining. Het systeem genereert vervolgens automatisch de bijbehorende implementaties van de versneller. Om dit te bereiken, integreert het framework een engine voor Design Space Exploration (DSE) met optimalisaties voor de datastroom van meerdere operaties. Daarnaast maakt het gebruik van een algoritme voor graafpartitionering op basis van dynamisch programmeren om clusters van operaties te identificeren die geschikt zijn voor pipelining en om de optimale parameters voor de datastroom te bepalen.
Automatische generatie van hardware
Naast de optimalisatiefase bevat TranSAGE specifieke ruimtelijke architectuurprimitieven en zogenaamde 'lowering passes'. Deze componenten stellen het systeem in staat om automatisch efficiënte RTL-implementaties (Register Transfer Level) te genereren. Hierdoor wordt het proces van hardwareontwerp versneld en minder afhankelijk van handmatige interventies.
De effectiviteit van TranSAGE is getest op vier representatieve Large Language Models (LLM's). Uit de evaluaties blijkt dat de voorgestelde methode superieur is aan bestaande oplossingen. Zo rapporteert de publicatie op dat TranSAGE een tot 2,41 keer hogere doorvoersnelheid en een tot 13,04 keer hogere energie-efficiëntie behaalt dan commerciële baselines van GPU's en NPU's.
Vergelijking met andere generatoren
Wanneer TranSAGE wordt vergeleken met andere state-of-the-art generatoren voor versnellers, zijn de verschillen nog prominenter. De resultaten tonen aan dat het framework een tot 11,33 keer hogere doorvoersnelheid en een tot 6,07 keer hogere energie-efficiëntie kan realiseren.
Het onderzoek, dat is ingediend door Chi Zhang en vier andere auteurs, is geaccepteerd voor presentatie op de 32ste ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS 2027), zoals vermeld in de documentatie op . De code die bij het project hoort, is beschikbaar gesteld via een externe URL om verdere validatie en ontwikkeling door de wetenschappelijke gemeenschap mogelijk te maken.
Hoewel andere bronnen zoals babepedia.com geen specifieke technische details over dit framework bevatten, onderstreept de publicatie op de noodzaak voor dergelijke geautomatiseerde tools nu de computationele eisen van AI-modellen exponentieel blijven groeien.