Onderzoekers hebben Splash ontwikkeld, een nieuwe hardware-architectuur die de beperkingen van het geheugen bij grote taalmodellen (LLM's) aanpakt door een hybride systeem van High-Bandwidth Memory en High-Bandwidth Flash te implementeren.
Bij de huidige generatie grote taalmodellen vormt het beheer van het zogenaamde 'key-value' (KV) cache een aanzienlijke uitdaging. Naarmate de contextlengte van prompts toeneemt en er meer gelijktijdige verzoeken worden verwerkt, domineert deze cache het geheugengebruik. Hoewel modern High-Bandwidth Memory (HBM) op GPU's zeer hoge snelheden biedt, schiet de capaciteit ervan tekort om aan de groeiende vraag van LLM's te voldoen.
De integratie van High-Bandwidth Flash
Om dit capaciteitsprobleem op te lossen, introduceert de nieuwe architectuur een technologie genaamd High-Bandwidth Flash (HBF). Volgens een wetenschappelijk rapport op arxiv.org combineert HBF de geavanceerde verpakkingstechnieken van HBM met de hoge dichtheid van flashgeheugen. Dit stelt systemen in staat om terabytes aan capaciteit te bieden, terwijl de leessnelheid vergelijkbaar blijft met die van HBM.
De uitdaging bij het gebruik van flashgeheugen is dat de fysieke eigenschappen hiervan sterk verschillen van traditioneel GPU-geheugen. Splash lost dit op door HBM en HBF te virtualiseren. De architectuur maakt gebruik van aangepaste basischips ('base dies') met innovatieve geheugen- en flashcontrollers. Deze controllers beheren de toegang en het apparaatbeheer, waardoor de GPU niet merkt dat er verschillende soorten geheugen worden gebruikt. Voor de GPU verschijnt de geheugenhiërarchie als één logisch geheel.
Efficiëntie door 'Flash-Aware' Sparse Attention
Hoewel de extra capaciteit van HBF het mogelijk maakt om extreem lange contexten te verwerken, ontstaat er een nieuw probleem bij de zogenaamde 'dense attention'. Hierbij moet voor elk gegenereerd token de volledige KV-cache worden uitgelezen, wat de interactieve snelheid van de decodering vertraagt.
Om dit te omzeilen, implementeert Splash een methode genaamd 'flash-aware sparse attention'. In dit systeem wordt gebruikgemaakt van query-gestuurde adrestranslatie. De HBF-basischip bepaalt welke specifieke KV-pagina's relevant zijn voor een query en plant de leesacties over verschillende flash-vlakken. Volgens de publicatie op zorgt deze aanpak ervoor dat de vertraging van het flashgeheugen wordt gemaskeerd en de prestaties worden geoptimaliseerd.
Resultaten en prestatiewinst
De effectiviteit van de Splash-architectuur is getest op vijf verschillende modellen met contextlengtes tot één miljoen tokens. De resultaten tonen een aanzienlijke verbetering in de doorvoer van de decodering per GPU. Binnen een latentiebudget van 100 milliseconden behaalde Splash een doorvoersnelheid die tot 4,5 keer hoger lag dan die van de sterkste referentiemodellen, zoals beschreven in de documentatie van .
Het onderzoek is uitgevoerd door een team van experts, waaronder Aditya Anirudh Jonnalagadda, Rohan Juneja en Tulika Mitra, en is recentelijk herzien in november 2026 via .
Onderscheid met andere 'Splash'-platforms
Het is belangrijk om deze technologische ontwikkeling in de hardware-architectuur te onderscheiden van andere commerciële producten met een gelijknamige merknaam. Zo bestaat er een sociaal entertainmentplatform genaamd Splash, dat zich richt op partygames en creator-led distributie. Dit platform, dat toegankelijk is via splash-games.com, is een consumentenapp voor groepsspellen en heeft geen enkele relatie met de virtualisatie van GPU-geheugen of AI-inferentie. Terwijl de hardware-architectuur Splash zich richt op terabytes aan dataverwerking voor LLM's, richt de app van zich op sociale interactie en gaming voor miljoenen gebruikers.