Onderzoekers hebben TwinHash ontwikkeld, een innovatief systeem voor objectbeheer dat de efficiëntie van zogenaamde 'agentic AI-workflows' aanzienlijk verhoogt. Het systeem richt zich op het verminderen van overbodige berekeningen en herhaalde reacties van grote taalmodellen (LLM's), waardoor de algehele snelheid en duurzaamheid van AI-processen verbeteren.
In moderne AI-workflows worden de generaties van taalmodellen afgewisseld met het gebruik van externe tools. Volgens een arxiv.org maken deze processen vaak gebruik van zoekmethoden waarbij dezelfde redeneerstappen en berekeningen telkens opnieuw worden bezocht. Dit veroorzaakt een grote mate van redundantie in de output van tools, de antwoorden van de LLM en de zogenaamde key-value (KV) prefixes.
Architectuur en werking
Bestaande systemen optimaliseren meestal enkel gedeelde prompt-prefixes, maar eenvoudige caching op basis van input is onbetrouwbaar omdat identieke verzoeken in verschillende contexten tot andere resultaten kunnen leiden. Om dit op te lossen, introduceert TwinHash een uniforme architectuur voor objectbeheer die rust op twee pijlers: een hash-sleutel aan de inputzijde om herhaalde verzoeken te herkennen en een content-vingerafdruk aan de outputzijde om de opgeslagen staat te valideren.
Om de correctheid van de antwoorden te garanderen, maakt het systeem gebruik van type-specifieke 'reuse guards'. Daarnaast wordt een softwarematige tabel gebruikt om herbruikbare objecten over verschillende trajecten heen te beheren. Een hardwarematige tabel houdt bij waar deze objecten zich in de geheugenlagen bevinden, waardoor eerder verwijderde staten kunnen worden opgehaald in plaats van opnieuw berekend.
Prestatiewinst en energiebesparing
De effectiviteit van TwinHash is getest over zeven verschillende agent-frameworks en vijf benchmark-suites. De resultaten tonen aan dat de winst sterk afhankelijk is van de structuur van de workflow. In situaties met deterministische tool-reads kan TwinHash tot 81% van de tool-outputs bedienen. Bij zoekgebaseerde frameworks kan dit percentage voor LLM-responses zelfs oplopen tot 92%.
Een specifiek voorbeeld is het model Qwen3-32B, waarbij het ophalen van een KV-prefix uit het DRAM de tijd tot het eerste token (TTFT) met maximaal 5,6 keer verkort. In totaal resulteert TwinHash in zoekgebaseerde frameworks in een vermindering van de doorlooptijd met maximaal 87% en een daling van het energieverbruik per taak met maximaal 81% vergeleken met standaard prefix-caching.
Academische context
Het onderzoek is het resultaat van een samenwerking tussen Sangbu Yun, Jung Gyu Min, Jin Hyun, Jeonghwan Ahn en Youngjoo Lee. Het project is verbonden aan het google.com van KAIST in Daejeon, Zuid-Korea, een laboratorium dat gespecialiseerd is in energie-efficiënte hardware- en softwaresystemen voor intelligente computing. Meer informatie over de betrokken onderzoekers, waaronder google.com, is beschikbaar via de projectpagina's.
De wetenschappelijke waarde van het project is inmiddels erkend. Het artikel is geaccepteerd voor presentatie op de 33e IEEE International Symposium on High-Performance Computer Architecture (HPCA 2027). Deze mijlpaal werd tevens bevestigd via een x.com door het account Hardware Architecture Papers. De publicatie is terug te vinden in de meest recente arxiv.org binnen de categorie computerwetenschappen.