Een team van onderzoekers heeft een fenomeen ontdekt waarbij een kortstondige piek in gebruikersverkeer kan leiden tot een langdurige prestatiedaling in systemen die Large Language Model (LLM) agents ondersteunen.
In een recent gepubliceerd wetenschappelijk artikel beschrijven Chengzhi Lu en collega's een specifiek type systeemfalen dat optreedt bij zogenaamde 'prefill-decode (PD) disaggregated engines'. Bij LLM-agents is het hergebruiken van eerdere delen van een gesprek (prefix reuse) essentieel voor de efficiëntie, omdat agents herhaaldelijk groeiende conversaties naar een model sturen. Wanneer de cache-capaciteit echter onder druk komt te staan, kan er een vicieuze cirkel ontstaan die de service degradeert, zelfs nadat de initiële drukte is verdwenen.
De valstrik van de cache-druk
Volgens de publicatie op arxiv.org kan een korte surge in activiteit de hergebruikmechanismen van de cache verstoren. Dit leidt tot een toestand van 'metastabiele fouten'. In een test met SGLang zorgde een verkeerspiek van slechts tien minuten voor een daling van de 'goodput' (de effectieve doorvoer van correcte resultaten) met ongeveer 88% gedurende het daaropvolgende uur.
Het mechanisme achter dit probleem wordt aangeduid als 'population-cache feedback'. Wanneer aanvragen trager worden verwerkt, blijven sessies langer openstaan. Hierdoor wordt de totale hoeveelheid benodigde context — de zogenaamde 'working set' — groter. Dit veroorzaakt meer cache-missers, wat weer leidt tot extra herberekeningen en verdere vertragingen bij het beëindigen van sessies. Hierdoor blijft het systeem in een gedegradeerde staat hangen, ook als de belasting terugkeert naar een niveau dat het systeem normaal gesproken probleemloos kan verwerken.
Analyse en voorspelling
De onderzoekers hebben een vloeistofmodel ontwikkeld om de resourcecondities te identificeren die deze feedbackloop triggeren. Dit model analyseert hoe factoren zoals de cachecapaciteit, de tijd die nodig is voor tool-gebruik en de basisbelasting de kwetsbaarheid van een systeem beïnvloeden. In simulaties over 36 verschillende implementaties slaagde dit model erin om alle 17 gevallen van 'cache-first' kwetsbaarheden correct te signaleren, zoals beschreven in de .
Uit gecontroleerde simulaties bleek bovendien dat het simpelweg aanpassen van nieuwe binnenkomende aanvragen na een piek niet altijd voldoende is om het herstel te forceren. Zodra de cache is ingestort, bepaalt de beperkte capaciteit voor vertrekkende sessies met een lage hergebruikgraad hoeveel de belasting moet worden verlaagd voordat het systeem weer normaal functioneert.
De oplossing: Basin
Om dit probleem aan te pakken, hebben de auteurs 'Basin' ontwikkeld. Dit systeem introduceert verschillende mechanismen om instabiliteit te voorkomen:
- Elke sessie krijgt een vaste prioriteit.
- Er wordt een adaptief budget voor toelating gebruikt, waarbij de voorspelde maximale context van een sessie wordt gereserveerd.
- De cache wordt uitgebreid door gebruik te maken van ongebruikt decode-geheugen.
- Overtollige vraag wordt actief afgestoten (demand shedding).
De resultaten van Basin zijn veelbelovend. Bij implementaties op H200 1P3D-hardware, inclusief complexe sessies uit de SWE-bench Pro, behaalde een prototype op basis van aankomsttijden een goodput die 1,20 tot 1,70 keer hoger lag dan die van Continuum, en 2,35 tot 3,59 keer hoger dan die van HiCache alleen, aldus de . In simulaties met zes verschillende scenario's van verkeerspieken leverde de beleidsstrategie op basis van voorspellingen een goodput op die 1,20 tot 2,05 keer hoger lag dan de sterkste baseline.
Terwijl dit onderzoek zich richt op de complexe serverarchitectuur van AI-modellen, is het beheer van caches een breed thema in de informatica. Voor consumenten is cachebeheer eenvoudiger, zoals blijkt uit de google.com, waar wordt uitgelegd hoe het handmatig wissen van browsercache en cookies kan helpen bij het oplossen van laad- en opmaakproblemen op websites. Echter, in de context van LLM-serving is het probleem niet het wissen van data, maar het dynamisch beheren van enorme hoeveelheden contextgeheugen om systeemcollaps te voorkomen.