Onderzoekers hebben een significante afwijking vastgesteld tussen de theoretische verwachtingen en de praktijkprestaties van speculatieve decoding (SD) binnen sparse 'mixture-of-experts' (MoE) modellen. Waar eerdere modellen voorspelden dat de snelheidswinst zou pieken bij gemiddelde batchgroottes, blijkt uit nieuwe data dat moderne varianten juist bij kleine batches een superieure versnelling vertonen.
Speculatieve decoding is een techniek die is ontworpen om de traagheid van autoregressieve inferentie te doorbreken. Omdat het genereren van tekst vaak wordt beperkt door de snelheid van het geheugen, probeert SD meerdere 'draft tokens' in één enkele bewerking te verifiëren. Dit proces kan de totale rekentijd aanzienlijk inkorten. In een studie die is ingediend voor de conferentie NeurIPS 2026, is dit mechanisme geanalyseerd voor tien verschillende sparse MoE-modellen, met een omvang die varieert van 30 miljard tot 1 biljoen parameters en een aantal experts tussen de 8 en 512.
Volgens de bevindingen in een arxiv.org doorbreken recente 'fine-grained' modellen de bestaande trends. Voorheen werd aangenomen dat er een concave relatie bestond tussen de batchgrootte en de versnelling, omdat experts bij grotere batches verzadigd zouden raken. De nieuwe resultaten tonen echter aan dat de versnelling bij lage batchgroottes juist hoger ligt dan verwacht.
De onderzoekers, waaronder Komal K. Teru en Ekagra Ranjan, wijzen erop dat de kosten voor verificatie complexer zijn dan enkel de hoeveelheid bytes van geactiveerde experts. Factoren zoals de dynamiek van de GPU-uitvoering en de temporele overlap tussen draft tokens spelen een cruciale rol. Bij tests met een H100 GPU bleek via kernel-profiling dat MoE-lagen in fine-grained modellen een kleiner deel van de totale runtime innemen dan hun gewicht suggereert. Dit komt mede door een betere bandbreedtebenutting van MoE-kernels in vergelijking met attention-mechanismen, ondersteund door de L2-cache die herhaalde leesacties van experts efficiënt absorbeert.
Een andere belangrijke ontdekking is dat de routing-overlap tussen verschillende draft tokens de hoeveelheid unieke geactiveerde experts vermindert. Dit spreekt eerdere aannames tegen die uitgingen van onafhankelijkheid tussen tokens. Om dit fenomeen te kwantificeren, hebben de auteurs een framework ontwikkeld op basis van maximum-entropy Iterative Proportional Fitting (IPF).
Zoals beschreven in de , kan dit model het aantal unieke experts voorspellen met een foutmarge van minder dan 4%. Dit helpt om de kloof tussen theoretische modellen en de werkelijke prestaties van AI-modellen te dichten. De resultaten van dit werk zijn geaccepteerd voor de main track van .
Hoewel dit onderzoek zich richt op de technische architectuur van taalmodellen, is de bredere context van AI-implementaties vaak onderwerp van discussie in online gemeenschappen. Voor gebruikers die vragen hebben over de integratie van dergelijke technologieën in platforms, biedt de google.com vaak een plek voor discussie over platform-updates, hoewel de diepgaande technische optimalisaties van MoE-modellen primair in academische kringen worden behandeld.