Een recent technisch rapport werpt nieuw licht op de efficiëntie van 'LLM routing', waarbij blijkt dat het gelijktijdig aanroepen van meerdere sterke redeneermodellen nauwelijks extra nauwkeurigheid oplevert vergeleken met het herhalen van een enkel model.
In een studie gepubliceerd op 3 november 2026 onderzoekt Teng-Ruei Chen de dynamiek van model-routing wanneer zeer capabele redeneermodellen worden ingezet. De focus van het onderzoek ligt op de zogenaamde 'union premium': de extra winst in nauwkeurigheid die wordt behaald wanneer men meerdere modellen raadpleegt en het antwoord als correct markeert zodra één van de modellen het juiste resultaat vindt. Volgens de publicatie op arxiv.org is deze premie bij moderne redeneermodellen aanzienlijk lager dan in eerdere studies met kleinere open modellen.
Experimentele opzet en resultaten
Voor het onderzoek is gebruikgemaakt van een NVIDIA B300-platform om 500 wiskundige problemen uit de MATH-500 dataset te testen. Er werden 30 monsters per probleem gegenereerd, wat resulteerde in een totaal van 45.000 gescorede reacties. De geteste modellen omvatten Llama-3.3-70B-Instruct, NVIDIA's Nemotron Nano 9B v2 en Nemotron Super 49B v1.5.
De resultaten tonen een scherp contrast in prestaties. Terwijl de 70B-baseline een nauwkeurigheid van 76,2% behaalde, bereikten beide gespecialiseerde redeneermodellen een nauwkeurigheid van 96,1%. Opvallend is dat de 'product-coupling premium' — de extra winst door modellen te combineren — slechts tussen de 0,215 en 0,588 procentpunt lag voor pools van twee of drie modellen. Dit staat in schril contrast met een eerdere begeleidende studie, waarin deze premie voor elf kleine open modellen op 3,5 procentpunt werd geschat, zoals vermeld in de documentatie op papers.cool.
Resampling versus Routing
Een cruciale bevinding uit het rapport is dat het simpelweg drie keer herhalen (resampling) van het kleinste model, de Nemotron Nano, nagenoeg dezelfde resultaten oplevert als het één keer aanroepen van alle drie de verschillende modellen in de pool. De 'plug-in selection headroom' bovenop het altijd aanroepen van Nano bleek slechts 1,27 procentpunt te zijn.
De kosten van 'runaway generations'
Naast de nauwkeurigheid analyseerde Chen de impact van de zogenaamde 'runaway generations', waarbij modellen extreem lange antwoorden genereren zonder tot een conclusie te komen. Hoewel slechts 31 reacties de limiet van 65.536 tokens bereikten, hadden deze een onevenredig grote impact op de rekenkosten. Volgens de analyse op waren 25 van deze gevallen gekenmerkt door periodieke herhalingen in de tekst. Deze weinige uitschieters waren verantwoordelijk voor maximaal 60,2% van de proxy-waarde voor de outputlengte in het kwadraat. Deze extreme generaties zorgden er bovendien voor dat een gepland vierde model, Llama-3.1-8B, te traag was om het proces te voltooien.
Context van modelcapaciteit
De bevindingen over de beperkte winst bij routing sluiten aan bij bredere discussies over de leerbaarheid van kleine modellen. Zo beschrijft een ander onderzoek op paperswithcode.co het 'Small Model Learnability Gap', waarbij wordt gesteld dat modellen met minder dan 3 miljard parameters vaak minder profiteren van lange redeneerketens (Chain-of-Thought) of directe distillatie van sterkere modellen. Dit wordt verder ondersteund door analyses op huggingface.co, waar wordt opgemerkt dat kleinere modellen beter presteren bij kortere en simpelere redeneerketens die aansluiten bij hun intrinsieke capaciteit.
De conclusie van het rapport van Chen is dat de 'oracle gap' (het verschil tussen een ideale router en de werkelijkheid) sterk afhankelijk is van de gebruikte pool, het protocol en het budget voor tokens. Hierdoor moet elke melding van een dergelijke kloof altijd vergezeld gaan van de specifieke technische parameters waaronder de resultaten zijn behaald.