In de wereld van kunstmatige intelligentie wordt steeds vaker gezocht naar manieren om de operationele kosten van grote taalmodellen (LLM's) te verlagen. Een populaire strategie is het gebruik van zogenaamde 'inference cascades'. Bij deze methode wordt een vraag eerst beantwoord door een goedkoper, kleiner model, de zogenaamde 'student'. Pas wanneer een vraag als te complex wordt ingeschat, wordt deze doorgezet naar een geavanceerder 'frontier'-model dat als verificateur optreedt. Om de kosten verder te reduceren, worden student-modellen vaak gefinetuned op basis van de correcties van de verificateur.
Uit recent onderzoek van Dushyant Rajput blijkt echter dat deze aanpak een kritiek risico met zich meebrengt. Er ontstaat namelijk een 'blind spot': een verzameling foutieve antwoorden van het goedkope model die door de verificateur onterecht als correct worden bestempeld. Volgens de arxiv.org is deze blind spot niet constant, maar groeit deze naarmate de capaciteit van het student-model toeneemt. Zo steeg de waarde van deze blind spot van 0,12 bij modellen met 0,5B parameters naar 0,55 bij modellen met 32B parameters. De onbetrouwbaarheid is het grootst wanneer zowel de student als de verificateur van een goedkope variant zijn.
Er ontstaat een directe spanning tussen de gewenste kostenbesparing en de kwaliteit van de output. Hoewel een hoogwaardig frontier-model de blind spot kan beperken tot ongeveer 0,05, verdwijnen daarmee de financiële voordelen. In de werd bij complexe wiskundige vraagstukken waargenomen dat 46% van de aanvragen naar het duurste model werd geëscaleerd, terwijl het werkelijke foutpercentage op 39% lag. Dit betekent dat bijna de helft van het verkeer tegen het hoogste tarief wordt gefactureerd.
Opvallend is dat pogingen tot zelfverbetering vaak averechts werken. Het finetunen van kleine modellen op basis van data die door de verificateur waren afgewezen, leidde niet tot betere prestatten, maar tot een degradatie en uiteindelijke instorting van het model. Dit effect trad op, ongeacht of de verificateur en de student tot dezelfde modelfamilie behoorden.
Het meest zorgwekkende aspect is de 'systeemblindheid'. De interne monitoringsystemen, die volledig leunen op de verificateur, rapporteren een stabiele foutmarge van 3%, terwijl de werkelijke foutmarge in sommige gevallen opliep tot 32%. Deze situatie illustreert een fundamenteel probleem in de meetmethodiek. Zoals uitgelegd door simplypsychology.org, is er een cruciaal onderscheid tussen betrouwbaarheid en validiteit. Betrouwbaarheid heeft betrekking op de consistentie van resultaten, terwijl validiteit bepaalt of een instrument daadwerkelijk meet wat het beoogt te meten.
In de context van AI-cascades is de rapportage weliswaar betrouwbaar in de zin dat deze consistent een laag percentage aangeeft, maar de is afwezig omdat de werkelijke fouten niet worden gedetecteerd. De auteurs van het onderzoek concluderen dat de betrouwbaarheid van een zelfverbeterende cascade niet kan worden vastgesteld via metrics die door de eigen verificateur worden gegenereerd. Zij onderbouwen dit met een 'two-population conservation law', die aantoont hoe interne statistieken kunnen verbeteren terwijl de feitelijke kwaliteit van de output verslechtert.