In de sector van kunstmatige intelligentie heerst vaak de aanname dat een groter model, gevoed met meer data, automatisch superieure resultaten levert. Een recent onderzoek van Kushal Chakrabarti zet deze overtuiging echter op losse schroeven. De analyse wijst uit dat schaling een verborgen risico met zich meebrengt: naarmate modellen groeien, neemt de betrouwbaarheid van hun antwoorden af doordat fouten zich sneller opstapelen.
Volgens de publicatie arxiv.org ontstaat er bij grotere modellen een zogenaamd "auto-regressief risico-regime". Dit betekent dat hoewel een groot model vaker een correct begin van een antwoord formuleert, de stabiliteit van de output drastisch keldert zodra er een enkele fout wordt gemaakt. De auteur stelt dat de huidige focus van de industrie op het dichten van kenniskloven via meer data of betere retrieval-systemen een fundamenteel mechanisme over het hoofd ziet.
Het probleem ligt in de manier waarop taalmodellen tokens genereren. Wanneer een model een woord of teken kiest met een lage waarschijnlijkheid, wordt deze keuze in de volgende stap als een vaststaand feit behandeld. Dit veroorzaakt een sneeuwbaleffect waarbij het model voortbouwt op een onjuiste aanname, wat leidt tot een reeks onvermijdelijke vervolgfouten. In de analyse op wordt aangetoond dat dit fenomeen bij grotere modellen veel prominenter aanwezig is dan bij kleinere varianten.
De kwantitatieve resultaten van het onderzoek schetsen een zorgwekkend beeld van de instabiliteit bij schaling. Er is sprake van een scherp contrast tussen de winst in kennis en het verlies aan betrouwbaarheid. Terwijl de kenniskloof bij schaling met een factor zes afneemt, stijgt de degradatie van die kennis met een factor 11 tot 39. De pure capaciteitswinst wordt zo overschaduwd door een sterke afname in de stabiliteit van de gegenereerde tekst.
Daarnaast observeert de onderzoeker een regime van "zelfverzekerde onjuistheid". Bij een hallucinatie neemt de interne onzekerheid van het model snel af, terwijl het werkelijke risico — vergeleken met een sterker referentiemodel — tot wel 17 keer langer aanhoudt. Dit resulteert in een situatie waarin het model zeer stellig is over informatie die feitelijk onjuist is. Bij modellen met 14 miljard parameters is dit effect zelfs met 69% toegenomen, zoals beschreven in het onderzoek via .
Een kritiek punt is dat deze fouten structureel onzichtbaar blijven voor huidige monitoringsystemen. Veel detectoren voor hallucinaties baseren zich op interne waarschijnlijkheden, zoals semantische entropie. Het onderzoek toont echter aan dat deze systemen ongeveer 30% minder vaak afgaan op risicovolle conversatietakken, terwijl die specifieke takken juist bijna vier keer meer fabricaties bevatten. Het model is in feite blind voor zijn eigen afnemende betrouwbaarheid.
Ondanks deze conclusies biedt het onderzoek een mogelijke oplossing via een methode genaamd "on-policy, fixed-KL variance contraction". Door de variantie in de output te beheersen, kon het aantal geverifieerde hallucinaties met 35% tot 74% worden verminderd over drie verschillende modelfamilies. Deze resultaten, gedetailleerd in de studie op , suggereren dat de oplossing voor hallucinaties niet ligt in nog grotere modellen, maar in het beheersen van de manier waarop modellen hun eigen fouten versterken tijdens het genereren van tekst.