Onderzoekers van de University of California, Irvine, hebben een analyse gepubliceerd waarin de risico's van zogenaamde 'constraint pruning' bij de inzet van grote taalmodellen (LLM's) worden belicht. De kern van het probleem is dat een enkele onjuiste reactie van een AI-model kan resulteren in een cascade van foutieve conclusies binnen complexe systemen.
In de praktijk worden LLM's vaak ingezet als 'noisy oracles' om ja/nee-vragen te beantwoorden. Om de kosten en de hoeveelheid queries te beperken, maken ontwikkelaars gebruik van constraint pruning. Hierbij worden bepaalde vragen overgeslagen als het antwoord al impliciet vaststaat door eerdere reacties, bijvoorbeeld via logische transitiviteit. Hoewel dit proces efficiënt lijkt, stellen onderzoekers Zhengtao Gui en Weining Shen dat de aanname dat een orakel foutloos is, gevaarlijk is. Volgens een publicatie op arxiv.org verspreidt een geaccepteerde fout zich namelijk naar elke daaropvolgende vraag die op dat antwoord is gebaseerd.
De risico's van deze methode moeten worden beoordeeld op basis van de impact van een foutief antwoord. Wanneer elk antwoord een kleine onafhankelijke kans op een fout heeft, wordt het totale risico bepaald door het gemiddelde aantal feiten dat door één enkele fout wordt aangetast. Het onderzoek maakt hierbij een onderscheid tussen verschillende soorten beperkingen. Bij eenvoudige implicatieregels, zoals in taxonomieën, voegt pruning in een willekeurige volgorde geen extra risico toe op de eerste orde. Echter, bij regels met meerdere premissen verandert dit beeld. Een foutief antwoord bij een premisse die door meerdere regels wordt gedeeld, kan leiden tot een aanzienlijk groter aantal onjuiste feiten, zoals beschreven in de .
Een specifiek onderdeel van het onderzoek richt zich op entity-resolutie, waarbij records van dezelfde entiteit worden samengevoegd. Hierbij blijkt de volgorde van de gestelde vragen cruciaal voor de foutgevoeligheid. De onderzoekers onderscheiden drie scenario's:
Ten eerste zijn er de 'pivot-volgordes', waarbij één record met alle andere wordt vergeleken. Deze aanpak wordt als optimaal beschouwd omdat fouten hierbij minder dan tweemaal worden versterkt. Ten tweede zijn er willekeurige volgordes, die minder efficiënt zijn en fouten in een hogere mate versterken. Ten slotte is er de 'most-similar-first'-methode, waarbij eerst de meest gelijkaardige records worden vergeleken. Volgens de is dit de slechtste optie; in bepaalde dimensies presteert deze methode zelfs slechter dan een volledig willekeurige volgorde.
Opvallend is dat bij de aanwezigheid van meerdere entiteiten de kosten van het onjuist samenvoegen van twee entiteiten niet afhankelijk zijn van het totale aantal aanwezige entiteiten. De theoretische voorspellingen uit het onderzoek zijn getoetst via simulaties, waarbij de resultaten overeenkwamen met de voorspelde constanten binnen de marges van de steekproeffouten. Dit bevestigt dat de keuze van de query-volgorde een directe invloed heeft op de betrouwbaarheid van het eindresultaat bij het gebruik van onbetrouwbare orakels.
Het volledige rapport, dat is ingediend op 19 oktober 2026 en 33 pagina's beslaat, valt onder de categorie Machine Learning. De resultaten, te vinden via , dwingen ontwikkelaars van LLM-gebaseerde systemen om kritischer te kijken naar de logische volgorde van hun queries om catastrofale foutpropagatie te voorkomen.