Wetenschappers hebben een innovatieve methode ontwikkeld om te analyseren hoe onjuistheden zich voortplanten binnen geavanceerde AI-systemen die gebruikmaken van agentische Retrieval-Augmented Generation (RAG). Bij dit type systemen wordt een antwoord niet in één keer gegenereerd, maar via een proces van herhaaldelijk zoeken en redeneren over meerdere stappen, ook wel 'hops' genoemd. Een hardnekkig probleem is dat een fout in een vroege fase van dit proces pas veel later zichtbaar wordt in het eindresultaat, terwijl latere stappen een eerdere misslag soms onbedoeld maskeren.
Om deze dynamiek in kaart te brengen, presenteert onderzoeker Lauren Pothuru een nieuw instrument genaamd arxiv.org. Dit is een interventional benchmark die specifiek is ontworpen voor causale foutattributie. Met dit systeem wordt getest of een AI-model achteraf correct kan identificeren in welke specifieke stap een fout is geslopen, zelfs als de daaropvolgende stappen in de redeneringsketen zijn gewijzigd.
De kern van dit onderzoek rust op het concept van scienceinsights.org, waarbij een direct verband wordt gelegd tussen een specifieke actie als oorzaak en het uiteindelijke effect. In tegenstelling tot een correlatie, waarbij twee gebeurtenissen simpelweg gelijktijdig voorkomen, houdt een causale relatie in dat het aanpassen van één variabele daadwerkelijk leidt tot een verandering in de uitkomst. In de context van AI betekent dit dat men wil vaststellen welke specifieke interventie in de informatievoorziening leidde tot een foutief antwoord. Volgens de cambridge.org gaat het hierbij specifiek om zaken die een direct verband hebben met een oorzaak.
Voor de praktische toetsing van deze methode is gebruikgemaakt van het model Claude Haiku 4.5 en een testset van 80 vragen uit de MuSiQue-dataset. De resultaten laten zien dat het vermogen om fouten te diagnosticeren sterk afneemt naarmate de fout dieper in het proces optreedt. Bij fouten in de eerste stap (Hop 1) behaalde de zogenaamde 'coverage-based diagnosis' nog een score van 0,91 over 43 mislukte trajecten. Echter, bij fouten in de tweede en derde stap kelderde deze score naar 0,00 voor respectievelijk 36 en 21 trajecten.
Daarnaast is er gekeken naar de impact van content-corruptie, waarbij essentiële feiten of verbindende informatie in de keten werden gewijzigd. Ook hier bleek de dekking-gebaseerde diagnose bij een diepte van twee stappen volledig ineffectief met een score van 0,00. Een alternatieve methode, de 'frozen-hop counterfactual probe', presteerde in deze vergelijkende analyse aanzienlijk beter met een score van 0,67.
Het kunnen accuraat toeschrijven van fouten is essentieel voor het verhogen van de betrouwbaarheid van kunstmatige intelligentie. Door de 'propagatiediepte' als meetlat te gebruiken, stelt de ontwikkelaars in staat om het onderscheid te maken tussen algemeen signaalverlies en de werkelijke effectiviteit van diagnostische tools. Dit biedt een wetenschappelijke basis voor de ontwikkeling van AI-systemen die hun eigen redeneerpaden effectiever kunnen controleren en corrigeren.