Wetenschappers van de Tsinghua University hebben een fundamenteel probleem blootgelegd in de manier waarop grote taalmodellen (LLM's) informatie verwerken. Uit hun analyse blijkt dat deze systemen vaak vertrouwen op oppervlakkige statistische verbanden in plaats van op feitelijke causale relaties, wat leidt tot het genereren van onjuiste informatie met een hoge mate van zelfvertrouwen.
Het kernprobleem draait om zogenaamde 'spurious correlations'. Dit zijn statistische patronen die in de trainingsdata veelvuldig voorkomen, maar die geen universele waarheid vertegenwoordigen. Volgens een publicatie op arxiv.org zorgen deze patronen ervoor dat modellen 'shortcuts' nemen. Een model kan bijvoorbeeld een persoon automatisch aan een bepaalde nationaliteit koppelen op basis van een achternaam, simpelweg omdat die combinatie statistisch dominant was in de trainingsset, zelfs als de feitelijke data in het model iets anders aangeven.
Deze vorm van hallucinaties is bijzonder problematisch omdat ze onzichtbaar blijven voor de meeste huidige controlemechanismen. Veel detectiesystemen maken gebruik van 'confidence-based filtering' of het analyseren van de interne status van het model om onzekerheid op te sporen. Echter, wanneer een model een fout maakt op basis van een sterke statistische bias, is de interne zekerheid juist extreem hoog. Hierdoor 'denkt' het model dat het correct is, terwijl het in feite een statistisch vooroordeel reproduceert. Zoals beschreven op lunadong.com, resulteert dit in fouten die consistent zijn en met grote stelligheid worden gepresenteerd.
Het onderzoek, dat onder meer is getoetst aan geavanceerde systemen zoals GPT-5 en DeepSeek-V3, laat zien dat gangbare oplossingen onvoldoende effect sorteren. Het simpelweg vergroten van de modellen, ook wel 'model scaling' genoemd, lost het probleem niet op. Ook technieken zoals 'refusal fine-tuning', waarbij een model leert om bepaalde vragen niet te beantwoorden, blijken niet in staat om deze diepgewortelde statistische biases volledig te elimineren, meldt aifeta.com.
De theoretische analyse van dit fenomeen werd gepresenteerd tijdens de ICLR 2026 Workshop over 'Principled Design for Trustworthy AI'. In de publicatie van github.io wordt duidelijk dat zolang modellen prioriteit geven aan statistische gewichten boven causale verbanden, screening op basis van zelfvertrouwen systematisch zal falen.
Om deze hardnekkige hallucinaties tegen te gaan, pleiten de onderzoekers voor een paradigmaverschuiving in de detectie en training van AI. In plaats van te vertrouwen op de interne zekerheid van het model, stellen zij drie alternatieve benaderingen voor:
Ten eerste het gebruik van 'counterfactual checks', waarbij antwoorden worden getest door specifieke kenmerken (zoals een naam of locatie) te wijzigen om te zien of de conclusie onterecht blijft staan. Ten tweede het toepassen van causale interventies om shortcuts tijdens het leerproces actief te doorbreken. Ten slotte is er een sterke nadruk op 'grounding', waarbij de output strikt wordt getoetst aan geverifieerde externe bronnen.
Deze bevindingen onderstrepen de noodzaak voor nieuwe methoden die specifiek zijn ontworpen om statistische misleiding aan te pakken. Voor toepassingen in risicovolle domeinen is het essentieel dat AI-systemen evolueren van patronenherkenners naar systemen die daadwerkelijke feitelijke correctheid kunnen waarborgen.