Ondanks de implementatie van geavanceerde technieken zoals Retrieval-Augmented Generation (RAG), blijven AI-systemen in de juridische sector foutieve informatie genereren. Een recent onderzoek toont aan dat hallucinaties hardnekkig aanwezig blijven, wat aanzienlijke risico's met zich meebrengt voor de rechtspraktijk.
In een studie die op 14 augustus 2026 werd gepubliceerd via arxiv.org, is een gedetailleerde analyse uitgevoerd naar het gedrag van acht verschillende juridische RAG-systemen. Deze systemen werden getest op basis van twee specifieke juridische corpora: de Algemene Verordening Gegevensbescherming (GDPR) in het Engels en een nationale civiele wetgeving in het Frans. De resultaten laten zien dat hallucinaties — het fenomeen waarbij AI feitelijk onjuiste informatie verzint — nog steeds wijdverspreid zijn.
Variabele betrouwbaarheid en kritieke fouten
De onderzoekers, verbonden aan de Universiteit van Luxemburg, stelden vast dat de mate van onbetrouwbaarheid sterk varieert per systeem. Bij de best presterende systemen bleven hallucinaties beperkt tot minder dan 10% van de reacties. In het slechtste geval echter, was bijna de helft van de antwoorden onjuist.
Een specifiek knelpunt bij deze systemen zijn zogenaamde 'false-premise' vragen. Dit zijn vragen die uitgaan van een onjuiste aanname die door het systeem eigenlijk verworpen zou moeten worden. Uit de validatie op een set van 142 door juridische experts opgestelde vragen bleek dat juist dit type vragen leidde tot hoge hallucinatiecijfers.
De beperkingen van RAG-technologie
Veel leveranciers van juridische AI maken gebruik van Retrieval-Augmented Generation (RAG) om de nauwkeurigheid te verhogen. Zoals uitgelegd door ailawlibrarians.com, werkt RAG door een vraag eerst naar een database te sturen en de gevonden relevante passages als context aan het model te voeden. Hoewel dit de antwoorden beter onderbouwt met echte data, kan de uiteindelijke samenvatting die de generatieve AI maakt nog steeds onjuist zijn.
Dit risico is in de praktijk al meerdere malen bevestigd. Er zijn meldingen van systemen die fictieve zaken citeerden, waarbij sommige citaties zelfs datums uit de toekomst bevatten. Ook in de Verenigde Staten zijn er gevallen bekend waarbij advocaten sancties kregen nadat zij briefs hadden ingediend met door AI verzonnen jurisprudentie.
Bredere context en eerdere waarschuwingen
De problematiek is niet nieuw. Eerder onderzoek van stanford.edu wees al uit dat juridische modellen in minstens één op zes benchmark-vragen hallucineerden. Voor algemene chatbots lag dit percentage zelfs aanzienlijk hoger, variërend tussen de 58% en 82% bij juridische vragen.
Hoewel sommige experts opmerken dat nieuwere versies van commerciële tools mogelijk verbeterd zijn, blijft de noodzaak voor menselijke controle groot. Zo beschrijft ediscoveryllc.com dat zelfs in 2026 nog steeds fouten worden gevonden in briefs die zijn voorbereid met geavanceerde AI-tools, zoals Westlaw's CoCounsel. De consensus in de academische en juridische wereld is dat verificatie van AI-output niet enkel een aanbeveling is, maar een ethische plicht voor juridische professionals.
De recente bevindingen van Das, Abualhaija en Bianculli onderstrepen dat, hoewel de technologie vordert, de juridische sector nog niet blind kan vertrouwen op geautomatiseerde systemen zonder grondige menselijke controle.