De betrouwbaarheid van kunstmatige intelligentie in de financiële sector blijft een kritiek punt, aangezien de neiging van taalmodellen om feiten te verzinnen — ook wel hallucinaties genoemd — grote risico's met zich meebrengt. In een recente wetenschappelijke analyse is onderzocht of compacte, open-source modellen die op consumentenhardware kunnen draaien, in staat zijn om met hoge precisie cijfers uit officiële Amerikaanse financiële documenten te halen.
Volgens een publicatie op arxiv.org is hiervoor de 'Filing-Evidence' benchmark ontwikkeld. Deze dataset bevat 1.000 specifieke vragen die zijn gebaseerd op 90 recente 10-K en 10-Q rapporten van 45 diverse Amerikaanse ondernemingen. Om de validiteit van de resultaten te garanderen, zijn de correcte antwoorden direct gekoppeld aan de inline XBRL-tags die door de bedrijven zelf zijn ingediend bij de Securities and Exchange Commission (SEC).
Het centrale doel van dit experiment was niet enkel het vinden van het juiste getal, maar het leveren van bewijslast. De modellen moesten zowel het correcte paginanummer als een letterlijk citaat uit de tekst kunnen aanleveren. Deze methode maakt het mogelijk voor een externe machine om onafhankelijk te controleren of de AI de informatie op de juiste plek heeft gelokaliseerd. In bredere zin kan men dit zien als een manier om de AI te dwingen zijn antwoorden te 'tonen' of te bewijzen, waarbij de term merriam-webster.com in deze context staat voor het presenteren van bewijsmateriaal.
Voor de tests werden tien verschillende 'instruct'-modellen van diverse ontwikkelaars gebruikt, met een omvang die varieerde tussen de 7 en 21 miljard parameters. Alle experimenten werden uitgevoerd op een enkele RTX 4090 videokaart. Er werd gekeken naar drie verschillende scenario's: een standaardopstelling, een 'check-and-retry'-methode waarbij het model een tweede poging waagt na een foutieve controle, en de specifieke redeneermodus van de modellen.
De resultaten tonen een aanzienlijke spreiding in prestaties. In de standaardopstelling varieerde de nauwkeurigheid van 17,1% tot 82,7%. Het model Qwen3.5-9B kwam als beste uit de bus met een score van 84,5%. Uit de data op blijkt bovendien dat de implementatie van een redeneermodus bij vier van de vijf beschikbare modellen leidde tot een merkbare vermindering van fouten.
De analyse van de gemaakte fouten onthulde dat een automatische controleur weliswaar veel onjuistheden kon filteren, maar dat sommige fouten hardnekkig bleven. In de standaardopstelling bleek 57% van de fouten te hebben betrekking op schaal of eenheden. In 30% van de gevallen haalde het model een getal uit een verkeerde kolom of een onjuiste tijdsperiode, ondanks dat het getal op dezelfde regel stond. Het herhalen van een antwoord na een mislukte controle zorgde voor een marginale verbetering van de nauwkeurigheid met maximaal 3,9 punten.
De volledige dataset, inclusief de gebruikte code en de output van de geteste modellen, is publiekelijk toegankelijk via de van het onderzoek. Hiermee wordt getracht de transparantie binnen de ontwikkeling van betrouwbare financiële AI-systemen te vergroten.