Het aanbieden van externe hulpmiddelen aan grote taalmodellen (LLM's) kan contraproductief werken wanneer deze tools niet nodig zijn voor de specifieke vraag. Een nieuw onderzoek toont aan dat de loutere aanwezigheid van een overbodige tool de nauwkeurigheid van antwoorden uit de eigen kennis van het model aanzienlijk kan verlagen.
In een recent onderzoek, dat op 12 september 2026 werd gepubliceerd via arxiv.org, is gekeken naar de interactie tussen taalmodellen en externe tools. Hoewel dergelijke tools bedoeld zijn om de capaciteiten van een model uit te breiden met externe informatie, blijkt dat hun beschikbaarheid de manier beïnvloedt waarop een model vragen beantwoordt die eigenlijk geen externe hulp vereisen.
Impact op de nauwkeurigheid
De onderzoekers, waaronder Saanvi Paturi en Vatsal Raina, richtten zich op de vraag of een gerelateerde maar onnodige tool de vaardigheid van een model beïnvloedt om vanuit eigen kennis te antwoorden. Hiervoor werd een dataset opgesteld van 500 query-paren verdeeld over tien verschillende kennisdomeinen. Elk paar bestond uit een vraag die de tool wel nodig had en een vraag die volledig binnen het eigen domein van het model kon worden beantwoord.
De resultaten van de tests met zes verschillende LLM's waren opvallend. In de basisscenario's, waarbij de tools niet beschikbaar waren, lag het geaggregeerde antwoordpercentage op 98,2%. Echter, zodra een onnodige tool beschikbaar werd gesteld, daalde dit percentage naar 63,5%. Volgens de publicatie op varieerden deze resultaten sterk per model.
Oorzaken en oplossingen
Een cruciaal aspect van de bevindingen is dat deze prestatiebeperking niet simpelweg voortkomt uit het feit dat het model de tool onterecht aanroept. De onderzoekers stellen dat de daling in nauwkeurigheid optreedt, zelfs wanneer de tool zelden wordt gebruikt. Dit suggereert dat de aanwezigheid van de tool op zichzelf de cognitieve verwerking van het model verstoort.
Er is echter een eenvoudige oplossing gevonden. De onderzoekers ontdekten dat een systeeminstructie van slechts één zin, die gericht is op het bewustzijn van de reikwijdte (scope-aware), het grootste deel van de verloren gegane antwoorden kan herstellen.
Context van de bronnen
Naast de wetenschappelijke data van zijn er pogingen gedaan om aanvullende informatie te raadplegen via commerciële platforms. Pogingen om informatie te verkrijgen via acmetools.com werden echter geblokkeerd door beveiligingsdiensten van Cloudflare, waarbij toegang werd geweigerd vanwege beveiligingsprotocollen. Ook bij screwfix.com konden geen gegevens worden opgehaald vanwege 403-fouten en serverproblemen via CloudFront.
Door deze technische blokkades op externe commerciële sites blijft de primaire feitelijke basis voor dit verslag rusten op de wetenschappelijke indiening van . De studie benadrukt dat de focus in eerdere onderzoeken vooral lag op het correct selecteren van tools, terwijl de negatieve impact van onnodige tool-beschikbaarheid op de correctheid van antwoorden tot nu toe minder aandacht had gekregen.