Steeds meer economische tijdschriften zetten in 2026 kunstmatige intelligentie in voor de technische kwaliteitscontrole van wetenschappelijke artikelen. Maar hoe betrouwbaar is zo'n AI-beoordelaar eigenlijk? Wetenschapper Sergey V. Popov testte het uit — met een verrassende ontdekking.
Zijn methode is simpel: hij gaf drie grote taalmodellen (LLM's) exact dezelfde tekst te beoordelen, maar veranderde telkens alleen de naam van het bestand. Het resultaat? De scores verschilden.
Bestandsnaam als verborgen factor
Uit de analyse, gepubliceerd op arxiv.org, blijkt dat een bestandsnaam met een label dat verwijst naar een persoon zorgt voor een hogere score dan een bestand zonder zo'n label. De metadata buiten de eigenlijke tekst beïnvloedt dus het eindoordeel van de AI.
De bias is wel wisselend. Popov vond geen consistente voorkeur voor labels die naar de eigen naam of die van een concurrent verwijzen. Ook vond hij geen bewijs dat een Aziatische naam in de bestandsnaam leidt tot een systematisch lagere score. De afwijkingen zijn contextspecifiek: de mate en richting van de beïnvloeding variëren per document en per label. Er is dus geen vast patroon.
AI heeft een voorkeur voor eigen stijl
Popov onderzocht daarnaast hoe LLM's omgaan met teksten die door AI zelf zijn geschreven. Daarbij zag hij een zogenaamd 'zelf-premium': de modellen geven de voorkeur aan teksten die hun eigen schrijfstijl weerspiegelen. Toch blijft de bestandsnaam ook bij AI-gegenereerde content een bepalende factor in de score.
Wat betekent dit voor de wetenschap?
De gevolgen zijn verstrekkend. Gebruiken tijdschriften AI voor een eerste selectie of kwaliteitscheck, dan kan een willekeurige bestandsnaam onbedoeld de publicatiekansen van een auteur bepalen. De studie, getiteld "Same Text, Different Filename: Are LLM Judges Biased?", werd op 1 november 2026 ingediend bij de database voor preprints. De conclusie: de noodzaak om deze bias te corrigeren hangt af van hoeveel evaluatiefouten men acceptabel vindt.
Het onderzoek put het begrip 'identiek' uit: teksten die exact gelijk zijn. Hoewel het cambridge.org 'same' definieert als iets dat exact gelijk is aan een ander, laten de resultaten zien dat AI die gelijkheid niet neutraal verwerkt. De bestandsnaam fungeert als een onzichtbare variabele die het oordeel van de digitale beoordelaar vertroebelt.
De les is duidelijk: wie AI-gestuurde processen inzet in sectoren waar objectiviteit centraal staat, moet uiterst voorzichtig zijn. Zelfs iets kleins als een bestandsnaam kan de uitkomst van een geautomatiseerde beoordeling significant beïnvloeden.
🧠 Even simpel uitgelegd
Stel dat je een docent bent die twee exact dezelfde essays nakijkt. Het enige verschil: het ene document heet 'essay_versie_1.pdf' en het andere 'essay_Jan_Jansen.pdf'. Als je het tweede essay een hoger cijfer geeft, terwijl de tekst identiek is, laat je je leiden door iets dat niets met de kwaliteit te maken heeft. Precies dat gebeurt volgens dit onderzoek bij AI-beoordelaars: de bestandsnaam — een soort etiket — kleurt hun oordeel, zonder dat de tekst zelf is veranderd.