Grote taalmodellen (LLM's) vertonen een duidelijke voorkeur voor sollicitanten die verbonden zijn aan prestigieuze organisaties. Uit een recente wetenschappelijke analyse blijkt dat de reputatie van een instelling een significante invloed heeft op de scores die AI-modellen toekennen aan kandidaten, waarbij dit effect sterker is dan de invloed van de nationaliteit van de persoon.
Het onderzoek richtte zich op de vraag in hoeverre AI-systemen discrimineren tijdens het evaluatieproces. De onderzoekers analyseerden hiervoor 4.320 API-aanroepen bij vier verschillende taalmodellen, verspreid over vijf professionele domeinen. Hierbij werd specifiek gekeken naar de impact van de geografische locatie, de etniciteit van de naam en het prestige van de instelling. Volgens de resultaten in een arxiv.org is er een duidelijk statistisch verband tussen de status van een instelling en de uiteindelijke score van een kandidaat.
Prestige versus herkomst
In de eerste fase van het onderzoek werd een positieve stijging van 0,297 punten op een schaal van 10 vastgesteld voor kandidaten van prestigieuze instellingen. Opvallend is dat de herkomst van de naam van de sollicitant in dit stadium geen statistisch significante invloed had op de beoordeling.
Een tweede experiment probeerde het onderscheid te maken tussen de geografische locatie en het institutionele prestige. Hieruit bleek dat het effect van prestige (+0,185) ongeveer anderhalf keer zo sterk was als het effect van het land van herkomst (+0,126). Dit wijst erop dat AI-modellen kandidaten niet primair afwijzen op basis van hun land, maar juist een voorkeur tonen voor personen die verbonden zijn aan wereldwijd erkende topinstellingen, zoals beschreven in de .
De kracht van publicaties
Het onderzoek toonde daarnaast aan dat de reputatie van wetenschappelijke publicaties nog dominanter is dan de status van de instelling. Een publicatie in een topblad zoals Nature had een effect dat 5,7 keer sterker was dan het prestige van de instelling zelf. Dit creëert een zogenaamd 'rescue effect', waarbij een sterke publicatie het gebrek aan een prestigieuze achtergrond kan compenseren.
De data laten zien dat dit compensatie-effect sterker was bij kandidaten van de University of Guayaquil (+2,127) dan bij kandidaten van het MIT (+1,745). Deze bevindingen zijn onderdeel van een uitgebreide Engelse versie van een eerder Spaans project, waarbij extra analyses over tijdschriftprestige zijn toegevoegd in de .
Onbetrouwbaarheid bij minder bekende profielen
Naast de scores analyseerden de auteurs de consistentie van de modellen met behulp van de Neutrosophic Bias Index (NBI). Hieruit kwam naar voren dat evaluaties van profielen met een laag prestige veel vaker inconsistent waren. De onderzoekers spreken in dit verband van een 'epistemisch nadeel', wat betekent dat de AI minder betrouwbaar oordeelt over kandidaten die niet afkomstig zijn van topinstellingen.
Hoewel ontwikkelaars voor het beheren van dergelijke complexe analyses vaak gebruikmaken van tools zoals github.com, ligt de oorzaak van deze bias in de trainingsdata van de modellen zelf. De resultaten benadrukken dat er een kritische blik nodig is wanneer AI wordt ingezet voor selectieprocedures in academische of professionele omgevingen om te voorkomen dat onzichtbare vooroordelen de overhand krijgen.