⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
AI-reviewers saboteren concurrenten: zo kraakt het peer review-systeem

AI-reviewers saboteren concurrenten: zo kraakt het peer review-systeem

Wie een paper indient bij een grote AI-conferentie, wordt beoordeeld door iemand die misschien wel zijn directe concurrent is. En die concurrent kan zijn score bewust naar beneden drukken. Dat blijkt uit nieuw onderzoek naar het peer review-systeem in de machine learning-wereld.

De problemen stapelen zich op. Door AI-instrumenten stroomt een groot aantal papers binnen bij de grootste machine-learning-evenementen. Volgens een recent onderzoek, gepubliceerd op arxiv.org, lopen de inzendingen inmiddels in de tienduizenden per cyclus. Om die vloedgolf te beheersen, voerden organisatoren regels in: limieten op het aantal papers per auteur, verplichte wederkerige reviews en reviewer-status die je alleen krijgt via eerder geaccepteerde publicaties.

Maar die regels openen onbedoeld de deur voor strategische manipulatie.

Sabotage en collusie: twee kanten van het probleem

Onderzoekers Yuchen Li, Xintong Li, Ken-Tye Yong en Nguyen H. Tran identificeren twee vormen van afwijkend gedrag. Bij sabotage geeft een reviewer bewust een lage score aan een concurrent, zodat die minder kans maakt op acceptatie. Bij collusie gebeurt het omgekeerde: een reviewer verhoogt kunstmatig de score van een bondgenoot.

De onderzoekers simuleerden 6.220 conferenties, gekalibreerd op statistieken van NeurIPS en ICLR. Hun conclusie: de twee fenomenen versterken elkaar. Collusie bepaalt vooral wie er wordt toegelaten. Sabotage ondermijnt de betrouwbaarheid van de scores als maatstaf voor kwaliteit.

'Bidding' maakt het een stuk erger

Het grootste risico zit in de manier waarop reviewers aan papers worden gekoppeld. Bij een volledig willekeurige toewijzing verandert collusie zelden een beslissing. Maar reviewers mogen bij veel conferenties zelf aangeven welke papers ze willen beoordelen — het zogenaamde 'bidding'. En dan slaat de vlam in de pan.

De onderzoekers schetsen een scenario met een pool van 3.000 reviewers. Een 'ring' van 20 samenzwerende leden krijgt bij willekeurige toewijzing slechts 0,8% van hun papers geaccepteerd via collusie. Wordt 30% van de biedingen van die bondgenoten toegewezen, dan stijgt dat percentage naar 71%. Het biedingssysteem neemt de bescherming die willekeur biedt dus vrijwel volledig weg.

Gevestigde namen winnen, nieuwkomers verliezen

Er is nog een probleem. Wanneer de geschiktheid om te reviewen gekoppeld is aan het aantal geaccepteerde papers, wordt sabotage vooral een wapen van de 'incumbents' — de gevestigde orde.

Volgens de auteurs vergroot een langere geldigheidsperiode voor de reviewer-status de kloof tussen die gevestigde namen en nieuwkomers, mits sabotage mogelijk is. Het systeem werpt daarmee onbedoeld een barrière op voor nieuw talent dat buiten bestaande machtsnetwerken valt.

Hoewel populaire techsites zoals kieskeurig.nl en tweakers.net geen inhoudelijke details over het rapport verspreiden, is de boodschap duidelijk: de peer review-mechanismen vragen om herziening. AI versnelt de productie van wetenschappelijke teksten in hoog tempo, en de huidige schaal dwingt conferenties tot een lastige balans tussen efficiëntie en integriteit.

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!