De integriteit van academische conferenties staat onder druk door het risico op samenzwering tussen beoordelaars. In een recent onderzoek, gepubliceerd op 4 september 2026, presenteren wetenschappers waaronder Kemou Li en Jicheng Zhou een methode om de impact van collusie bij de toewijzing van artikelen te analyseren. De aanleiding voor dit onderzoek waren signalen van gecoördineerde biedingen tijdens de reviewcyclus van AAAI-27.
Om dit fenomeen te bestuderen, hebben de auteurs het framework CABAL ontwikkeld. Volgens de publicatie op arxiv.org maakt dit systeem gebruik van multi-agent simulacra om de effecten van collusief bieden in kaart te brengen. In veel academische processen kunnen reviewers aangeven welke papers zij bij voorkeur willen beoordelen. De onderzoekers stellen dat eerdere analyses dit proces vaak te veel opsplitsten in losse fasen, waardoor de interactie tussen het bieden, de toewijzing en de uiteindelijke manipulatie van de score onvoldoende inzichtelijk was.
Binnen het nieuwe kader worden LLM-gestuurde agents ingezet die ofwel een eerlijke of een collusieve strategie volgen. Een cruciaal onderdeel van dit onderzoek is de introductie van een biedstrategie gebaseerd op affiniteit. In plaats van willekeurige selecties maken de collusieve agents gebruik van de wederzijdse affiniteit tussen reviewers en artikelen om ringen te vormen. Hierdoor blijven de manipulaties consistent met de expertise van de reviewers, wat detectie bemoeilijkt. In het artikel wordt beschreven hoe deze aanpak de kans dat een specifiek artikel bij een samenzweerder terechtkomt, meer dan verdubbelt.
De resultaten van de experimenten tonen aan dat collusieve reviewers hun doelartikelen gemiddeld twee punten hoger scoren dan de eerlijke co-reviewers die aan hetzelfde werk zijn toegewezen. Opvallend is dat de impact op het niveau van de gehele conferentie relatief beperkt blijft, wat erop wijst dat dergelijke manipulaties zich vaak concentreren in kleine, lokale clusters. De data in de suggereren dat dit de algehele uitslag minder beïnvloedt dan men zou kunnen vermoeden, maar de lokale objectiviteit wel ernstig schaadt.
Het onderzoek werpt daarnaast een kritisch licht op bestaande detectiemethoden. Een stresstest van een zogenaamde 'fixed-triplet detector' liet zien dat verdachte biedgrafieken vaak onterecht worden aangezien voor normale affiniteiten tussen een expert en een onderwerp. Slechts een specifieke diagnostische weergave van zeer hoge biedingen bood een nauwkeurige lokale herwinning van collusie, maar deze methode heeft een lage dekking. Dit betekent dat veel vormen van samenzwering onopgemerkt kunnen blijven bij standaardcontroles.
Het is overigens belangrijk om een onderscheid te maken tussen dit wetenschappelijke kader en andere toepassingen van dezelfde naam. Zo is er een commerciële MMORPG genaamd CABAL Online, die wordt beheerd via playthisgame.com. Er is geen enkele link tussen deze gaming-omgeving en het AI-onderzoek naar de integriteit van peer reviews.
De conclusie van de onderzoekers is dat er een dringende behoefte is aan robuustere systemen om de objectiviteit van academische publicaties te waarborgen, zeker nu de schaal van grote conferenties blijft toenemen.