Onderzoekers hebben een nieuwe methode ontwikkeld die gebruikmaakt van kunstmatige intelligentie om de variatie in wetenschappelijke beoordelingen te verminderen. Door reviewers te voorzien van specifieke checklists, kan de zogenaamde 'reviewer lottery' worden beperkt, waardoor de kwaliteit van de beoordeling consistenter wordt.
In de wetenschappelijke wereld is peer review het proces waarbij onafhankelijke experts een manuscript beoordelen voordat het wordt gepubliceerd. Een hardnekkig probleem binnen dit systeem is de "reviewer lottery error". Dit fenomeen treedt op wanneer een kleine groep reviewers slechts een deel van de problemen in een paper opmerkt, terwijl een grotere pool van geschikte experts waarschijnlijk meer kritische punten zou hebben geïdentificeerd.
Een systematische aanpak tegen willekeur
Om dit probleem aan te pakken, hebben Xuanyou Liu, Ziyang Guo, Jason Hartline en Jessica Hullman een methode ontwikkeld die checklists van kritiekpunten genereert. Deze checklists worden afgeleid uit een historisch corpus van eerdere reviews. Volgens een publicatie op arxiv.org maakt de aanpak gebruik van een door een Large Language Model (LLM) ondersteunde pijplijn.
Het systeem genereert een boomstructuur van checklists die verschillende gradaties van review-claims vertegenwoordigen. Vervolgens selecteert het algoritme de versie die de "gecorreleerde overeenstemming" tussen reviewers maximaliseert. Het doel is om ervoor te zorgen dat reviewers, ongeacht hun individuele focus, aandacht besteden aan de meest relevante en kritische aspecten van een wetenschappelijk werk.
Significante resultaten in simulaties en praktijk
De effectiviteit van deze methode is getest op data van twee vooraanstaande conferenties voor machine learning: NeurIPS 2021 en ICLR 2022. In simulaties waarbij LLM's als reviewers optraden, leidde het gebruik van de geleerde checklists tot een aanzienlijke vermindering van de gemiddelde kwadratische fout (Mean Squared Error, MSE).
Concreet daalde de MSE voor een commissie van drie reviewers met 58% bij de NeurIPS-data en met 21% bij de ICLR-data, zoals beschreven via papers.cool. Daarnaast werd er een menselijke studie uitgevoerd met 20 deelnemers. Hierbij zorgde de NeurIPS-checklist ervoor dat de MSE van de rangschikking van papers daalde van 0,48 naar 0,22 ten opzichte van de oorspronkelijke volgorde van 2021.
Context: De bredere impact van AI op peer review
De integratie van AI in het beoordelingsproces is een groeiende trend. Volgens een analyse van arxivsignals.io wordt deze methode gezien als een empirische interventie om de variantie in peer reviews te mitigeren. Echter, de rol van AI in dit proces is complex. Een artikel op Oreate AI stelt dat een aanzienlijk deel van de wetenschappelijke evaluaties inmiddels afhankelijk is van LLM's, wat kan leiden tot een "AI review lottery" waarbij AI-ondersteunde reviews vaker hogere scores en acceptatiepercentages geven dan puur menselijke evaluaties.
Andere studies benadrukken de onvoorspelbaarheid van het proces. Onderzoek van Feilian Huang, gepubliceerd op arxiv.org, wijst uit dat tussen 2017 en 2025 een aanzienlijk percentage van de geaccepteerde papers mogelijk zouden zijn afgewezen als ze door een andere set reviewers waren beoordeeld. Dit onderstreept de noodzaak voor instrumenten die de subjectiviteit en ruis in het proces verminderen.
Kansen en uitdagingen
Hoewel checklists een oplossing bieden voor inconsistentie, blijven er bredere uitdagingen bestaan. In een review in Scientometrics wordt opgemerkt dat LLM's kansen bieden als checklist-assistenten en bij het detecteren van biases, maar dat er risico's zijn wat betreft de validatie van wetenschappelijke inhoud en een gebrek aan domeinspecifieke kennis. De ontwikkeling van betere mens-AI-samenwerkingen blijft daarom een cruciaal onderzoeksveld om de betrouwbaarheid van wetenschappelijke publicaties te waarborgen.