⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Versieverschillen in AI-modellen leiden tot inconsistente beoordelingen van wetenschappelijke papers

Versieverschillen in AI-modellen leiden tot inconsistente beoordelingen van wetenschappelijke papers

Een nieuw onderzoek naar het gebruik van grote taalmodellen (LLM's) bij het peer-reviewproces onthult dat updates van AI-modellen leiden tot drastisch verschillende oordelen over dezelfde wetenschappelijke artikelen. De studie toont aan dat nieuwere versies van modellen aanzienlijk strenger zijn, wat de betrouwbaarheid van AI-gestuurde scores in academische benchmarks in twijfel trekt.

In een recent onderzoek, gepubliceerd op het preprint-platform arxiv.org, is geanalyseerd hoe "versie-drift" een rol speelt bij het beoordelen van wetenschappelijke inzendingen. De onderzoekers, onder wie Jizhou Guo, auditeerden twintig geavanceerde modellen van OpenAI, Google en Anthropic. Hierbij werden inzendingen voor de ICLR 2027-conferentie gebruikt terwijl deze nog in het reviewproces zaten.

Drastische daling in acceptatiepercentages

De resultaten laten zien dat het simpelweg updaten van een model naar een nieuwere versie kan leiden tot een compleet ander verdict voor hetzelfde paper. Bij vergelijkingen tussen vroege en latere versies van Claude Opus en Gemini daalde het aandeel papers dat aan de "accept-zijde" werd geplaatst met respectievelijk 52 en 53 procentpunten. Deze data zijn gebaseerd op steekproeven van 183 en 60 inzendingen.

In verdere gepaarde vergelijkingen varieerde deze daling van 43 tot 79 procentpunten. Opvallend is dat in geen enkele van deze gevallen een paper een hogere score kreeg na de update; de modellen werden uitsluitend strenger. Zelfs wanneer de prompt expliciet een acceptatiepercentage van 30% voorschreef, bleef er een gat van 79 punten bestaan tussen twee versies van Opus, aldus de .

De invloed van evaluatieve taal

Het onderzoek probeerde te achterhalen of de strengere oordelen voortkwamen uit de technische analyse of uit de manier waarop de kritiek werd geformuleerd. Wanneer "score-gestripte" kritieken (beoordelingen zonder cijfer) tussen versies werden gewisseld, verlaagden de latere kritieken het acceptatieaandeel met 35 punten voor Opus en 51 punten voor Gemini.

Voor Claude Opus bleef de daling met 35 punten bestaan onder een externe beoordelaar. Echter, na een herschrijving waarbij alle technische punten behouden bleven maar de evaluerende bewoordingen werden verwijderd, zakte de daling naar 24 punten. Dit suggereert dat een deel van de strengere beoordeling voortkomt uit de taalstijl van de nieuwere modelversies.

Vergelijking met menselijke reviewers

De studie stelt dat de consistentie van AI-modellen sterk verschilt van die van mensen. In 473 van de 475 reviews gaven alle twintig geteste modellen een score van 2 of 3. Ter vergelijking: bij menselijke reviewers gebeurde dit slechts in 60 van de 72 gevallen.

Tegelijkertijd vertoonden de zelfgeschatte percentielen van drie modellen een sterkere correlatie met twee menselijke reviewers dan een derde menselijke reviewer deed. De puntramingen hiervoor lagen tussen 0,17 en 0,21.

Risico's van geheugen en retrospectieve tests

Het onderzoek waarschuwt voor retrospectieve tests op reeds besliste papers, omdat modellen mogelijk putten uit hun trainingsgeheugen. Zo kon Claude Opus 5.5 de werkelijke eerste auteur van 27 besliste ICLR 2026-papers correct identificeren enkel op basis van de titel. Een oudere versie, Claude Opus 4.6, accepteerde alle 11 papers die het model herkende, terwijl er statistisch slechts 5 verwacht werden.

De onderzoekers concluderen dat drempelwaarden voor LLM-scores per modelversie gevalideerd moeten worden tegen menselijke beslissingen. De definitieve resultaten van de geregistreerde tests, afgezet tegen de uiteindelijke ICLR 2027-beslissingen, worden volgens de verwacht na 16 december 2026.

Hoewel termen als "same" in algemene zin duiden op identiteit of gelijkheid, zoals beschreven in het cambridge.org, bewijst dit onderzoek dat "dezelfde" papers in de context van AI-beoordelingen absoluut niet tot dezelfde resultaten leiden.

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!