Een recent wetenschappelijk onderzoek heeft de inzet van Claude Code, een agentische versie van het taalmodel Claude Opus 4.6, geanalyseerd voor het nakijken van handgeschreven universiteitsexamens. De studie, die op 9 november 2026 werd gepubliceerd, onderzocht in welke mate een AI-agent de beoordelingen van een menselijke expert kan repliceren en consistent kan handhaven.
Voor de testopzet werden de tussentijdse examens van 60 studenten gebruikt die een vak over computergraphics volgden aan een instelling in Saoedi-Arabië. De examens hadden een maximale score van 20 punten. De AI-agent voerde de correcties uit in één sessie, waarbij het systeem werd aangestuurd door drie specifieke rubric-bestanden. Volgens de publicatie op arxiv.org trad de auteur van de studie op als de domeinexpert om de menselijke referentiekader te bieden.
Het onderzoek richtte zich op vier kernpunten: de overeenstemming in totale scores tussen mens en machine, de prestaties bij vijf verschillende vraagtypen, de consistentie van de AI over twee sessies met een week interval, en de kwaliteit van de feedback aan studenten. Om deze aspecten te meten, werden statistische methoden zoals de Pearson-correlatie, de Bland-Altman-analyse en de gemiddelde absolute fout (MAE) toegepast.
De resultaten wijzen op een zeer sterke correlatie tussen de AI en de menselijke corrector. De Pearson-correlatie voor de totale scores bedroeg r = 0,97, met een gemiddelde absolute fout van 0,85 punten. Wel werd er een lichte 'AI-positieve bias' van 0,68 punten waargenomen, wat impliceert dat het systeem gemiddeld iets milder beoordeelde dan de menselijke expert. De betrouwbaarheid bij herhaalde tests was met een intraclass correlatie (ICC) van 0,96 zeer hoog. Ook de feedback bleek accuraat; 97,8% van de bevestigende feedback en 92,8% van de diagnostische feedback werd als correct beoordeeld.
Ondanks deze successen waren er duidelijke beperkingen zichtbaar, vooral bij opdrachten waarbij tekeningen centraal stonden. Deze categorie scoorde het slechtst op drie van de vier gebruikte meetwaarden. De studie identificeerde drie specifieke foutmodi. Ten eerste was er sprake van een gebrek aan conceptuele diepgang, waarbij de AI neigde naar 'keyword matching' in plaats van een volledig begrip van de materie. Ten tweede ontstond er ambiguïteit bij het interpreteren van correcties in meerkeuzevragen. Ten slotte trad er 'region-of-attention drift' op bij handgetekende diagrammen, waardoor de AI niet altijd de relevante delen van de tekening analyseerde.
De conclusie van het onderzoek is dat AI-systemen van dit niveau een significante ondersteuning kunnen vormen voor docenten, in het bijzonder bij korte en objectieve vragen. Echter, zoals beschreven in het rapport op , is de technologie nog niet in staat om het menselijk oordeel volledig over te nemen, zeker niet bij complexe grensgevallen of visuele opdrachten.
Hoewel gebruikers toegang kunnen krijgen tot de modellen via claude.ai, benadrukt de studie dat structurele waarborgen essentieel blijven bij de implementatie in het onderwijs. De wetenschappelijke basis voor deze specifieke casus blijft rusten op de data die zijn gedeeld via .