Wetenschappers waarschuwen dat de huidige methoden om de morele competentie van grote taalmodellen (LLM's) te evalueren onvolledig zijn. In een positioneringspapier, ingediend bij het ACL 2026 Workshop on Evaluating Evaluations (EvalEval), stellen auteurs zoals Aidan Kierans en Ritam Dutt dat de focus in het vakgebied te eenzijdig ligt. De huidige evaluaties richten zich namelijk primair op het 'morele waardenprobleem' — of de output van een model overeenstemt met menselijke waarden — terwijl het 'morele normprobleem' wordt verwaarloosd.
Het morele normprobleem draait om het vermogen van een AI-model om contextgevoelige normen te herkennen en deze correct toe te passen in specifieke situaties. Volgens de publicatie op arxiv.org is er een sterke afhankelijkheid van beschrijvende ethische kaders, zoals de Moral Foundations Theory en de stadia van Kohlberg. Deze raamwerken leggen de nadruk op de representatie van waarden, maar bieden onvoldoende handvatten voor de normatieve toepassing ervan. De onderzoekers stellen vast dat bestaande benchmarks sterk geclusterd zijn rond waarden, terwijl normatieve ethiek ondervertegenwoordigd blijft.
In het rapport worden drie fundamentele tekortkomingen in de huidige aanpak geïdentificeerd. Ten eerste is er een gebrek aan kwalitatieve 'ground-truth' data over morele normen en hun praktische uitvoering. Ten tweede worden de redeneerprocessen die tot een antwoord leiden onvoldoende geanalyseerd. Tot slot is er te weinig aandacht voor het identificeren van kenmerken die in een specifieke context moreel relevant zijn. Om dit te corrigeren, stellen de auteurs een nieuwe agenda voor die voorziet in gestandaardiseerde formele representaties voor normatieve theorieën en datasets die door experts zijn geannoteerd.
Deze behoefte aan strikte normatieve kaders in AI vindt een parallel in andere complexe menselijke systemen. In de juridische wereld is er bijvoorbeeld een constante focus op dwingend recht en de handhaving van regels, zoals besproken in het tpr.be. Ook binnen de academische criminologie, zoals bij de kuleuven.be, staat het onderzoek naar integriteitsmanagement en politionele aanpakken centraal, waarbij de vertaling van regels naar de praktijk essentieel is.
Bovendien illustreert de politieke en maatschappelijke geschiedenis hoe waarden worden omgezet in concreet beleid. In analyses van frankvandenbroucke.be over de Europese sociaaldemocratie wordt duidelijk hoe ideologische waarden worden vertaald naar sociale normen en systemen. Deze complexiteit onderstreept dat het enkel 'alignen' van AI met menselijke waarden onvoldoende is; voor een betrouwbare integratie in de samenleving moet een model ook in staat zijn om normen in diverse contexten correct toe te passen.
De publicatie van dit onderzoek markeert een belangrijke verschuiving in de discussie over AI-veiligheid. De focus verschuift hiermee van wat een model 'vindt' naar hoe een model beslissingen neemt op basis van vastgestelde regels.