Wetenschappers hebben een computationeel model ontwikkeld dat aantoont dat beslissingsondersteuning via kunstmatige intelligentie (AI) onder specifieke omstandigheden tot slechtere resultaten kan leiden. Opvallend is dat dit effect optreedt, zelfs wanneer de besluitvormer rationeel handelt en het gebruikte AI-model technisch correct is. Het onderzoek is geaccepteerd voor de conferentie NeurIPS 2026.
De studie richt zich op zogenaamde 'high-stakes' omgevingen, zoals de medische sector en de rechtspraak. In deze domeinen worden prognostische voorspellingen van AI-systemen vaak ingezet om professionals te helpen bij complexe keuzes. De onderzoekers, waaronder Otto Nyberg, Davide Tugnoli, Fausto Carcassi en Giovanni Cinà, analyseren hoe menselijke gebruikers leren van deze machine learning-voorspellingen.
Het 2-Step Agent raamwerk
Om dit proces te begrijpen, hebben de auteurs het arxiv.org geïntroduceerd. Dit model beschouwt een AI-voorspelling niet enkel als een direct advies, maar ook als een bron van informatie over de trainingsdata en de causale mechanismen die deze data hebben voortgebracht.
Het proces verloopt volgens dit raamwerk in twee fasen. In de eerste fase wordt onderzocht hoe een voorspelling de overtuigingen van een rationele 'Bayesiaanse agent' beïnvloedt. In de tweede fase analyseert het model hoe deze aangepaste overtuigingen vervolgens doorwerken in de schatting van causale effecten, de uiteindelijke keuze voor een nieuwe observatie en de uiteindelijke uitkomst.
Risico's van machine learning-ondersteuning
Een centrale conclusie van het onderzoek is dat ondersteuning door machine learning (ML-DS) niet automatisch leidt tot betere uitkomsten. De onderzoekers stellen dat een enkele onjuiste vooraf ingestelde overtuiging van de gebruiker — een zogenaamde 'misaligned prior belief' — voldoende kan zijn om de resultaten te verslechteren.
Volgens de kan AI-ondersteuning in dergelijke gevallen meer schade aanrichten dan wanneer er helemaal geen ondersteuning zou zijn. Dit gebeurt ondanks het feit dat het prognostische model correct is gespecificeerd en de gebruiker perfect rationeel opereert.
Theoretische en praktische bijdragen
Naast het theoretische model bieden de onderzoekers drie concrete bijdragen. Ze hebben een hanteerbare oplossing gevonden voor het Bayesiaanse inferentieprobleem binnen een multivariate lineair-Gaussische setting. Bovendien hebben ze via experimenten bepaald onder welke specifieke condities AI-ondersteuning wel voordeliger is dan onbegeleide besluitvorming.
Deze bevindingen passen in een breder kader van de integratie van strategische technologieën in de maatschappij. Terwijl initiatieven zoals het europa.eu zich concentreren op de financiering en implementatie van innovaties binnen de Europese Unie, wijst dit onderzoek op de noodzaak van een beter begrip van de interactie tussen mens en machine.
De meest recente versie van het onderzoek, bijgewerkt op , benadrukt dat de effectiviteit van AI-ondersteuning sterk afhankelijk is van de cognitieve startpositie van de gebruiker. De volledige analyse, bestaande uit 39 pagina's, visualiseert via diverse figuren hoe de wisselwerking tussen overtuigingen en uitkomsten functioneert.