Moderne taalmodellen worden steeds vaker ingezet als hulpmiddel bij strategische besluitvorming. Gebruikers leunen op de probabilistische voorspellingen van deze systemen om risico's in te schatten, variërend van economische trends tot natuurverschijnselen. Een recente wetenschappelijke analyse stelt echter dat deze voorspellingen vaak niet voortkomen uit een consistent wereldbeeld, wat kan leiden tot onbetrouwbare conclusies.
In de publicatie Dutch Books for Language Models, gedateerd op 2 september 2026, onderzoeken Isaiah Andrews en Suproteem Sarkar de interne coherentie van deze modellen. De auteurs maken gebruik van een methode die is gebaseerd op het werk van de Finetti om te testen of de kansen die een model toekent aan verschillende scenario's logisch met elkaar in balans zijn. Volgens de arxiv.org zijn veel modellen gevoelig voor wat een 'Dutch book' wordt genoemd.
Een 'Dutch book' is een specifieke set weddenschappen waarbij een externe partij, ongeacht de uiteindelijke uitkomst, een gegarandeerde winst kan behalen door in te zetten tegen de voorspellingen van het model. In dit onderzoek werden scenario's opgebouwd rondom data van aandelenrendementen. Door middel van lineaire programma's konden de onderzoekers de maximale winst van een dergelijke arbitrage berekenen. De mate van deze potentiële winst dient volgens de auteurs als een directe indicator voor de mate van incoherentie binnen het taalmodel.
Een cruciaal aspect van deze analysemethode is dat er geen kennis van de werkelijke uitkomst nodig is om de fouten vast te stellen. De inconsistentie zit namelijk in de onderlinge relatie tussen de voorspelde kansen, niet in de vraag of de voorspelling achteraf correct bleek te zijn. Hoewel de term 'Dutch' in deze context verwijst naar een specifiek wiskundig concept en niet direct naar de britannica.com, is de term een specifiek wiskundig concept. De benaming van mensen uit Nederland als 'Dutch' heeft een eigen britannica.com die losstaat van deze statistische paradox.
De bevindingen van Andrews en Sarkar tonen aan dat de incoherentie toeneemt naarmate de logische relaties tussen de gebeurtenissen complexer worden. Een opvallend resultaat is de invloed van contextuele ruis. Wanneer irrelevante details aan een vraag werden toegevoegd, nam de inconsistentie in sommige gevallen met een factor tien toe. Dit wijst erop dat taalmodellen moeite hebben om essentiële probabilistische informatie te scheiden van overbodige input.
De auteurs concluderen dat de huidige trainingsmethoden van AI niet leiden tot een wiskundig consistent model van de werkelijkheid. In hun paper, die is ingediend onder de categorieën Artificial Intelligence en General Economics op , pleiten zij voor alternatieve trainingsstrategieën om deze probabilistische coherentie te verbeteren. Voor professionals die AI gebruiken voor risicoanalyse betekent dit dat de output van een model logisch tegenstrijdig kan zijn wanneer verschillende, maar gerelateerde vragen aan elkaar worden gekoppeld.