De opkomst van agentic AI-systemen, die autonoom acties kunnen ondernemen in plaats van enkel voorspellingen te doen, zou kunnen leiden tot onbeheersbare risico's binnen de financiële sector. Een nieuw onderzoek waarschuwt dat de afhankelijkheid van gedeelde AI-infrastructuren het risico op een systeemcrisis vergroot.
Financiële stabiliteit is traditioneel gebaseerd op het principe dat problemen bij individuele instellingen vaak incidenteel zijn. Wanneer één organisatie een fout maakt, kan de rest van het systeem deze schok doorgaans absorberen. Volgens een wetenschappelijk artikel van Sriram Nagaraj en Seung Jung Lee, gepubliceerd op arxiv.org, vervalt deze premisse echter wanneer een groot aantal besluitvormers afhankelijk wordt van dezelfde technologische infrastructuur.
Van modelrisico naar systemisch risico
In de huidige financiële wereld verschuift de aandacht van het zogenaamde 'modelrisico' — het risico dat één specifieke implementatie van een model faalt — naar 'systemisch risico'. Dit gebeurt doordat agentic AI-systemen steeds vaker als basislaag voor financiële operaties dienen. In tegenstelling tot traditionele generatieve AI, zoals chatbots, zijn agentic AI-systemen in staat om complexe, meerstaps workflows te automatiseren en daadwerkelijke acties uit te voeren, zoals beschreven in een analyse van MIT Sloan.
De onderzoekers Nagaraj en Lee stellen in hun publicatie op dat wanneer een vloot van financiële actoren hetzelfde basismodel (foundation model) gebruikt, er sprake is van een niet-diversifieerbare blootstelling. Dit betekent dat het risico niet simpelweg kan worden weggewerkt door de schaal van de vloot te vergroten; er blijft een bodem van verwacht verlies bestaan die onafhankelijk is van de grootte van de groep.
De beperkingen van detectie en controle
Het onderzoek analyseert deze dynamiek via zes verschillende wiskundige scenario's. Hierbij komt naar voren dat runtime-beveiligingen, oftewel 'guardrails', beperkt effectief zijn. De auteurs concluderen dat de systematische component van agentic risico niet kan worden gedetecteerd of ongedaan gemaakt zodra een actie is uitgevoerd.
Enkele kernpunten uit het onderzoek op zijn:
* Onomkeerbaarheid: Acties die door AI-agenten worden ondernomen, kunnen vaak niet worden onderschept of teruggedraaid door menselijke controleurs.
* Besmettingsgevaar: Er bestaat een drempelwaarde waarbij fouten in het gedeelde model kunnen leiden tot een kettingreactie of besmetting binnen het gehele financiële systeem.
* Wapenwedloop: De capaciteiten van AI worden in het onderzoek behandeld als een variabele in een voortdurende wapenwedloop, wat verdere instabiliteit kan veroorzaken.
Structurele preventie als enige oplossing
De conclusie van de onderzoekers is dat traditionele risicobeheersing, zoals het monitoren van fouten achteraf of het inzetten van detectiesystemen, onvoldoende is om de stabiliteit te waarborgen. Volgens de publicatie op is uitsluitend ex-ante structurele preventie — het voorkomen van risico's voordat ze ontstaan door de architectuur van het systeem aan te passen — in staat om dit systemische risico effectief aan te pakken.
Terwijl organisaties AI-agenten implementeren om efficiëntie te verhogen, waarschuwen experts dat de integratie van deze systemen in de kern van de financiële infrastructuur een nieuwe vorm van kwetsbaarheid creëert die fundamenteel verschilt van eerdere technologische risico's.