Steeds meer mensen gebruiken AI-chatbots als steun bij mentale problemen. Maar hoe veilig is dat eigenlijk? Een nieuwe studie waarschuwt: als de belangrijke informatie niet in één bericht komt, maar verspreid over een gesprek — zoals in het echte leven — missen de systemen regelmatig acute crisissituaties.
Dat blijkt uit onderzoek gepubliceerd op arxiv.org.
Dertien chatbots, 112 casussen
De onderzoekers testten dertien prominente AI-chatbots met 112 casussen die door clinici waren gevalideerd. De urgentie liep uiteen van routinezorg tot acute noodsituaties. Elke chatbot voerde gesprekken van tien beurten met gesimuleerde gebruikers, zodat de kwaliteit van de triage kon worden beoordeeld.
Het verschil tussen de twee scenario's was opvallend. Wanneer alle relevante details in één enkel bericht stonden, herkenden de systemen de noodsituaties in de meeste gevallen wél. Maar in natuurlijke, gesimuleerde gesprekken steeg het percentage gemiste noodsituaties naar 20,3%. Kortom: ongeveer één op de vijf acute crises werd niet correct geïdentificeerd.
Het anker dat niet loslaat
Het opvallende: de data was er wél. Tegen het einde van de gesprekken waren de cruciale feiten meestal bij de chatbot bekend. Het probleem zit elders — in wat de onderzoekers 'pad-afhankelijkheid' noemen.
Vroeg in het gesprek vormt de AI een initiële inschatting. Die werkt daarna als een anker voor de rest van de interactie. Concludeert de chatbot in de beginfase onterecht dat er geen crisis is, dan wordt dat oordeel zelden herzien. Zelfs niet wanneer gaandeweg steeds meer bewijs voor een noodsituatie op tafel komt. Het gevolg: een gevaarlijke starheid in de beoordeling.
🧠 Even simpel uitgelegd
Stel dat je een detective bent die in de eerste minuut van een zaak besluit: "Hier is niets aan de hand." Daarna negeer je alle nieuwe aanwijzingen die het tegendeel bewijzen, omdat je al een conclusie hebt getrokken. Dat doet een AI-chatbot ook: zijn eerste indruk bepaalt welke vragen hij daarna stelt — en die vragen leveren precies de informatie op die bij die eerste (foutieve) indruk past. Zo blijft hij in een verkeerde spoor zitten, ook als de situatie levensgevaarlijk is.
Stereotype vragen in een vicieuze cirkel
Naast die cognitieve bias vertoonden de chatbots nog een gebrek: weinig flexibiliteit. Menselijke clinici passen hun aanpak aan op basis van nieuwe informatie. De AI-systemen daarentegen vertoonden perseveratie — ze stelden herhaaldelijk soortgelijke, stereotype vragen, zonder rekening te houden met wat de gebruiker intussen vertelde.
Omdat de vragen worden gestuurd door het lopende — en vaak foutieve — oordeel, ontstaat er een vicieuze cirkel. De AI stelt alleen vragen die passen bij de initiële inschatting. Kritieke informatie wordt daardoor genegeerd of gewoon niet opgehaald.
Waarom benchmarks dit over het hoofd zien
Pas bij evaluaties met meerdere beurten (multi-turn) wordt de onbetrouwbaarheid van de triage zichtbaar. Precies daarom zijn deze bevindingen cruciaal voor de ontwikkeling van veiligere systemen in de consumentengezondheidszorg.
Organisaties zoals path.org zetten zich breed in voor de versterking van gezondheidssystemen en digitale zorg. Dit onderzoek laat zien welke specifieke technische hindernissen er nog liggen voordat AI veilig kan worden ingezet in klinische contexten. Volgens de resultaten is er een dringende noodzaak voor mitigatiestrategieën — om te voorkomen dat AI-systemen blind worden voor escalerende crises middenin een gesprek.