Onderzoekers hebben een zelf-evoluerende AI-agent ontwikkeld die in staat is om foutieve diagnoses in de Traditionele Chinese Geneeskunde (TCM) te herkennen en te corrigeren. Het systeem leert specifiek van casussen waarbij eerdere behandelingen faalden, om zo toekomstige medische misslagen te voorkomen.
In de Traditionele Chinese Geneeskunde is het proces van 'syndroomdifferentiatie' (bianzheng) cruciaal. Dit is de stap waarbij de bevindingen van een patiënt worden gekoppeld aan een specifiek TCM-syndroom. Wanneer deze diagnose onjuist is, volgt onvermijdelijk een ongepaste behandeling. Volgens een recent onderzoek gepubliceerd op arxiv.org komt een dergelijke fout vaak pas aan het licht nadat de voorgeschreven therapie geen resultaat heeft geboekt of de situatie verslechtert.
De uitdaging van foutieve diagnoses
Een van de grootste complexiteiten bij het corrigeren van een misdiagnose is dat de volgende arts een patiënt ziet wiens conditie al is beïnvloed door de verkeerde therapie. De arts moet niet alleen de huidige staat van de patiënt vaststellen, maar ook de fout van de vorige behandelaar identificeren en voorkomen dat de mislukte therapeutische richting wordt voortgezet.
Om dit probleem aan te pakken, hebben Ye Wang en collega-onderzoekers een interactieve benchmark ontwikkeld genaamd TCM-MisDx. Deze benchmark bestaat uit 820 consultaties die volgen op een mislukte behandeling. De data voor deze benchmark zijn afkomstig van drie gepubliceerde monografieën die specifiek gericht zijn op casussen van misdiagnoses binnen de TCM, zoals beschreven in de publicatie op .
Een zelf-evoluerend systeem: TCM-SEA
De kern van het onderzoek is de introductie van TCM-SEA, een zogenaamde 'self-evolving consultation agent'. Deze AI-agent verzamelt symptomen en analyseert de tong en pols via de vier traditionele diagnostische methoden. Op basis hiervan rapporteert de agent het huidige syndroom, de initiële fout van de vorige arts en een gecorrigeerd behandelplan.
Wat TCM-SEA onderscheidt van standaard AI-modellen, is het vermogen om zijn eigen klinische vaardigheidsdocumenten te herschrijven. Wanneer een consultatie mislukt, vergelijkt de agent zijn eigen analyse met de documentatie van een expert-arts. De agent stelt vervolgens een minimale aanpassing voor in zijn eigen instructies. Deze wijziging wordt enkel definitief doorgevoerd als deze een 'acceptatiepoort' passeert, waarbij wordt getest of de aanpassing ook op andere casussen (zowel bekende als onbekende) effectief is. Opvallend is dat het onderliggende taalmodel zelf niet wordt bijgewerkt; de verbetering vindt plaats in de instructies die het model volgt, zoals vermeld door .
Resultaten en klinische impact
De effectiviteit van TCM-SEA is getest op een afgesloten testset, waarbij significante verbeteringen werden gemeten:
* De composite score steeg van 61,8 naar 65,5.
* De nauwkeurigheid van het syndroom verbeterde van 53,9% naar 57,2%.
* De nauwkeurigheid van het behandelprincipe steeg van 44,7% naar 48,9%.
Daarnaast slaagde het systeem erin de zogenaamde 'therapeutic momentum rate' te verlagen. Dit is het percentage correctieve plannen die onbedoeld de foutieve richting van de eerste arts voortzetten. Deze rate daalde van 44,1% naar 38,2%, wat wijst op een beter vermogen van de AI om radicaal te breken met een foutieve behandelstrategie.
Het onderzoek concludeert dat leren van expertcasussen effectiever is dan enkel leren van uitkomstfeedback. De grootste winst werd behaald bij casussen die specifiek over ongepaste behandelingen gingen. De door de AI gegenereerde aanpassingen bleken korte, voor mensen leesbare klinische checklists te zijn, waardoor artsen de logica van de AI direct kunnen controleren en auditeren, aldus de details op .