Het proces van fenotype-annotatie, waarbij biologische kenmerken uit vrije tekst worden gekoppeld aan gestandaardiseerde ontologietermen, is van essentieel belang voor het integreren van morfologische gegevens. Tot op heden vormde deze taak echter een aanzienlijke hindernis in de wetenschappelijke dataverwerking. Omdat het proces een hoge mate van expertise vereist en zeer arbeidsintensief is, bleef de schaalbaarheid van dergelijke analyses beperkt tot de beschikbaarheid van hoogopgeleide menselijke specialisten.
In een recente wetenschappelijke publicatie hebben onderzoekers James P. Balhoff en Hilmar Lapp onderzocht of de nieuwste generatie Large Language Models (LLM's) dit proces kunnen automatiseren. Volgens de arxiv.org kunnen deze modellen prestaties leveren die zeer dicht liggen bij die van menselijke experts, zonder dat dit ten koste gaat van de nauwkeurigheid.
De inzet van agentische curatie
In plaats van de taalmodellen enkel als eenvoudige chatbots te gebruiken, hebben de onderzoekers gekozen voor een aanpak met zogenaamde "agentic curators". Hierbij werden vijf verschillende geavanceerde modellen van OpenAI en Anthropic ingezet als autonome agenten. Elke agent opereerde binnen een eigen digitale omgeving waarin zij toegang hadden tot alle noodzakelijke instrumenten om de taak correct uit te voeren.
Om de kwaliteit van de annotaties te waarborgen, kregen de AI-agenten toegang tot specifieke bronnen. Dit omvatte de originele PDF-bestanden van de publicaties, de officiële annotatiehandleidingen die ook door mensen worden gebruikt, en vier centrale project-ontologieën: UBERON, PATO, BSPO en GO. Daarnaast werd er gebruikgemaakt van een validatiescript om de uiteindelijke resultaten te controleren, zoals beschreven in de .
Vergelijking met menselijke expertise
Om de effectiviteit van de AI te toetsen, werd de output vergeleken met een bestaande 'Gold Standard' van Entity-Quality (EQ) annotaties uit 2018. In die oorspronkelijke studie, uitgevoerd door Dahul et al., bleek dat de consistentie tussen menselijke curatoren aanzienlijk hoger lag dan de consistentie tussen mensen en de Semantic CharaParser, een oudere NLP-tool.
De resultaten van het huidige onderzoek laten echter een verschuiving zien. De geteste AI-agenten presteerden binnen de marges van de variabiliteit die ook tussen drie getrainde menselijke biocuratoren werd waargenomen. Hoewel de beste AI-modellen de absolute top van de menselijke experts nog niet volledig konden overtreffen, benaderden ze dit niveau wel zeer nauwkeurig. Deze bevindingen zijn gedetailleerd uitgewerkt in de .
Een sprong voorwaarts in biologische informatica
De meest significante conclusie uit het onderzoek is de enorme kwaliteitsverbetering ten opzichte van traditionele Natural Language Processing (NLP). De LLM-gebaseerde agenten scoorden op alle vier de gebruikte meetwaarden substantieel beter dan de Semantic CharaParser. Dit wijst erop dat de contextuele intelligentie van moderne taalmodellen veel beter in staat is om complexe biologische beschrijvingen te vertalen naar gestandaardiseerde termen.
Door de inzet van deze AI-agenten kan de ontologie-curatie, die voorheen een knelpunt vormde, nu op veel grotere schaal worden uitgevoerd. Dit maakt een snellere en consistentere integratie van morfologische data over verschillende fylogenetische studies heen mogelijk. Het volledige onderzoek, inclusief de gebruikte evaluatiemethodiek en modeldetails, is raadpleegbaar via de .