AI-agenten worden vaak neergezet als de toekomst van de chemie: systemen die zelfstandig moleculen optimaliseren voor nieuwe materialen en medicijnen. Maar klopt dat beeld wel? Nieuw onderzoek suggereert dat deze agenten vooral heel goed zijn in één ding: informatie uit hun trainingsdata terugzoeken.
Wat zijn AI-agenten eigenlijk? Het zijn systemen die autonoom doelen nastreven: ze maken plannen, nemen beslissingen en roepen daarbij tools aan, met een intern geheugen en redeneervermogen, zoals uiteengezet door google.com. Ze onderscheiden zich van traditionele AI-assistenten doordat ze complete workflows uitvoeren en interactie hebben met hun omgeving. Volgens ibcom is juist die combinatie van planning en redenering wat agentic AI definieert.
Een nieuw onderzoek, gepubliceerd via arxiv.org, zet echter vraagtekens bij de effectiviteit van deze agenten in de chemie. De onderzoekers, waaronder Jiayu Qin, analyseerden wat er feitelijk gebeurt wanneer een agent moleculen optimaliseert met een beperkt aantal testpogingen. Specifiek keken ze naar de interactie tussen de agent en de 'oracle': het systeem dat de kwaliteit van een molecuul beoordeelt.
De onthullende test
De meest opvallende bevinding kwam uit een test met een GPT-4o mini-agent op de PMO-benchmark. Toen de onderzoekers de namen van de specifieke taken en de referentieverbindingen weglaat, kelderde de prestatie (gemeten in sum AUC) van 14,44 naar 4,85. De conclusie dringt zich op: de agent lost het chemische probleem niet echt op. Hij herkent vooral welke taak er wordt gevraagd en haalt vervolgens de juiste informatie uit zijn geheugen.
Om die hypothese te testen, bouwden de onderzoekers een eenvoudige baseline die uitsluitend deterministisch informatie ophaalt — zonder Large Language Model (LLM). Die basismethode scoorde 12,16. Ter vergelijking: die simpele retrieval-methode was goed voor ongeveer 84% van de prestaties van de volledige AI-agent. De vermeende 'intelligentie' van de agent lijkt in dit scenario dus grotendeels geavanceerde database-opvraag.
Ook eiwitten: eenvoud wint vaak
De onderzoekers deden bovendien een test met benchmarks voor eiwitten, met een AutoDock Vina-composite oracle. Daaruit bleek dat een 'single-edit random walk' — een methode die willekeurige kleine wijzigingen aan een molecuul aanbrengt — een sterke ondergrens vormde. Deze eenvoudige aanpak behaalde over drie herhaalde runs een composite score van 0,636 +/- 0,008.
Er was ook goed nieuws voor de agenten: een 'population agent', die geen retrieval gebruikt, presteerde beter dan REINVENT bij een gematcht budget van 50 aanroepen, met het sterkste resultaat bij 100 aanroepen.
Oproep tot strengere tests
De auteurs concluderen dat de intelligentie van AI-agenten in moleculaire benchmarks vaak wordt overschat. Ze pleiten voor strengere controles in toekomstig onderzoek: prompts die retrieval bemoeilijken en een 'random-walk floor' als ondergrens. Zo kan duidelijk worden of een AI-agent daadwerkelijk nieuwe chemische inzichten genereert — of gewoon efficiënt zoekt in bestaande data.
🧠 Even simpel uitgelegd
Stel dat een student een wiskundetoets lijkt te halen met een 9. Maar als je de vragen een beetje anders formuleert, zakt die naar een 4. Dan bleek de student de sommen niet echt te begrijpen — hij herkende ze alleen uit zijn oefenboek. Zo werkt het ook met deze AI-agenten: ze lijken moleculen slim te 'ontwerpen', maar mogelijk halen ze vooral bekende antwoorden op uit de data waarmee ze zijn getraind. Het nieuwe onderzoek testte dat door de hints weg te nemen — en toen stortten de prestaties in.