Onderzoekers van Boston College hebben aangetoond dat geavanceerde taalmodellen in staat zijn om complexe, fysieke laboratoriumtaken uit te voeren. Met behulp van een nieuw ontwikkeld systeem genaamd 'quailbot' slaagden AI-agenten erin om zelfstandig de naald van een scanning tunneling microscoop (STM) te conditioneren, een proces dat normaal gesproken intensieve menselijke expertise vereist.
Het voorbereiden van de tip van een scanning tunneling microscoop is een kritieke stap in nanoscopie. Omdat de STM beelden op atomair niveau maakt, moet de punt van de sonde perfect gevormd zijn. Wanneer deze punt bot wordt of beschadigd raakt, worden de beelden onbruikbaar. Traditioneel is dit een proces van vallen en opstaan, waarbij menselijke experts indirecte aanwijzingen gebruiken om de onzichtbare toestand van de tip te raden en bij te sturen.
De introductie van quailbot
Om dit proces te automatiseren, hebben Siyu Cheng, Muxian Xu, Christopher Candelora en Ilija Zeljkovic een systeem ontwikkeld dat zij bb84.ai noemen. Dit systeem fungeert als een interface die een Large Language Model (LLM) direct koppelt aan de feedbackloop van het instrument. Hierdoor kan de AI-agent instrumentparameters lezen, acties uitvoeren en direct de reactie van de microscoop observeren.
De training van de AI verliep via een vorm van 'leerlingschap'. Een menselijke expert leerde de agent specifieke technieken, zoals het toepassen van voltagespulsen voor reiniging en het schudden van de tip om de vorm te herstellen. Daarnaast leerde de agent het onderscheid maken tussen een vervuilde ondergrond en een defecte tip. Volgens een publicatie op arxiv.org stelde dit de agenten in staat om fysieke interventies te koppelen aan experimentele readbacks.
Resultaten en autonome prestaties
Na deze korte trainingsperiode werden de LLM-agenten volledig zelfstandig ingezet. Twee verschillende frontier-modellen slaagden erin om vanuit een startprompt, zonder verdere menselijke hulp, meetklare tips te leveren. In één van de gevallen werd de taak voltooid in 70,8 minuten. De resultaten werden vervolgens onafhankelijk geverifieerd, waarbij werd bevestigd dat de AI-agenten scherpe atomaire patronen hadden gegenereerd.
De robuustheid van het systeem werd verder getest door mechanische problemen te simuleren. In een scenario waarbij een onderdeel van de microscoop (de 'coarse walker') vastliep, merkte de AI op dat de bewegingen niet naar behoren verliepen. De agent paste de strategie aan door kleinere stappen te nemen en vaker de resultaten te controleren, wat uiteindelijk alsnog leidde tot een succesvolle conditionering, zoals beschreven door gist.science.
Beperkingen en 'onmodeleerde' staten
Ondanks de successen legde het onderzoek ook de grenzen van de huidige AI-autonomie bloot. De onderzoekers ontdekten dat agenten worstelen met situaties waarin de fysieke toestand van het instrument niet in hun model voorkomt of onzichtbaar is.
In een test waarbij de onderzoekers stiekem de tip fysiek hadden verbogen, merkte de AI wel dat er iets mis was door plotselinge pieken in de stroom. De agent probeerde bekende herstelmethoden, maar kon de oorzaak — de fysieke buiging — niet identificeren omdat deze informatie niet beschikbaar was in de digitale feedback. Een ander voorbeeld was een vervuild monster; de AI stelde voor de tip te vervangen, terwijl de oplossing simpelweg het fysiek roteren van de monsterhouder was. Omdat dit een handmatige actie is die niet via software kan worden aangestuurd, bleef de AI steken tot een mens ingreep.
De conclusie van de onderzoekers, zoals vermeld in de , is dat toekomstige autonome systemen beter moeten worden in het afleiden van verborgen experimentele staten en het nauwkeurig bijhouden van wat elke actie daadwerkelijk verandert binnen de fysieke beperkingen van een instrument.