Een team van onderzoekers heeft Xcientist ontwikkeld, een zogenaamd 'research harness' dat het proces van wetenschappelijke synthese en validatie door AI-systemen externaliseert. Hiermee wordt gepoogd de vaak onzichtbare redeneringen van AI-modellen om te zetten in controleerbare en traceerbare stappen.
Binnen de ontwikkeling van AI-gestuurde wetenschap is een hardnekkig probleem dat de logica achter een ontdekking vaak verborgen blijft. Hoewel AI-systemen in staat zijn om wetenschappelijke workflows te automatiseren, vindt de koppeling tussen bestaand bewijs, nieuwe ideeën, experimenten en de uiteindelijke conclusies meestal plaats binnen de interne inferentie van het model. Dit maakt het voor menselijke wetenschappers moeilijk om exact te achterhalen hoe een AI tot een bepaalde claim is gekomen.
De werking van Xcientist
Om dit gebrek aan transparantie aan te pakken, introduceert een groep wetenschappers onder leiding van Zijian Wang het systeem Xcientist. Volgens de publicatie op arxiv.org fungeert dit framework als een structuur die onderzoekssynthese en experimentele validatie omzet in processen die zowel inspecteerbaar als gebonden zijn aan strikte contracten.
Xcientist werkt door verschillende elementen van het onderzoeksproces vast te leggen als persistente 'onderzoeksartefacten'. Hieronder vallen onder andere:
- Bewijslast uit bestaande literatuur;
- De verschillende stadia van ideeontwikkeling;
- Concrete plannen voor implementatie;
- Verslagen van ablatie-studies;
- Sporen van herstelwerkzaamheden (repair traces).
Door deze informatie extern op te slaan, kunnen gegenereerde mechanismen worden getoetst, uitgevoerd en herzien zonder dat de oorspronkelijke bewijsvoering verloren gaat. Dit voorkomt dat een AI-model tijdens het optimalisatieproces de verbinding met de feitelijke basis verliest.
Het probleem van 'claim drift'
Een cruciale bijdrage van het onderzoek is de identificatie van een specifiek falen in geautomatiseerd onderzoek, dat de auteurs 'claim drift' noemen. In een wordt uitgelegd dat dit fenomeen optreedt wanneer de uiteindelijke, uitvoerbare artefacten (zoals code of een model) niet langer de oorspronkelijke wetenschappelijke claim ondersteunen. In feite wijkt de praktische uitwerking af van de theoretische onderbouwing, waardoor de wetenschappelijke integriteit van het resultaat in gevaar komt.
Xcientist is ontworpen om deze drift tegen te gaan door een traceerbaar traject te bewaken, vanaf de formulering van het probleem tot aan het ontwerp van het mechanisme en de uiteindelijke validatie.
Toepassingen en resultaten
De effectiviteit van het framework is getest op diverse complexe domeinen. Volgens de is Xcientist succesvol toegepast op:
1. Geheugensystemen die geen extra training vereisen (training-free memory systems);
2. Verkeersvoorspellingen op basis van grafiekstructuren;
3. Multi-scale physics-informed neural networks.
In al deze gevallen slaagde het systeem erin om de trajecten van synthese en validatie transparant te houden, wat leidde tot resultaten die binnen bepaalde grenzen konden worden herzien en geverifieerd.
Een nieuwe standaard voor AI-evaluatie
De auteurs van het onderzoek pleiten voor een fundamentele verschuiving in hoe we 'AI-wetenschappers' beoordelen. In plaats van enkel te kijken naar het eindproduct — zoals een werkend algoritme of een publicatie — stellen zij voor dat de evaluatie zich moet richten op het proces.
Volgens de moeten AI-systemen worden beoordeeld op de vraag of hun synthese- en validatieprocessen toerekenbaar, inspecteerbaar en wetenschappelijk verantwoord zijn. Hiermee wordt de nadruk verlegd van puur resultaatgericht werken naar een methodologie die voldoet aan de traditionele standaarden van de wetenschappelijke methode.
Het volledige document, dat bestaat uit 66 pagina's met uitgebreide tabellen en figuren, is beschikbaar via de onder de sectie Artificial Intelligence.