Wetenschappers hebben een methode ontwikkeld die kunstmatige intelligentie in staat stelt om analogieën beter te begrijpen en op te lossen. Door transformer-modellen te trainen met specifieke kopieertaken, kunnen deze systemen kennis effectiever overdragen van de ene situatie naar de andere. Dit proces van analogisch redeneren is een fundamenteel onderdeel van de menselijke intelligentie, maar bleek voorheen een aanzienlijke uitdaging voor AI.
In een wetenschappelijke publicatie via arxiv.org beschrijven onderzoekers, waaronder Philipp Hellwig, Willem Zuidema, Claire E. Stevenson en Martha Lewis, hoe zij transformer-architecturen hebben getraind om dit proces te beheersen. De focus van het onderzoek lag hierbij op analogieën met letterreeksen. Om de prestaties van de modellen te optimaliseren, maakten de auteurs gebruik van een specifieke techniek die bekendstaat als Meta-Learning for Compositionality (MLC).
Een cruciale bevinding uit het onderzoek is dat het aanleren van analogieën met letterreeksen eenvoudiger verloopt wanneer modellen worden gestuurd naar de meest informatieve elementen van een probleem. Dit wordt bereikt door kopieertaken te integreren in de trainingsdata. Door het model eerst te leren hoe informatie simpelweg gereproduceerd moet worden, ontstaat er een basis die essentieel is voor het begrijpen van complexere analogieën. Daarnaast blijkt uit de dat de generalisatie naar nieuwe alfabetten sterk verbetert wanneer de gebruikte datasets heterogener zijn; een grotere variatie in data helpt het model dus beter om te gaan met onbekende tekens.
De technische resultaten zijn opvallend. Een relatief compact model, opgebouwd uit een encoder-decoder structuur met drie lagen, wist prestaties te leveren die vergelijkbaar zijn met die van de meest geavanceerde 'frontier models' op de gebruikte datasets. Volgens de stelt de MLC-benadering het model in staat om te generaliseren naar combinaties van transformaties die het reeds kent. Desondanks blijven volledig nieuwe transformaties een obstakel, aangezien het model deze nog niet zelfstandig kan afleiden.
Om de interne werking van de transformer te doorgronden, hebben de onderzoekers een algoritme geïdentificeerd dat de berekeningen van het model benadert. Via interpretatieanalyses konden zij aantonen dat de aandachtsgewichten op het niveau van de 'heads' een causale invloed hebben op de uiteindelijke output. Dit stelt wetenschappers in staat om het model gericht te sturen tussen verschillende analogie-taken. Het onderzoek is inmiddels geaccepteerd voor de conferentie COLM 2026.
Bij de bespreking van deze technologie is het van belang om een strikt onderscheid te maken tussen verschillende types 'transformers'. Waar het bovenstaande onderzoek betrekking heeft op de computationele architectuur in machine learning, bestaat er in de elektrotechniek een geheel andere vorm van transformator. Zo legt plcblog.in uit dat een elektrische transformator gebruikmaakt van elektromagnetische inductie om voltages in elektrische circuits te verhogen of te verlagen. Hoewel beide concepten dezelfde term gebruiken, gaat het bij de ene om informatieverwerking en bij de andere om de overdracht van elektrische energie.
De resultaten van het onderzoek suggereren dat het bewust toevoegen van eenvoudige tussenstappen, zoals het kopiëren van data, de weg kan vrijmaken voor AI-systemen die werkelijk in staat zijn tot abstract en complex redeneren.