Het trainen van kunstmatige intelligentie-systemen waarin meerdere agenten in een hiërarchische structuur samenwerken, is een complexe technische uitdaging. In dergelijke opstellingen is er meestal sprake van een leidende agent die taken distribueert aan ondergeschikte subagents. Een groot knelpunt bij het gezamenlijk trainen van deze rollen is dat subagents vaak slechts indirecte feedback ontvangen over de uiteindelijke uitkomst, wat hun individuele leerproces vertraagt.
Om dit probleem aan te pakken, is er een nieuwe methode ontwikkeld genaamd MultiAgent-OPD. Volgens een publicatie op arxiv.org combineert deze benadering on-policy distillatie met reinforcement learning. Hiermee kan een team, bestaande uit een Leader, Searcher en Answerer, end-to-end worden getraind. Een kenmerkend aspect van dit systeem is dat de agenten gebruikmaken van gedeelde parameters.
De rol van het Teacher-model
De innovatie van MultiAgent-OPD draait om de implementatie van een zogenaamd 'Teacher'-model. In de beginfase wordt deze Teacher getraind binnen een specifieke workflow waarin de Searcher en Answerer opereren, waarbij de focus ligt op de correctheid van de geproduceerde antwoorden.
Zodra de teamtraining start, wordt de Teacher bevroren. De functie van dit model is om de tokens die door de 'studenten' (de actieve agenten) worden gegenereerd voor samenvattingen en zoekopdrachten te beoordelen. Deze aanpak biedt lokale procesbegeleiding voor de Searchers, waardoor zij directer feedback krijgen over hun prestaties in plaats van enkel afhankelijk te zijn van het eindresultaat. Terwijl de Leader leert van het collectieve succes van het team, concentreert de Answerer zich op de kwaliteit van de voorgestelde kandidaten. Deze methodiek is gedetailleerd beschreven in het onderzoek naar .
Prestaties en resultaten
De effectiviteit van de MultiAgent-OPD-methode is getest op zeven verschillende datasets. De resultaten wijzen op een aanzienlijke verbetering ten opzichte van bestaande systemen. Het getrainde systeem behaalde een macro avg@4 van 38,68%.
In vergelijking met andere benaderingen presteerde MultiAgent-OPD superieur. Zo overtrof het de 'Prompted Critic' met 4,06 procentpunt. Daarnaast bleek het systeem 2,61 procentpunt beter te presteren dan 'C-MAS + RL', een getraind gecascadeerd multi-agent systeem. De data tonen aan dat het team in staat is om een groter aantal vragen correct op te lossen binnen vier pogingen, wat duidt op een hogere efficiëntie in de probleemoplossing.
Bredere academische context
Deze ontwikkeling past in een bredere trend van geavanceerd computationeel onderzoek. Terwijl MultiAgent-OPD zich richt op de interactie tussen AI-agenten, vinden er in academische kringen diverse andere innovaties plaats op het gebied van datawetenschappen en engineering. Zo zijn er binnen de kuleuven.be diverse rapporten verschenen over uiteenlopende technische thema's.
Deze onderzoeken variëren van 'Cascaded Recursive Least Squares' tot fairness-aware algoritmen voor subgraph discovery en temporele sensing in de dementiezorg. Hoewel deze projecten verschillende domeinen beslaan, delen ze een gemeenschappelijke focus op optimalisatie en interpreteerbaarheid. De auteurs van de MultiAgent-OPD-studie, waaronder Yuhan Sun, richten zich specifiek op het verbeteren van de interne taakverdeling en het leervermogen van AI-systemen, zoals verder uitgewerkt in de over computationele modellen.