AI-agenten die nieuwe taken oplossen zonder extra training: dat is de belofte van zero-shot reinforcement learning. Tot nu toe ontbrak het vakgebied aan een gemeenschappelijk fundament om de snel groeiende stapel methoden met elkaar te vergelijken. Dat verandert nu.
Jacopo Di Ventura, Jan Felix Kleuker, Aske Plaat en Thomas Moerland presenteren in een [wetenschappelijk artikel op arxiv.org] een formeel, uniform raamwerk. Het maakt voor het eerst een rigoureuze vergelijking mogelijk tussen verschillende zero-shot-benaderingen.
🧠 Even simpel uitgelegd
Gewone AI-agenten leren één taak goed: ze krijgen een beloning (denk aan punten in een spel) en optimaliseren daarvoor. Zero-shot RL gaat een stap verder. De agent leert een soort 'algemene kaart' van zijn omgeving, waarmee hij meteen kan schakelen naar nieuwe doelen — zonder opnieuw te trainen. Vergelijk het met iemand die alle routes in een stad kent: die kan direct naar elk nieuw adres lopen, in plaats van eerst weer weken te oefenen.
Twee niveaus om de methoden te ordenen
Het raamwerk introduceert een taxonomie die het algoritmische landschap op twee niveaus indeelt:
- Representatie: het onderscheid tussen compositionele en directe methoden, gebaseerd op hoe zij decomposities van de actie-waardefunctie gebruiken.
- Leertraject: het onderscheid tussen trainingen die volledig beloningsvrij zijn en trainingen die werken met pseudo-beloningen.
Daarnaast biedt het kader een nieuwe kijk op foutmarges. De totale fout wordt opgesplitst in drie hoofcomponenten: inferentiefouten, beloningsfouten en approximatiefouten. Volgens de auteurs vormt deze decompositie de basis voor een meer gefundeerde vergelijking van zero-shot methoden.
Zero-shot leren is breder dan alleen RL
De zoektocht naar modellen die zonder specifieke training presteren, speelt in meerdere domeinen van de machine learning. In de chemie bijvoorbeeld: het model GIMLET verenigt taalmodellen voor zowel grafiek- als tekstdata, zodat molecuul-gerelateerde taken in een zero-shot setting kunnen worden uitgevoerd, zoals beschreven door neurips.cc.
Ook in de beeldverwerking werd eerder gezocht naar synergie tussen leervormen. Een publicatie over een gecombineerde aanpak voor conventioneel, gegeneraliseerd en few-shot learning introduceerde het concept 'Class Adapting Principal Directions' (CAPD). Dat draagt informatie over van bekende naar onbekende klassen, zoals te lezen in een archiefstuk op arxiv.org.
Van theorie naar praktijk
Naast theoretische kaders worden hybride RL-frameworks al ingezet voor kritieke toepassingen. In de gezondheidszorg is een brein-geïnspireerd systeem ontwikkeld dat model-gebaseerde planning combineert met model-vrije reflexen voor autonome besluitvorming in cognitieve systemen. Volgens een artikel in nature.com is dit systeem gevalideerd met een dataset van cerebrale parese, waarbij externe zero-shot validatie werd toegepast op publieke datasets.
Waar het raamwerk van Di Ventura en collega's de theoretische structuur in kaart brengt, richten andere projecten zich op de implementatie. Op github.com zijn repositories te vinden die specifiek ingaan op compositionele zero-shot learning — precies het representatieniveau dat in het nieuwe uniforme raamwerk wordt beschreven.