Onderzoekers hebben een innovatieve benadering voor 'continual learning' ontwikkeld waarbij AI-modellen nieuwe informatie kunnen verwerken zonder dat hun parameters aangepast hoeven te worden. Deze techniek, genaamd 'continual inference', elimineert het risico op het overschrijven van eerder geleerde kennis.
Binnen de wereld van kunstmatige intelligentie vormt continual learning een aanzienlijke uitdaging. Het doel is om modellen in staat te stellen zich aan te passen aan nieuwe domeinen en klassen, terwijl ze de informatie die ze in het verleden hebben verworven, behouden. Traditionele methoden om dit te bereiken steunen vaak op voortdurende optimalisatie. Hierbij worden technieken zoals regularisatie, replay of de uitbreiding van parameters ingezet om te voorkomen dat nieuwe updates oude kennis wissen, een fenomeen dat bekendstaat als 'catastrofaal vergeten'.
Van training naar inferentie
In een recent onderzoek getiteld "Continual Learning without Continual Training", gepubliceerd op 7 oktober 2026, stellen auteurs Nikita Narayanan, Ritham Majumdarr en Sonali Parbhoo een radicaal alternatief voor. In plaats van het model telkens opnieuw te trainen wanneer er nieuwe data beschikbaar komt, stellen zij voor om continual training te vervangen door wat zij 'continual inference' noemen.
Volgens de publicatie op arxiv.org maken zij hiervoor gebruik van een PFN-gebaseerd model. Dit model wordt in een meta-trainingsfase voorbereid en daarna volledig bevroren. De aanpassing aan nieuwe klassen gebeurt niet via gradiënt-updates van de parameters, maar door het uitbreiden van een zogenaamde 'in-context evidence set'.
De werking van Latent Concept PFN
Het hart van deze nieuwe methode is de 'Latent Concept PFN'. Dit systeem voert Bayesiaanse inferentie uit binnen een latente conceptruimte. Deze ruimte is ontworpen om de semantische structuren vast te leggen die gedeeld worden over verschillende domeinen en klassen.
Wanneer een nieuw domein of een nieuwe klasse wordt geïntroduceerd, gebeurt het volgende:
1. Er worden voorbeelden (exemplaren) toegevoegd aan het geheugen van het model.
2. De aanpassing vindt plaats door de posterior-overtuigingen over de latente concepten bij te werken.
3. Omdat er geen parameters in het model worden gewijzigd, wordt het risico op het vergeten van oude informatie drastisch verminderd.
Volgens de kan deze methode zowel domein- als klassen-incrementeel leren aanpakken, zonder dat er specifieke informatie over de identiteit van de taak nodig is.
Flexibiliteit en interpreteerbaarheid
Een opvallend kenmerk van de Latent Concept PFN is de manier waarop concept-annotaties worden gebruikt. Deze annotaties dienen enkel tijdens de meta-training als een 'zachte ankerplaats' voor de latente ruimte, in plaats van een rigide beperking. Hierdoor is het model in staat om om te gaan met annotaties die ruis bevatten, ambigu zijn of onvolledig zijn. Door conceptlabels te combineren met ruwe input-informatie kan het model onderscheid maken dat verder gaat dan de vooraf gedefinieerde set van concepten.
De resultaten van experimenten op datasets voor incrementeel leren tonen aan dat de methode concurrerend is met bestaande continual learning-systemen. Bovendien leert het model interpreteerbare latente concepten, wat een voordeel biedt ten opzichte van 'black box'-modellen.
De volledige technische details en de resultaten van de experimenten zijn terug te vinden in het . Hoewel andere bronnen zoals collinsdictionary.com geen specifieke technische informatie over dit AI-onderzoek bieden, onderstreept de publicatie de verschuiving in de machine learning-gemeenschap naar efficiëntere manieren van adaptatie zonder constante rekenintensieve hertraining.