Onderzoekers hebben een nieuwe techniek ontwikkeld genaamd Knowledge Fermentation (KF), die kunstmatige intelligentie helpt om effectiever te leren van een zeer beperkt aantal voorbeelden. De methode richt zich op het begrijpen van variatie binnen klassen om overfitting te voorkomen.
In de wereld van machine learning is 'few-shot classification' een grote uitdaging. Dit proces houdt in dat een model nieuwe categorieën moet leren herkennen op basis van slechts enkele gelabelde voorbeelden. Traditionele methoden, zoals prototype-regels en lineaire probes, kampen vaak met overfitting in dit scenario met weinig data. De reden hiervoor is dat een classifier weliswaar kan bepalen waar een klasse zich bevindt in de kenmerkruimte, maar niet begrijpt hoe die klasse varieert.
Het mechanisme van Knowledge Fermentation
Om dit probleem op te lossen, hebben Ali Mohammadi Ruzbahani, Abbas Yazdinejad en Hadis Karimipour de methode Knowledge Fermentation geïntroduceerd. Volgens een publicatie op arxiv.org stelt KF het model in staat om zogenaamde 'tweede-orde kennis' te herstellen. Dit gebeurt door klassen informatie te laten uitwisselen over hun variatie.
In dit proces fungeren de residuen rondom klasse-prototypes als dragers. De variantie van elke richting wordt gemeten op klassen die zelf geen deel hebben genomen aan de schatting ervan. Richtingen die boven het niveau van het omringende medium uitstijgen, definiëren een gestructureerde ruis. Deze ruis werkt op een lineaire classifier als een gesloten vorm van geometrische verandering. De training van de classifier gebeurt via een convex doelwit, waarbij de ruissterkte wordt gekalibreerd op basis van de afstanden tussen de prototypes.
Resultaten en prestaties
De effectiviteit van Knowledge Fermentation is getest op 14 verschillende datasets uit de domeinen visie en taal, gebruikmakend van acht bevroren encoders. Uit de resultaten op blijkt dat KF, zelfs met vaste constanten, concurreert met de beste van zes getunede inductieve baselines.
Een significante verbetering is zichtbaar wanneer ongelabelde voorbeelden worden toegevoegd als dragers in herhaalde rondes. In deze transductieve setting steeg de gemiddelde nauwkeurigheid bij 'one-shot classification' van 52,4% naar 65,8%. De onderzoekers stellen dat KF de hoogste gemiddelde nauwkeurigheid behaalde onder negen transductieve methoden, waarbij vooral de winst bij visuele encoders opviel. Voor sentence encoders bleef informatie-maximalisatie echter de superieure methode.
Theoretische onderbouwing
De auteurs van het onderzoek bieden diverse bewijzen voor de stabiliteit van hun methode. Zo wordt gesteld dat de uitgesloten varianties onbevooroordeeld zijn voor de richtingen waarop ze worden gemeten. Daarnaast tonen zij aan dat de 'gefermenteerde kaart' nooit een richting uitbreidt en dat demping veroorzaakt door foutieve toewijzingen zichzelf beperkt.
Gecontroleerde studies wijzen uit dat de prestatiewinst direct gerelateerd is aan de geometrie op taakniveau. De verbetering groeit naarmate de klassen binnen een taak meer gedeelde binnenklasse-variatie vertonen.
Het onderzoek naar Knowledge Fermentation is op 16 november 2026 ingediend bij en valt onder de categorie Informatietheorie. Hoewel andere bronnen zoals merriam-webster.com geen specifieke technische details over dit algoritme bevatten, onderstreept de publicatie de voortdurende zoektocht naar efficiëntere manieren om AI-modellen te trainen met minimale menselijke annotatie.