⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Nieuwe methode LEAF-OPD verbetert het gericht wissen van kennis in taalmodellen

Nieuwe methode LEAF-OPD verbetert het gericht wissen van kennis in taalmodellen

Onderzoekers hebben een nieuwe techniek ontwikkeld genaamd LEAF-OPD, die grote taalmodellen (LLM's) in staat stelt om specifieke informatie effectief te 'vergeten' zonder dat dit ten koste gaat van hun algemene bruikbaarheid.

Het proces van unlearning in grote taalmodellen is een groeiende uitdaging binnen de kunstmatige intelligentie. Het doel is om gerichte kennis uit een model te wissen, terwijl de overige functies en vaardigheden behouden blijven. Volgens een recent wetenschappelijk rapport dat op 16 november 2026 werd gepubliceerd via arxiv.org, schieten veel huidige methoden tekort omdat ze informatie wel onderdrukken, maar het model niet expliciet leren hoe het moet reageren wanneer een gebruiker naar die gewiste informatie vraagt.

De werking van LEAF-OPD

De voorgestelde methode, LEAF-OPD (LEArning to Forget from Privileged Contexts via On-Policy Distillation), maakt gebruik van een systeem met een 'leraar' en een 'student'. In dit proces fungeert een bevroren leraar-model als gids die supervisie biedt op het niveau van individuele tokens voor de reacties die door het student-model worden gegenereerd.

Het onderscheidende kenmerk van deze aanpak is het gebruik van zogenaamde 'geprivilegieerde contexten'. Wanneer het model data moet vergeten, krijgt de leraar specifieke instructies om het student-model te begeleiden bij het weigeren van de informatie. Bij data die juist behouden moet blijven, biedt de leraar supervisie zonder deze extra context, zodat de algemene nuttigheid van het model gewaarborgd blijft. Het student-model leert in beide scenario's te opereren zonder deze geprivilegieerde context, waardoor het autonoom leert hoe het moet reageren op vragen over kennis die gewist had moeten worden.

Overwinning van supervisie-uitdagingen

Een belangrijk technisch probleem dat de onderzoekers identificeerden, is dat de leraar vaak alleen effectieve correcties geeft bij de eerste paar tokens van een reactie. Om dit te analyseren en op te lossen, introduceerden de auteurs van het onderzoek op het 'Supervision Signal' (SS). Hiermee wordt de correctieve supervisie over een bepaald interval gemeten, waarbij zowel de volledige trajectorie (SS1) als de tweede helft daarvan (SS0.5) worden geëvalueerd.

Wanneer bleek dat de supervisie te zwak was, maakten de onderzoekers gebruik van een lichtgewicht Supervised Fine-Tuning (SFT). Deze stap versterkt het weigergedrag van de leraar op basis van de context, wat leidde tot een aanzienlijke stijging van de SS-scores.

Resultaten en benchmarks

De effectiviteit van LEAF-OPD is getest op drie gangbare benchmarks: TOFU, RWKU en MUSE-News. De resultaten, zoals beschreven in de publicatie op , tonen significante verbeteringen aan:

  • TOFU: Op deze benchmark behaalde LEAF-OPD de beste scores op het gebied van 'Forget Quality', 'Model Utility' en 'Forget ROUGE-L', terwijl de prestaties voor het behouden van kennis concurrerend bleven.
  • RWKU: Hier presteerde de methode 34% beter in 'Forget Quality' dan de op één na beste methode, zonder dat dit ten koste ging van de 'Retain Quality'.

Deze resultaten onderstrepen dat on-policy token-level distillatie in combinatie met geprivilegieerde contexten een superieure manier is om ongewenste kennis uit LLM's te verwijderen.

Het onderzoek is geschreven door een team van experts, waaronder Zirui Pang, Zhijie Deng, Yuancheng Wang, Qihan Yu, Xin Li, Jiaheng Wei en Zixin Zhong, en is gecategoriseerd onder 'Computation and Language' op het platform .

Geraadpleegde bronnen
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!