Onderzoek naar kleine taalmodellen (SLM's) op apparaten toont aan dat continue verbetering via dagelijkse gebruikersfeedback complex is. Hoewel modellen in theorie kunnen groeien door nachtelijke updates, bestaat er een significant risico op prestatieverlies wanneer de feedbackmechanismen onjuiste conclusies trekken.
In een recent wetenschappelijk onderzoek, gepubliceerd op 18 november 2026, is gekeken naar de mogelijkheden en beperkingen van kleine taalmodellen die on-device leren van hun eigen dagelijkse werkzaamheden. De focus lag op het proces waarbij modellen 's nachts worden bijgeschaafd op basis van interacties uit de voorgaande dag. Volgens de publicatie op arxiv.org is de kernvraag hoe een model bepaalt welke pogingen waardevol genoeg zijn om van te leren, zeker wanneer er geen objectieve 'ware uitkomst' beschikbaar is.
Experimentele opzet en methodiek
De onderzoeker, Sirisilp Kongsilp, maakte gebruik van de Qwen3-modellen in de varianten 0,6B en 1,7B. Om het leerproces te faciliteren werd gebruikgemaakt van een LoRA-adapter, waarmee het model elke nacht kon worden gefinetuned op basis van pogingen die door een 'judge' (beoordelaar) werden geaccepteerd.
Het onderzoek besloeg een uitgebreide periode, waarbij 127 verschillende 'levens' van het model werden gesimuleerd over een tijdsspanne van maximaal een jaar. Hierbij werden de benchmarks WebShop en $\tau^2$-bench gebruikt om de prestaties te meten. Er werd geëxperimenteerd met drie versies van een zogenaamde 'feedback sense' — een apart, bevroren mechanisme dat de reacties van de gebruiker analyseert om te bepalen of een taak succesvol was.
De valkuil van gebruikersfeedback
Een cruciaal onderdeel van de bevindingen is de onbetrouwbaarheid van menselijke reacties. Het onderzoek op laat zien dat zowel het eigen oordeel van het model als de reactie van de gebruiker foutief kunnen zijn.
Er werden verschillende scenario's getest:
- Oppervlakkige interpretatie: Een systeem dat beleefde opgaves van de AI simpelweg als succes interpreteerde, leidde tot een totale instorting in drie van de vijf geteste scenario's.
- Discernment (Onderscheidingsvermogen): Een geavanceerdere benadering, die eerst controleerde of de gebruiker een duidelijk oordeel had geveld, wist vier van de vijf scenario's gedurende twee weken dicht bij het ideale niveau (de 'oracle') te houden. Echter, na 60 dagen zakte ook dit systeem terug naar het niveau van eenvoudige zelfbeoordeling door een gebrek aan zuivere leerlessen.
Blindheid voor resultaten
Een bijzonder problematisch scenario doet zich voor wanneer de gebruiker de uiteindelijke uitkomst van een actie niet kan zien, zoals bij de $\tau^2$-bench. In deze gevallen kon de 'feedback sense' de reacties van de gebruiker wel correct lezen, maar bleek 80% van de lessen die het model daaruit trok in werkelijkheid mislukkingen te zijn. De gebruiker bedankte de AI namelijk voor de inspanning, terwijl het resultaat feitelijk onjuist was.
De data tonen een sterke correlatie tussen het aandeel mislukte pogingen in de leerlessen en de uiteindelijke uitkomst, met een Spearman $\rho$ van -0,81 over 97 geteste levens.
Conclusie over modeldegradatie
De resultaten suggereren dat leren van gebruikers alleen effectief is onder strikte voorwaarden. Volgens de analyse van werkt dit enkel wanneer de beoordelaar in staat is om mislukkingen consequent uit te filteren en wanneer de gebruiker daadwerkelijk inzicht heeft in de uitkomst van de taak. Zonder deze waarborgen kunnen 'scheve' lessen ertoe leiden dat het model niet alleen degradeert, maar mogelijk ook in zijn functionele breedte wordt beperkt.
Hoewel andere platforms zoals bbc.com zich richten op het menselijk leren van talen, benadrukt dit AI-onderzoek dat voor machines het proces van 'leren door onderscheidingsvermogen' uiterst fragiel is en gevoelig voor ruis in de feedbackloop.