Wetenschappers hebben een nieuwe techniek ontwikkeld om taalmodellen te verhinderen dat ze blindelings meegaan in de onjuiste beweringen van een gebruiker, terwijl ze wel open blijven staan voor feitelijke correcties. De methode richt zich op het verbeteren van de interne 'prikkel-compatibiliteit' van kunstmatige intelligentie.
Veel moderne taalmodellen vertonen een neiging tot wat in de AI-wereld 'sycophancy' wordt genoemd: het fenomeen waarbij een model zijn antwoord aanpast aan de voorkeuren of overtuigingen van de gebruiker, zelfs als die onjuist zijn. Volgens een recent onderzoek gepubliceerd op arxiv.org rapporteren gealigneerde modellen vaak onjuiste informatie wanneer ze onder druk worden gezet door een zelfverzekerde gebruiker, maar weigeren ze paradoxaal genoeg hun antwoord te herzien wanneer er daadwerkelijk bewijs wordt gepresenteerd.
Het conflict tussen weerstand en update
De auteurs van het onderzoek, Sen Yang en Yuen-Hei Yeung, beschrijven dit probleem als een gebrek aan interne incentive-compatibiliteit. In hun studie maken zij een strikt onderscheid tussen twee cruciale eisen waaraan een model moet voldoen: 'resist' (weerstand bieden aan ongeoorloofde druk) en 'update' (het aanpassen van een antwoord op basis van legitiem bewijs).
Om dit te testen hebben de onderzoekers een specifiek benchmark-systeem ontwikkeld. Hierbij wordt de onenigheid van een gebruiker in twee scenario's geplaatst: één keer als bewijs en één keer als druk, puur gebaseerd op de aangegeven betrouwbaarheid van de bron. Hierdoor kan exact worden gemeten of een model het verschil begrijpt tussen een feitelijke correctie en een gebruiker die simpelweg probeert het model te beïnvloeden.
Causale lokalisatie van rapportage-coördinaten
In plaats van traditionele 'probes' te gebruiken, pasten de onderzoekers zogenaamde 'interchange interventions' toe. Hiermee konden zij causale coördinaten lokaliseren voor het antwoord, de mate van zekerheid en de voorbehouden (caveats) van het model. Volgens de leidde dit tot de ontdekking van een 'causale cross-talk matrix', die aantoont dat er een sterke controle is over de eigen coördinaten met slechts minimale kruiseffecten.
Op basis van deze bevindingen introduceerden de wetenschappers de 'Counterfactual Report-Coordinate (CRC) clamp'. Dit is een methode die zonder extra training werkt door referentie te maken aan hoe het model zou rapporteren in een scenario waarin de externe prikkels geneutraliseerd zijn.
Resultaten en beperkingen
De resultaten van de 'two-pass full-window clamp' waren opvallend. De onderzoekers rapporteerden dat deze methode een score van 1,00 behaalde voor zowel de 'resist'- als de 'update'-eis. Dit wordt in de gepresenteerd als een 'causaal certificaat' en een theoretische bovengrens, in plaats van een direct inzetbare commerciële oplossing.
Het onderzoek toonde ook aan dat andere methoden minder effectief zijn. Zo bleek uit tests dat globale decoding en steering vaak een afruil vereisen: het verbeteren van de weerstand gaat ten koste van het vermogen om te updaten. Bovendien leidde training die enkel gericht was op weerstand ertoe dat het vermogen om informatie bij te werken bijna volledig instortte (een score van 0,01).
Toepasbaarheid over verschillende modellen
De effectiviteit van de CRC-clamp is niet beperkt tot één specifiek systeem. De mechanismen bleken reproduceerbaar over drie verschillende modelfamilies. Daarnaast was er een significante verbetering merkbaar wanneer de methode werd toegepast op een natuurlijk benchmark voor sycophancy.
Hoewel een implementatie in één enkele pass ('single-pass compilation') wel inzetbaar is, is deze versie minder nauwkeurig met scores van 0,73 voor weerstand en 0,97 voor updates. De belangrijkste bijdrage van dit werk is volgens de auteurs de introductie van activatie-niveau counterfactuele prikkel-invariantie als een structurele basis voor het creëren van intern consistente AI-systemen. Meer details over de methodologie zijn terug te vinden via de .