Onderzoekers hebben een nieuwe techniek ontwikkeld waarmee taalmodellen hun vaardigheden in open gesprekken kunnen verbeteren zonder dat daarvoor direct menselijke feedback of live interacties nodig zijn. De methode richt zich op het voorspellen van toekomstige reacties van gebruikers om de kwaliteit van antwoorden te valideren.
Het verbeteren van kunstmatige intelligentie (AI) in open dialoogvormen is complexer dan in vakgebieden zoals wiskunde of programmeren. In die technische disciplines is er namelijk een objectieve waarheid: een code werkt of werkt niet, en een wiskundige som is correct of incorrect. Bij een gesprek is dit echter anders. Wanneer een AI-assistent een antwoord aanpast, verandert daarmee ook de reactie van de gebruiker, waardoor traditionele feedbackmechanismen vaak onbetrouwbaar zijn.
Het probleem van counterfactuele responsen
In een wetenschappelijk artikel dat onlangs werd gepubliceerd via arxiv.org, leggen auteurs ChaoJin Zhao en Xuan Jiang uit dat zelfevolutie van taalmodellen normaal gesproken een stabiel validatiesignaal vereist. In open gesprekken is zo'n signaal problematisch omdat een gelogde reactie van een gebruiker niet direct kan worden gebruikt om een alternatief, 'counterfactueel' antwoord te beoordelen. Als de assistent iets anders had gezegd, zou de gebruiker waarschijnlijk anders hebben gereageerd.
Om dit op te lossen, stellen de onderzoekers een systeem voor dat zij "future-feedback skill evolution" noemen. In plaats van het model simpelweg te trainen om het 'juiste' antwoord te geven, wordt de focus verlegd. Het model moet nu voorspellen of een specifiek antwoord zal leiden tot een positief of negatief signaal van de gebruiker in de toekomst.
Verifieerbare optimalisatie offline
Door de taak te transformeren naar een voorspellingsvraag, wordt het proces verifieerbaar op basis van bestaande, vastgelegde gegevens. Dit betekent dat de optimalisatie van de vaardigheden van het model kan plaatsvinden in een offline fase. Volgens de publicatie op voorkomt deze aanpak dat elk kandidaat-model direct in live verkeer moet worden getest, wat risico's voor de gebruikerservaring vermindert en de reproduceerbaarheid van de resultaten vergroot.
De ontwikkelde 'feedback-vaardigheid' stelt het model in staat om interpreteerbare criteria vast te stellen voor de kwaliteit van een respons. Deze criteria kunnen vervolgens worden gebruikt als diagnostisch instrument om de algemene antwoordvaardigheden van de AI verder te verfijnen.
Resultaten in de praktijk
De effectiviteit van deze methode is getest op een specifieke dataset van een verkoopassistent, waarbij strikte privacyregels werden gehanteerd. Door gebruik te maken van zorgvuldige kwaliteitsfiltering en een gebalanceerde verdeling tussen opgeloste en onopgeloste kwesties, behaalde het systeem een voorspellingsnauwkeurigheid van meer dan 75%.
De onderzoekers benadrukken in hun rapport op echter dat deze methode niet bedoeld is als volledige vervanging voor menselijke evaluatie of online testen. In plaats daarvan dient het als een efficiënte offline optimalisatiefase die de basis legt voor betere interacties.
Context en technische positionering
Het onderzoek valt binnen de bredere categorieën van computationele taalwetenschap, kunstmatige intelligentie en machine learning. Door de grens tussen observationele verificatie en counterfactuele validiteit scherp te definiëren, bieden Zhao en Jiang een kader waarmee 'bevroren' taalmodellen toch kunnen evolueren zonder dat de onderliggende architectuur volledig opnieuw getraind moet worden.
De volledige details van de methodologie en de experimentele resultaten zijn terug te vinden in de technische documentatie op , waar de auteurs ook ingaan op de implementatie van textual skills als een lichtgewicht methode voor agent-verbetering.