Wetenschappers hebben een innovatief evaluatiekader genaamd RegretBench ontwikkeld om de interactie tussen grote taalmodellen (LLM's) en gebruikers te optimaliseren. Het systeem richt zich specifiek op situaties waarin gebruikersverzoeken ambigu zijn, waardoor de AI-assistent moet beslissen of en hoe er om extra informatie gevraagd moet worden om tot het juiste antwoord te komen.
Het proces van verduidelijking wordt in dit onderzoek beschouwd als een complex sequentieel beslissingsprobleem. Een model moet namelijk voortdurend afwegen of een vraag noodzakelijk is, welke formulering het meest effectief is en op welk moment er voldoende informatie is verzameld om een definitief antwoord te formuleren. In plaats van enkel de kwaliteit van een losse vraag te beoordelen, kijkt RegretBench naar het gedrag van het model over meerdere interactierondes.
Volgens een wetenschappelijke publicatie op arxiv.org verschuift dit kader de focus naar de zogenaamde 'clarification policy'. Dit betekent dat niet de individuele vraag centraal staat, maar het volledige traject van de communicatie. Door de intentie van de gebruiker initieel verborgen te houden, wordt het model gedwongen om via semantische staatstracking en vrije interactie de werkelijke behoefte van de gebruiker te achterhalen.
Een kernaspect van deze methodiek is de introductie van een 'regret-based objective'. In de context van AI-evaluatie wordt hiermee gemeten hoeveel waarde of efficiëntie een model verliest in vergelijking met een ideale referentie voor verduidelijking. Hoewel de term 'regret' in deze technische setting over computationele optimalisatie gaat, is het concept van spijt in menselijke zin een complex psychologisch proces. Zo beschrijft verywellmind.com hoe mensen omgaan met spijt als een emotionele reactie op keuzes uit het verleden, wat een scherp contrast vormt met de wiskundige benadering van 'regret' in machine learning.
De onderzoekers, waaronder Preslav Nakov en Minh Ngoc Ta, hebben hun systeem getest binnen scenario's voor productaanbevelingen en open-domein vraag-en-antwoord sessies. De resultaten, zoals uiteengezet in de , tonen aan dat het enkel meten van het uiteindelijke succes — of het model uiteindelijk het juiste antwoord geeft — een onvolledig beeld geeft van de kwaliteit van een assistent.
Uit de experimenten blijkt dat modellen met een vergelijkbare eindnauwkeurigheid sterk kunnen verschillen in hun efficiëntie en robuustheid. Sommige modellen zijn bijvoorbeeld minder effectief in het bepalen van het juiste moment om te stoppen met vragen stellen, wat kan leiden tot een storende gebruikerservaring. De effectiviteit van een AI-assistent hangt dus niet alleen af van het correcte antwoord, maar van de balans tussen intentie-resolutie en de kosten van de interactie.
Door parameters zoals ineffectieve verduidelijkingen en interactiekosten gezamenlijk te analyseren, biedt een completer inzicht in de functionering van LLM's. Dit stelt ontwikkelaars in staat om modellen te creëren die sneller tot de kern van de zaak komen zonder de gebruiker onnodig te belasten met overbodige vragen. Het volledige onderzoek is beschikbaar via de , waar het is gecategoriseerd onder kunstmatige intelligentie en computationele taalwetenschap.