Binnen de ontwikkeling van kunstmatige intelligentie worden Large Language Models (LLM's) in toenemende mate ingezet als onafhankelijke beoordelaars, ook wel 'judges' genoemd, om de kwaliteit van outputs van andere modellen te toetsen. Een aanzienlijk knelpunt bij deze praktijk is de variabiliteit van de oordelen. Het is vaak onduidelijk of inconsistente antwoorden bij herhaalde vragen het gevolg zijn van toevallige variatie, ook wel sampling noise genoemd, of dat de specifieke formulering van de opdracht, de prompt, de oorzaak is.
Volgens een wetenschappelijke publicatie op arxiv.org worden LLM-beoordelaars in de huidige praktijk vaak getest met een beperkt aantal herhalingen en slechts één enkele prompt. De onderzoekers, waaronder Pengbin Feng, stellen dat de veelgebruikte 'plug-in estimator' om instabiliteit te meten onbetrouwbaar is wanneer er een beperkt budget aan testruns beschikbaar is. Deze traditionele benadering vertoont een opwaartse bias, waardoor de instabiliteit van een prompt systematisch wordt overschat. De methode slaagt er namelijk niet in om de ruis van herhaalde aanroepen te scheiden van de variatie die ontstaat bij het wijzigen van prompts.
Om dit probleem aan te pakken, hebben de auteurs een theoretisch kader ontwikkeld dat zij de "second-order response law" noemen. In deze context verwijst de term thefreedictionary.com naar de tweede orde van de respons-wetmatigheid, waarmee de distributie van oordelen binnen een vastgestelde prompt-strategie wordt geformaliseerd. Door de implementatie van onbevooroordeelde schatters kunnen onderzoekers nu de werkelijke instabiliteit van een prompt isoleren van de inherente ruis van het model.
Het framework maakt dit mogelijk door het verschil te berekenen tussen de overeenstemming binnen één enkele prompt en de overeenstemming over verschillende prompts heen. Door een specifiek ontwerp te gebruiken waarbij prompts en de volgorde van antwoorden worden gekruist, kunnen bovendien interactie-effecten en variaties in de volgorde worden geïsoleerd. Deze methodiek biedt een nauwkeuriger beeld van hoe robuust een prompt daadwerkelijk is.
De effectiviteit van deze nieuwe aanpak is gevalideerd via een studie naar het Qwen-model. De resultaten tonen aan dat de gecorrigeerde schattingen bij een laag aantal herhalingen aanzienlijk dichter bij de referentiewaarden liggen — die zijn gemeten met 16 herhalingen — dan de traditionele plug-in schattingen. De meest prominente verbeteringen werden waargenomen in scenario's met een zeer beperkt aantal test-aanroepen. Daarnaast is er een panelonderzoek uitgevoerd naar vier verschillende 'frozen' configuraties van AI-beoordelaars. Hieruit bleek dat de inflatie in de foutmarges per configuratie verschilt, wat onderstreept dat prompt-robuustheid per specifiek model moet worden bepaald.
Deze bevindingen, zoals beschreven in het onderzoek op , zijn van groot belang voor de validiteit van AI-benchmarks. Wanneer de instabiliteit van een prompt onjuist wordt ingeschat, kunnen de conclusies over de kwaliteit van een AI-model onjuist zijn. Door een strikt onderscheid te maken tussen ruis en prompt-instabiliteit, kunnen ontwikkelaars hun prompts effectiever optimaliseren voor consistentere resultaten.
Het volledige theoretische kader en de wiskundige onderbouwing van de onbevooroordeelde schatters zijn terug te vinden in de , waarin ook de simulaties worden besproken die de voorspelde inflatie van traditionele meetmethoden bevestigen.