Onderzoekers hebben een nieuwe techniek ontwikkeld genaamd 'ExecJudges', waarmee grote taalmodellen (LLM's) niet langer zelf documenten beoordelen, maar in plaats daarvan programma's schrijven die deze taak automatisch en efficiënt overnemen.
In de wereld van informatie-extractie en het evalueren van zoeksystemen is het gebruik van LLM's als 'rechters' een gangbare praktijk geworden. Deze modellen worden ingezet om op grote schaal te bepalen of een document relevant is voor een specifieke zoekopdracht. Hoewel dit effectief is, brengt het aanzienlijke nadelen met zich mee. Volgens een recent onderzoek gepubliceerd op arxiv.org zijn deze beoordelingen vaak duur omdat elke individuele check een aanroep naar een geavanceerd model vereist. Daarnaast zijn de beslissingen van AI-rechters moeilijk te interpreteren en niet altijd reproduceerbaar.
De werking van ExecJudges
Om deze problemen op te lossen, stellen Eugene Agichtein en zijn collega's de methode ExecJudges voor. In plaats van dat een AI-model elk document afzonderlijk beoordeelt, wordt het model gebruikt om een leesbaar en uitvoerbaar computerprogramma te schrijven voor elk specifiek onderwerp. Een computerprogramma wordt in deze context gedefinieerd als een reeks instructies die een computer kan uitvoeren om een specifieke operatie te voltooien, zoals beschreven in het cambridge.org.
De door ExecJudges gegenereerde programma's maken gebruik van eenvoudige technieken zoals lexicale matching, standaard NLP-bibliotheken (zoals parsers) en poolstatistieken. Hierdoor verschuift de rol van de AI van een actieve beoordelaar naar een programmeur die de richtlijnen voor beoordeling vertaalt naar code.
Prestaties en nauwkeurigheid
De onderzoekers hebben de effectiviteit van ExecJudges getest op zeven verschillende TREC-collecties. Hierbij werd de output vergeleken met labels van getrainde NIST-beoordelaars, frontier LLM-rechters en specifieke classifiers per onderwerp. Uit de resultaten blijkt dat ExecJudges op de TREC DL 2019-2021 collecties een overeenstemming met NIST-beoordelaars vertoont die vergelijkbaar is met die van het Claude Sonnet 5.5 model, zoals vermeld in de .
Bovendien is er een variant ontwikkeld, ExecJudges-L, die gebruikmaakt van menselijke labels indien deze beschikbaar zijn. Deze variant presteerde op alle zeven geteste collecties beter dan traditionele per-topic classifiers. De overeenstemming met NIST-beoordelaars was in dit geval ofwel hoger dan die van LLM-rechters met dezelfde labels, ofwel bevond deze zich binnen een marge van 0,05 in de Krippendorff's alpha-meting, volgens de .
Kostenbesparing en transparantie
Een van de meest prominente voordelen van deze aanpak is de drastische verlaging van de kosten. Waar traditionele LLM-beoordelingen per document geld kosten, brengt ExecJudges slechts een eenmalige investering met zich mee voor het schrijven van het programma. De kosten hiervoor liggen tussen de 0,17 en 0,49 dollar per onderwerp, waarna het daadwerkelijk labelen van documenten geen extra kosten meer veroorzaakt, aldus de .
Naast de financiële winst biedt de methode ook meer transparantie. Omdat de output een programma is in plaats van een 'black box' beslissing van een neuraal netwerk, zijn de criteria voor relevantie inspecteerbaar en consistent. De labels rangschikten de officiële TREC DL-runs met een Kendall's tau van 0,87 tot 0,94, wat wijst op een hoge mate van betrouwbaarheid.
De conclusie van de onderzoekers is dat ExecJudges een reproduceerbaar, inspecteerbaar en kosteneffectief alternatief biedt voor het labelen van diepe resultatenpools, wat essentieel is voor het verbeteren van rankingsystemen en systeemevaluaties in de informatietechnologie, zoals beschreven in de .