Wetenschappers hebben een nieuw systeem genaamd Attune ontwikkeld om de tekortkomingen van grote taalmodellen (LLM's) bij het beoordelen van grote hoeveelheden tekstgegevens aan te pakken. Waar traditionele AI-modellen vaak moeite hebben met consistentie en een holistisch overzicht bij het toekennen van scores, probeert dit nieuwe framework de kloof tussen geautomatiseerde processen en menselijk inzicht te overbruggen.
Volgens een wetenschappelijke publicatie via arxiv.org schieten huidige methoden vaak tekort wanneer ze records individueel scoren zonder rekening te houden met de onderlinge samenhang. Attune lost dit op door een proces van 'mixed-initiative steering' te implementeren. In plaats van direct een cijfer te geven, voert het systeem eerst paarsgewijze vergelijkingen uit tussen verschillende teksten. Door vast te stellen welk document superieur is aan een ander, bouwt de AI een globaal begrip van de gehele dataset op, waarna de uiteindelijke scores consistent worden afgeleid.
Een essentieel kenmerk van Attune is de transparantie. De scoringcriteria worden 'bottom-up' gegenereerd vanuit de data zelf, waardoor de logica achter een score niet langer verborgen blijft in een zogenaamde 'black-box'. Gebruikers kunnen actief ingrijpen in dit proces. Op basis van een formatieve studie met twaalf deelnemers is een interface ontwikkeld waarmee experts de logica kunnen inspecteren en bijsturen. Dit kan gebeuren door het toevoegen van specifieke voorbeelden, het handmatig aanpassen van de afgeleide regels, of het wijzigen van de gewenste scoreverdeling via feedback in natuurlijke taal.
De effectiviteit van het systeem is getoetst via technische evaluaties over drie verschillende workloads. Daarnaast is er een gebruikersstudie uitgevoerd met acht domeinexperts uit diverse sectoren, waaronder het onderwijs, de juridische wereld, de gezondheidszorg en AI-evaluatie. Het onderzoek is ingediend bij de ACM UIST 2026, een conferentie die zich richt op de interactie tussen mens en computer. De volledige technische details zijn terug te vinden in de .
Vanwege de naam 'Attune' kan er verwarring ontstaan met commerciële producten of diensten. Zo is er een verzekeringsplatform genaamd attuneinsurance.com, maar dit staat volledig los van het academische AI-project. Evenzo is er in de medische sector een jnjmedtech.com van J&J MedTech, wat een fysiek medisch hulpmiddel betreft en geen relatie heeft met de beschreven software voor tekstscoring.
Door de integratie van menselijke controle en deterministische verfijning streeft het project ernaar de betrouwbaarheid van grootschalige geautomatiseerde beoordelingen te verhogen. De focus ligt hierbij op een proces waarbij de menselijke expert de uiteindelijke controle behoudt over de logica van het taalmodel.