← Terug
Onderzoek naar het automatisch extraheren van vaardigheden voor AI-agenten uit productiedata

Onderzoek naar het automatisch extraheren van vaardigheden voor AI-agenten uit productiedata

Onderzoekers hebben een methode ontwikkeld om de capaciteiten van AI-agenten in zakelijke omgevingen te optimaliseren door vaardigheden automatisch te extraheren. In plaats van handmatige programmering, waarbij instructies door mensen worden geschreven, richt deze benadering zich op het afleiden van procedurele stappen uit digitale sporen die een agent achterlaat tijdens het uitvoeren van taken.

Volgens een publicatie op arxiv.org van 5 oktober 2026 analyseren wetenschappers, waaronder Colton Mikolajczyk en Yue Ran Kang, het concept van 'skill-mining'. Dit proces is bedoeld om de tijdrovende en foutgevoelige handmatige curatie van AI-vaardigheden te vervangen. Veel huidige systemen voor het minen van vaardigheden leunen op feedback of bekende resultaten om de constructie van deze vaardigheden te sturen, maar in praktijksituaties is informatie over het succes van een specifieke actie niet altijd beschikbaar.

Het onderzoeksteam heeft verschillende variabelen onderzocht om te bepalen wat de prestaties van agenten beïnvloedt. Hierbij keken zij naar de vorm van de geëxtraheerde vaardigheden, de toegang tot succes- of faalgegevens en de wijze waarop de uitvoeringssporen werden gesampled. De onderzoekers maakten hierbij een onderscheid tussen twee vormen van vaardigheidsrepresentatie: een declaratieve ontologie van beleidsregels, staten en entiteiten, en een geordend workflowplan.

Om de effectiviteit van deze methoden te toetsen, werden de benchmarks APEX-Agents en ThinkingBox-Bench gebruikt. De resultaten wijzen uit dat er geen universele methode is die in elk domein superieur is. Op de ThinkingBox-Bench bleken workflows effectiever dan ontologieën, met een verschil van 1,7 procentpunt. Bovendien presteerde de zogenaamde 'Goldilocks'-bewijsvoering 2,4 procentpunt beter dan methoden die enkel op succesvolle runs waren gebaseerd. Wanneer er helemaal geen labels over de uitkomst beschikbaar waren, daalde de score met 3,1 procentpunt. Bij de APEX-Agents benchmark was er echter een lichte voorkeur voor ontologieën, terwijl de keuze voor een specifiek bewijsvoeringsregime minder impact had.

De conclusie van de auteurs is dat meta-vaardigheden nauwkeurig moeten worden afgestemd op de specifieke eisen van de doeltaken. De term 'mining' wordt in dit informatica-onderzoek gebruikt voor het digitaal onttrekken van waardevolle patronen uit grote hoeveelheden data. Dit staat in contrast met de traditionele betekenis van het woord. Zo beschrijft nationalgeographic.org mijnbouw als het proces waarbij nuttige materialen, zoals ijzererts, goud of koper, uit de bodem worden gewonnen.

Ook vanuit een technologisch perspectief is extractie een breed begrip. Volgens britannica.com omvat mijnbouw de volledige reeks activiteiten om mineralen en andere geologische materialen uit de aarde te halen. Hoewel de fysieke winning van mineralen en het digitale minen van AI-vaardigheden totaal verschillende disciplines zijn, delen ze het fundamentele principe van het scheiden van waardevolle informatie of materialen van onbruikbare reststoffen.

Het onderzoek naar AI-agenten onderstreept dat de kwaliteit van de input en de gekozen extractiemethode cruciaal zijn voor het eindresultaat. De volledige analyse, inclusief uitgebreide tabellen en figuren, is terug te vinden in het volledige document op .

Lees origineel artikel — Nieuws
Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!