De ontwikkeling van kunstmatige intelligentie richt zich steeds vaker op het uitrusten van Large Language Model (LLM) agenten met zogenaamde 'agent skills'. Dit zijn procedurele kennispakketten die tijdens het proces van inferentie worden toegevoegd om de capaciteiten van de AI bij software engineering-taken te vergroten. Echter, uit recent wetenschappelijk onderzoek blijkt dat de werkelijke nuttigheid van deze methodiek in end-to-end ontwikkelingsomgevingen zeer beperkt is.
Om de effectiviteit van deze vaardigheden te toetsen, hebben onderzoekers de 'SWE-Skills-Bench' ontwikkeld. Deze benchmark is specifiek ontworpen om te kwantificeren in welke mate individuele agent skills de prestaties bij echte software engineering-opdrachten verbeteren. Volgens een publicatie op arxiv.org werden hiervoor 98 publiek beschikbare SWE-skills onderzocht. Elke vaardigheid werd gekoppeld aan een specifieke GitHub-repository, waarbij reproduceerbare omgevingen en uitvoerbare verificateurs werden opgezet. In totaal werden 3.920 evaluaties uitgevoerd over vier verschillende modelconfiguraties om het verschil in resultaat met en zonder deze skills vast te stellen.
De resultaten van de studie, waarvan de laatste revisie op 27 oktober 2026 verscheen, zijn nuchter. De data tonen aan dat de overgrote meerderheid van de geteste vaardigheden geen statistisch significant effect heeft; 92 van de 98 skills bleken ineffectief. De gemiddelde slaagratio steeg door de toevoeging van deze pakketten slechts marginaal, van 76,6% naar 76,9%.
De onderzoekers maakten in hun analyse een onderscheid tussen drie categorieën skills. De 'Golden' skills boden een significante verbetering door procedures aan te leveren die de agent anders zou hebben overgeslagen, met een winst tot 17,7 punten. De grootste groep was de 'Ineffective' categorie, bestaande uit skills zonder merkbaar effect. Tot slot waren er 'Harmful' skills: deze werkten contraproductief omdat de agent te sterk vasthield aan vaste templates, waardoor expliciete instructies werden genegeerd. Dit leidde in sommige gevallen tot een prestatieverlies van wel 17,0 punten.
Terwijl de effectiviteit van kunstmatige vaardigheden voor AI ter discussie staat, is de focus op competenties op de menselijke arbeidsmarkt in 2026 juist toegenomen. In een analyse van theinterviewguys.com wordt gesteld dat 'skills-based hiring' inmiddels de dominante standaard is. Ongeveer 65% van de werkgevers beoordeelt kandidaten nu primair op basis van specifieke competenties in plaats van enkel op basis van diploma's of functietitels.
Voor menselijke professionals blijft het accuraat presenteren van zowel technische 'hard skills' als interpersoonlijke 'soft skills' essentieel. Het gaat hierbij om een balans tussen meetbare vaardigheden, zoals coderen, en cognitieve vermogens zoals kritisch denken. Om op te vallen bij recruiters adviseert indeed.com om de vaardighedenlijst op een cv nauwgezet af te stemmen op de specifieke vacaturetekst. Dit helpt om de unieke kwalificaties en de professionele identiteit van de kandidaat beter te benadrukken.
De conclusie voor de verdere ontwikkeling van AI-agenten is dat het simpelweg 'injecteren' van procedurele kennis niet de optimale oplossing is voor software engineering. De minimale impact van de meeste pakketten en het risico dat sommige skills instructies overschrijven, wijzen op de noodzaak voor een meer genuanceerde aanpak bij het uitrusten van LLM-agenten met gespecialiseerde kennis.