De transitie van eenvoudige tekstgeneratie naar autonome systemen in de softwareontwikkeling verloopt moeizaam. Hoewel er een sterke push is richting zogenaamde 'agentic AI', laat praktijkonderzoek zien dat de acceptatiegraad van deze systemen bij professionele programmeurs opvallend laag blijft. Een groot deel van de autonome suggesties wordt in de dagelijkse workflow simpelweg genegeerd of actief afgewezen.
In tegenstelling tot traditionele chatbots, die voornamelijk reageren op prompts, kan een agentic systeem zelfstandig doelen formuleren en acties ondernemen. Volgens een toelichting van agentic.ai kenmerkt deze technologie zich door het vermogen om tools aan te roepen en acties aan te passen in een continue lus. In plaats van enkel tekstuele suggesties te doen, kan een dergelijke AI daadwerkelijk bestanden wijzigen of API's gebruiken om een taak te voltooien. Deze actieve benadering wordt veelvuldig ingezet bij autonome code-reviews, waarbij AI-agenten pull requests analyseren en direct feedback geven op de geschreven code.
Om de effectiviteit van deze aanpak te toetsen, is er een uitgebreide studie uitgevoerd naar de tool CodeRabbit. De resultaten van dit onderzoek, die zijn gepubliceerd via arxiv.org, schetsen een kritisch beeld van de huidige stand van zaken. De onderzoekers analyseerden een dataset van 10.191 pull requests uit 239 verschillende GitHub-repositories, wat resulteerde in een analyse van ruim 31.000 interacties tussen AI-reviews en menselijke ontwikkelaars.
De cijfers tonen aan dat de menselijke acceptatie van AI-feedback beperkt is. Slechts 36,4% van de suggesties werd overgenomen door de ontwikkelaars. Een klein percentage van 7,3% leidde tot een verdere technische discussie, terwijl de overgrote meerderheid — maar liefst 56,3% — resoluut werd afgewezen. Deze hoge afwijzingsgraad wijst op een aanzienlijke kloof tussen de theoretische potentie van agentic systemen en de praktische bruikbaarheid ervan.
De oorzaken voor deze afwijzingen zijn divers. Veel van de suggesties bleken 'false positives' te zijn: aanbevelingen die technisch incorrect waren of simpelweg overbodig. Daarnaast bleken de AI-agenten vaak de context van het project te missen, waardoor suggesties buiten de scope van de specifieke wijziging vielen. De onderzoekers merkten op dat de AI zich sterk richtte op functionele aspecten, terwijl juist deze suggesties vaker ongeldig bleken te zijn. De intentie van de programmeur en de lange-termijn onderhoudbaarheid van de code werden door de systemen onvoldoende meegewogen.
Toch biedt de data ook mogelijkheden voor verbetering. In de publicatie op wordt beschreven hoe er geëxperimenteerd is met Large Language Models (LLM's) om te voorspellen wanneer een review waarschijnlijk zou worden afgewezen. Met lichtgewicht, op leren gebaseerde methoden werd een F1-score van 76% behaald. Dit suggereert dat er herkenbare patronen zijn in foutieve AI-reviews, wat in de toekomst kan helpen om de kwaliteit van de output te filteren voordat deze de ontwikkelaar bereikt.
De conclusie is dat de huidige generatie agentic AI, ondanks de geavanceerde definities van , nog steeds kampt met fundamentele tekortkomingen in precisie en contextueel begrip. Hoewel de technologie de potentie heeft om de snelheid van softwareontwikkeling te verhogen, vormen de huidige foutmarges een aanzienlijke hindernis voor een volledige integratie in professionele omgevingen.