Een nieuw wetenschappelijk onderzoek wijst uit dat het identificeren van code-wijzigingen die door AI-agenten zijn aangebracht, uiterst complex is wanneer expliciete labels ontbreken. Hoewel bepaalde patronen in de tekst en de omvang van wijzigingen aanwijzingen geven, blijft een betrouwbare detectie zonder handtekeningen een grote uitdaging.
De integratie van AI-coding agents in de softwareontwikkeling is een feit. Tools zoals Claude Code, Cursor en de coding agent van GitHub Copilot kunnen tegenwoordig direct wijzigingen (commits) doorvoeren in open-source repositories. Tot nu toe vertrouwden onderzoekers bij het analyseren van deze agenten vaak op zogenaamde 'authorship signatures'. Dit zijn herkenbare kenmerken zoals bot-accounts of specifieke vermeldingen in de vorm van 'Co-authored-by' trailers.
Volgens een recent onderzoek gepubliceerd op arxiv.org zijn deze handtekeningen echter problematisch voor wetenschappelijke analyse. De auteurs stellen dat deze labels optioneel zijn, eenvoudig verwijderd kunnen worden en vaak alleen aan pull requests worden gekoppeld in plaats van aan de individuele commits zelf. Hierdoor ontstaat de vraag of AI-gegenereerde code nog wel van menselijke code te onderscheiden is zodra deze labels verdwijnen.
Analyse van miljoenen commits
Om dit vraagstuk te onderzoeken, hebben onderzoekers onder leiding van Kosei Horikawa een omvangrijke dataset geanalyseerd. De studie omvatte maar liefst 7.837.946 commits uit 1.226 verschillende repositories. Hierbij werd gekeken naar vijf verschillende coding agents in vergelijking met menselijke programmeurs.
De resultaten tonen aan dat detectoren in staat zijn om AI-commits te prioriteren boven menselijke commits, met een ROC AUC-waarde tot 0.859. Opvallend is echter waar dit signaal vandaan komt. De onderzoekers merkten op dat de detectie grotendeels gebaseerd is op de uitgebreidheid van de commit-berichten en de omvang van de wijzigingen, en minder op de daadwerkelijke geschreven code zelf.
Beperkingen van huidige detectiemethoden
Ondanks de theoretische scores in bepaalde tests, blijkt de praktische precisie laag. In de volledige testset behaalde de beste detector een precisie van slechts 0,332 bij het huidige aandeel van AI-commits. Dit betekent dat een aanzienlijk deel van de detecties onjuist is.
Bovendien blijkt de overdraagbaarheid van detectiemodellen beperkt. Zo presteerde een TF-IDF-model bij de analyse van Claude Code slechts met een AUC van 0,524, wat nauwelijks beter is dan willekeurig gokken. Het onderzoek, dat op 26 oktober 2026 werd ingediend bij , laat verder zien dat temporele veranderingen per agent verschillen. Terwijl meer trainingsgeschiedenis hielp bij het detecteren van Claude Code, had dit geen effect bij GitHub Copilot.
Implicaties voor software engineering
De conclusies van de studie zijn relevant voor zowel ontwikkelaars als onderzoekers. De auteurs stellen dat handtekening-loze detectie weliswaar kan helpen om commits te prioriteren voor handmatige review, maar dat het nooit een vervanging kan zijn voor een correcte, geregistreerde attributie.
Voor de wetenschappelijke gemeenschap is de waarschuwing duidelijk: studies die uitsluitend vertrouwen op labels en handtekeningen om AI-activiteit in kaart te brengen, meten waarschijnlijk slechts een ondergrens van de werkelijke AI-invloed. Omdat veel AI-commits ongemerkt in repositories terechtkomen zonder bot-label, wordt de impact van AI op open-source software mogelijk structureel onderschat.
Hoewel externe bronnen zoals investopedia.com in deze context geen specifieke technische details over het onderzoek bieden, benadrukt de publicatie op de noodzaak voor robuustere methoden om de herkomst van code te verifiëren in een tijdperk waarin AI-agenten steeds autonomer opereren.