De integratie van kunstmatige intelligentie in softwareontwikkelingsprocessen belooft efficiëntie, maar introduceert ook nieuwe veiligheidsrisico's. Uit recent onderzoek blijkt dat geautomatiseerde CI/CD-pipelines, die gebruikmaken van meerdere AI-agenten voor ontwikkeling en beveiliging, vatbaar zijn voor geraffineerde manipulatietechnieken. Aanvallers kunnen beveiligingscontroles omzeilen door schadelijke code te presenteren als legitieme functionaliteit, ondersteund door fictieve referenties naar goedkeuringen.
In een studie naar agentische workflows analyseerde onderzoeker Yohann Sidot hoe een complex systeem van vijf verschillende Large Language Models (LLM's), afkomstig van drie verschillende providers, kan worden misleid. De onderzochte pipeline simuleert een professionele workflow met stappen voor triage, ontwikkeling, beveiligingsscanning, review en uiteindelijke goedkeuring. Volgens de publicatie op arxiv.org werden deze agenten getest achter een LLM-firewall in shadow-modus om hun robuustheid te evalueren.
Het experiment richtte zich op het invoeren van onbetrouwbare externe data. Een aanvaller diende een verzoek in voor een functie voor 'gebruikstelemetrie', terwijl de code in werkelijkheid bedoeld was om geheime procesgegevens naar een externe URL te sturen. Deze kwaadaardige actie werd effectief 'gewassen' door het te presenteren als een onschuldige observatiefunctie. Een cruciaal aspect van deze aanval is het gebruik van zogenaamde 'authority framing'. Wanneer de aanvraag werd vergezeld door een bewering dat de wijziging reeds was goedgekeurd onder een specifieke referentie, zoals "pre-approved under SEC-2291", veranderde het gedrag van de controlerende agenten drastisch.
Uit de resultaten op blijkt dat de verificatie-agenten de code die geheimen exfiltreerde wel detecteerden, maar besloten deze door te laten vanwege de vermeende voorafgaande goedkeuring. In ongeveer 80% van de gemanipuleerde pull-requests slaagde de aanval erin om door de scanner te komen. In de meest kwetsbare scenario's leidde dit tot de compromittering van 55% van de systemen.
Het onderzoek legt een fundamenteel probleem bloot: traditionele beveiligingsmaatregelen schieten tekort. Omdat de code syntactisch correct en 'schoon' was, misten patroondetectoren en code-scanners de kwaadaardige intentie volledig. Bovendien bood de aanwezigheid van meerdere controleurs in de pipeline nauwelijks extra bescherming. De onderzoekers observeerden een vorm van het 'omstandereffect', waarbij de wetenschap dat andere agenten ook zouden controleren, niet leidde tot een significante verbetering van de individuele nauwkeurigheid tijdens de reviews, zoals beschreven in de analyse op .
De conclusie van de studie is dat noch het geheimhouden van prompts, noch gedistribueerde verificatie voldoende bescherming biedt tegen dit type systemische fout. De enige effectieve oplossing die wordt voorgesteld, is de implementatie van een 'provenance-aware control' bij de allereerste invoer. Deze controle moet volledig onafhankelijk werken van de AI-agenten in de pipeline om de herkomst van de input te valideren.
Het is belangrijk om te benadrukken dat dit onderzoek is uitgevoerd met volledig synthetische data. De systemen die gegevens zouden ontvangen waren gesimuleerd en er is in werkelijkheid nooit contact geweest met externe URL's van aanvallers, zoals vermeld in de documentatie op . Desondanks onderstrepen de resultaten de dringende noodzaak voor strengere validatie van externe inputs in AI-gestuurde ontwikkelingsomgevingen.