Het technologiebedrijf DoorDash heeft een nieuw systeem ontwikkeld dat gebruikmaakt van multi-agent Large Language Models (LLM) om het opschonen van feature flags te automatiseren. Hiermee probeert het bedrijf technische schuld te verminderen en operationele risico's in zijn uitgebreide codebase te beperken.
Binnen moderne softwareontwikkeling worden feature flags ingezet als configuratiemechanismen tijdens runtime. Ze stellen ontwikkelaars in staat om nieuwe functies geleidelijk uit te rollen, experimenten uit te voeren of functies direct uit te schakelen via zogenaamde 'kill switches'. Echter, zodra een functie volledig is uitgerold, blijven de vlaggen en de bijbehorende code vaak in het systeem staan. Volgens een recent onderzoek gepubliceerd op arxiv.org verandert deze overgebleven code in technische schuld, wat kan leiden tot operationele risico's wanneer slapende codepaden onbedoeld worden geactiveerd.
De schaal van het probleem bij DoorDash
De noodzaak voor automatisering werd bij DoorDash duidelijk door de enorme hoeveelheid actieve en inactieve vlaggen. In een analyse tot mei 2026 bleek dat het bedrijf meer dan 56.000 feature flags beheerde, verspreid over 623 verschillende repositories. Van deze hoeveelheid waren er 1.659 vlaggen 'stale', oftewel verouderd.
Het handmatig verwijderen van deze vlaggen is een tijdrovend proces. Interne schattingen van DoorDash gaven aan dat een enkele handmatige cleanup gemiddeld één tot twee uur in beslag neemt. Voorheen probeerde het bedrijf gebruik te maken van regelgebaseerde tools voor het opschonen, maar deze bleken onvoldoende effectief voor de complexe codebases van het bedrijf, zoals beschreven in de publicatie .
Een multi-agent aanpak met LLM
Om dit probleem op te lossen, hebben onderzoekers Atharv Chandratre en Jai Datar een end-to-end geautomatiseerd systeem ontwikkeld op basis van LLM's. Dit systeem werkt met meerdere agenten die verschillende taken binnen het proces overnemen. De workflow integreert het opvragen van live rollout-data via het Model Context Protocol (MCP), het verwerken van Jira-tickets en het automatisch aanmaken van pull requests (PR's) voor de verwijdering van de code.
De resultaten van de evaluatie tonen een hoge mate van effectiviteit. Het systeem werd getest op 50 verouderde vlaggen, waarbij in 45 gevallen (90%) pull requests werden gegenereerd die door engineers werden goedgekeurd. Naast de nauwkeurigheid zorgde de automatisering voor een aanzienlijke efficiëntieslag:
* Tijdswinst: De gemiddelde tijd per cleanup daalde naar 13,8 minuten.
* Kostenreductie: De gemiddelde kosten per verwijdering bedroegen slechts 4,79 dollar.
Wetenschappelijke erkenning en praktische lessen
Het onderzoek naar deze industriële ervaring bij DoorDash is geaccepteerd voor de , specifiek binnen de Industry Track. De auteurs richten zich in hun werk niet alleen op de cijfers, maar bieden ook praktische richtlijnen voor andere organisaties die soortgelijke multi-agent systemen willen architectureren.
Door de combinatie van AI-gestuurde analyse en directe integratie met ontwikkelaarstools zoals Jira en ontwikkelaarstools, bewijst DoorDash dat de operationele levensvatbaarheid van AI bij het beheer van technische schuld op grote schaal haalbaar is. De focus ligt hierbij op het bewaken van de betrouwbaarheidsgrenzen via succespercentages en kostenmetrieken, zoals uiteengezet in de documentatie op .