Onderzoekers hebben MLOps-Bench geïntroduceerd, een nieuwe standaard om te evalueren hoe goed AI-agents in staat zijn om machine learning-systemen in echte productieomgevingen te onderhouden en aan te passen.
Waar eerdere benchmarks voor AI-agents zich vaak beperkten tot het oplossen van algemene softwareproblemen of het uitvoeren van experimenten in een competitie-omgeving, richt MLOps-Bench zich specifiek op de complexiteit van machine learning operations (MLOps). Volgens een publicatie op arxiv.org is er een groeiende verwachting dat AI-agents zelfstandig wijzigingen kunnen aanbrengen en onderhoud kunnen plegen aan ML-systemen die reeds in productie zijn.
Focus op de volledige levenscyclus
MLOps is een discipline die machine learning, software engineering en DevOps combineert om de volledige levenscyclus van modellen te beheren, van training tot monitoring in een live-omgeving. Zoals beschreven door geeksforgeeks.org, helpt MLOps bij het automatiseren van modeltraining, versiebeheer en het waarborgen van reproduceerbaarheid, waardoor modellen betrouwbaar kunnen worden ingezet in real-world applicaties.
MLOps-Bench test AI-agents op hun vermogen om binnen echte repositories te werken. De benchmark beslaat diverse kritieke onderdelen van de ML-levenscyclus, waaronder:
* Datapijplijnen en feature engineering.
* Model training en serving.
* Monitoring en governance.
* CI/CD-processen en end-to-end integratie.
Opzet en resultaten van het onderzoek
De benchmark is opgebouwd uit 212 gevalideerde taken die afkomstig zijn uit 31 publieke ML-repositories. Elke taak is voorzien van specifieke vereisten in natuurlijke taal, een correcte oplossing (oracle patch), een foutieve baseline en diverse tests om zowel succes als falen te meten. In totaal bevat de benchmark 636 'fail-to-pass' tests en 856 'pass-to-pass' tests.
Uit de evaluatie van zes verschillende AI-agents blijkt dat de huidige technologie nog grote uitdagingen kent. Volgens de data in het slaagde het best presterende systeem in slechts 31,2% van de taken, hoewel dit systeem wel 68,7% van de tests wist te passeren. Dit wijst erop dat AI-agents vaak wel gedeeltelijke vooruitgang boeken, maar nog tekortschieten bij het voldoen aan de strikte gedragsvereisten die in productieomgevingen essentieel zijn.
De noodzaak van robuuste MLOps-praktijken
De resultaten onderstrepen het verschil tussen het bouwen van een model in een notebook en het beheren van een model in productie. Een geeksforgeeks.org legt uit dat productie-ML vereist dat er strikte controle is over omgevingen, afhankelijkheden en versiebeheer van zowel code als datasets. Zonder deze structuur is het onmogelijk om schaalbare en betrouwbare AI-systemen te garanderen.
Bedrijven zoals databricks.com zetten daarom in op geïntegreerde platforms voor data, analytics en AI, waarbij governance en orchestratie van batch- en streamingdata centraal staan om de overgang van experiment naar productie te stroomlijnen.
MLOps-Bench verschuift de evaluatie van AI-agents daarom weg van simpelweg "modellen bouwen" naar "repository-native MLOps-werk". De correctheid van een agent hangt hierbij niet alleen af van de code, maar van het vermogen om redeneren over de levenscyclus van het systeem te combineren met gedragsmatige robuustheid en het behoud van bestaande systeemfuncties.