De ontwikkeling van software voor betalingsverkeer wordt beschouwd als een van de meest uitdagende taken op repository-niveau voor kunstmatige intelligentie. Om de vaardigheden van AI-coding agents in dit specifieke domein te meten, is de benchmark Alipay-PIBench ontwikkeld. Volgens een wetenschappelijk rapport dat is gepubliceerd via arxiv.org moeten AI-agenten bij het implementeren van dergelijke systemen niet enkel het juiste product kunnen kiezen, maar ook complexe interacties tussen client en server kunnen coördineren.
Een cruciaal aspect van deze integraties is de verificatie van betalingsresultaten. De AI moet er namelijk voor zorgen dat de status van een transactie consistent blijft met de zakelijke status binnen de applicatie. Om deze processen objectief te toetsen, bevat de Alipay-PIBench negen verschillende projecten met in totaal 18 specifieke taakinstanties. Deze scenario's zijn opgedeeld in basisfunctionaliteiten en geavanceerde situaties die gericht zijn op het versterken van de veiligheid en risicobeheersing, ook wel 'hardening' genoemd.
Voor de evaluatie van de gegenereerde code maakt het framework gebruik van een combinatie van methoden. Enerzijds worden deterministische controles uitgevoerd via unit-tests, integratietests, statische analyses en end-to-end checks. Anderzijds worden Large Language Models (LLM's) ingezet om de semantische vereisten van de code te beoordelen.
In het onderzoek zijn zes verschillende coding-agent modellen onderzocht, waarbij de prestaties werden gemeten aan de hand van de 'rubric pass rate' (RPR). De resultaten tonen aan dat de gemiddelde RPR schommelt tussen de 68,58% en 91,37% wanneer de modellen over de juiste vaardigheden beschikken. Een significante bevinding is dat de toegang tot een specifieke 'alipay-payment-integration skill' de gemiddelde RPR met 10,31 procentpunten deed stijgen. De mate van deze verbetering varieerde echter per model en per scenario. De analyse maakte hierbij een duidelijk onderscheid tussen het simpelweg voltooien van broncode en het daadwerkelijke, uitvoerbare betalingsgedrag.
De noodzaak voor een dergelijke benchmark wordt verklaard door de toenemende complexiteit van digitale betalingsecosystemen. Platformen zoals alipayplus.com bieden een breed scala aan oplossingen, variërend van online kassiersystemen en unified wallet gateways tot NFC-betalingen en AI-gestuurde tools voor internationale handel. De infrastructuur is uitgebreid met geavanceerde instrumenten zoals de 'GenAI Cockpit' voor AI-as-a-Service en het 'Agentic Mobile Protocol' voor commerce via AI-agenten.
Voor gebruikers en ontwikkelaars die toegang zoeken tot deze systemen, biedt de organisatie specifieke toegangspoorten, zoals te zien is op de alipay.com. De aanwezigheid van complexe diensten, waaronder AI-gestuurde reisagenten en digitale belastingteruggaven, maakt gestandaardiseerde tests voor AI-programmeurs essentieel om fouten in financieel kritieke processen te minimaliseren.
Alipay-PIBench stelt onderzoekers in staat om de capaciteiten van AI-modellen te diagnosticeren in een gecontroleerde omgeving. Door te analyseren hoe gestructureerde begeleiding de kwaliteit van de code beïnvloedt, kan de betrouwbaarheid van autonome softwareontwikkeling worden verhoogd. Het onderzoek, dat in de laatste revisie op 13 augustus 2026 is bijgewerkt, biedt hiermee een fundament voor veiligere integraties van betalingsdiensten.