Een team van onderzoekers heeft een innovatieve aanpak ontwikkeld om kunstmatige intelligentie het roguelike kaartspel Balatro te laten beheersen. Door gebruik te maken van een gespecialiseerde simulator en een gesplitste trainingsstrategie, slaagde de AI erin om de eerste hindernissen van het spel consistent te overwinnen.
Het toepassen van Reinforcement Learning (RL) op het in 2024 verschenen spel Balatro bleek een aanzienlijke uitdaging voor computerwetenschappers. Volgens een recent onderzoekspapier op arxiv.org kampt het spel met drie specifieke problemen die traditionele RL-methoden vaak blokkeren: een enorme actieruimte van circa 3.000 mogelijke acties, lange tijdshorizons met weinig directe beloningen en een sterke mate van willekeur bij zowel het trekken van kaarten als het aanbod in de winkels.
De werking van Reinforcement Learning
Om de prestaties van de AI te begrijpen, is kennis van de basisprincipes van Reinforcement Learning essentieel. Zoals uitgelegd door geeksforgeeks.org, is RL een tak van machine learning waarbij een 'agent' leert beslissingen te nemen via vallen en opstaan om een cumulatieve beloning te maximaliseren. De agent interageert met een omgeving, bevindt zich in een bepaalde staat en voert acties uit op basis van een 'policy' (beleid). De feedback die de agent ontvangt in de vorm van positieve of negatieve beloningen, bepaalt hoe de agent zijn toekomstige gedrag optimaliseert.
Een innovatieve architectuur
Om de complexiteit van Balatro aan te pakken, introduceerden onderzoekers Ajay Vikram Periasami, Anjaneya Gupta, Ethan Cheng en Ivan Rosales een end-to-end pijplijn. Een cruciaal onderdeel hiervan is een simulator geschreven in de programmeertaal Rust, die een hoge doorvoersnelheid biedt. Deze simulator wordt via een systeem genaamd 'BalatroBot' automatisch gecontroleerd op consistentie met de eigenlijke gameclient, zoals beschreven in de publicatie op .
De onderzoekers kozen voor een specifieke 'multi-agent PPO-architectuur'. In plaats van één enkel brein te trainen, splitsten zij de gameplay op in twee verschillende beleidslijnen:
1. Een tactische 'blind policy': Deze richt zich op het spelen van de kaarten tijdens de rondes.
2. Een strategische 'shop policy': Deze beheert de aankopen en beslissingen in de winkel.
Hoewel beide agenten toegang hebben tot de volledige spelstaat, opereren ze in gescheiden fasen. Om het probleem van de 'sparse rewards' (beloningen die pas laat in het proces komen) op te lossen, implementeerden de onderzoekers een systeem van beloningsroutering waarbij krediet expliciet wordt gedeeld tussen de twee agenten.
Resultaten en conclusies
De resultaten van deze tweeledige aanpak waren significant. In de gezamenlijke trainingstests vertoonde de AI een scherpe overgang in prestaties. De slaagkans om de eerste 'blind' (ronde) te voltooien convergeerde naar een percentage van boven de 99%. Bovendien steeg de gemiddelde score per episode met ongeveer een factor tien, waarbij de AI uiteindelijk stabiliseerde op een gemiddelde maximale 'ante' van 3 uit 8, meldt .
Ter vergelijking: baselines met slechts één agent presteerden aanzienlijk slechter. Deze agenten bleven oscilleren tussen een te hebzuchtige speelstijl of juist een overmatige spaardrang, waardoor ze er niet in slaagden om stabiel de eerste ronde te voltooien.
Het onderzoek, dat werd geaccepteerd voor de EXAG 2026 (AIIDE Workshop on Experimental AI in Games), concludeert dat de splitsing in twee policies een sterke basis vormt voor reactief spel in Balatro. De resterende uitdaging voor AI in dit spel ligt volgens de auteurs niet langer bij de tactische uitvoering van de rondes, maar bij de strategische planning op de lange termijn.