Een recente wetenschappelijke publicatie werpt nieuw licht op de manier waarop kunstmatige intelligentie complexe planningstaken kan uitvoeren zonder dat daar expliciete instructies voor zijn. Onderzoeker Armin Sommer stelt dat de architectuur van de verborgen toestanden in neurale netwerken de doorslaggevende factor is voor het ontstaan van dit gedrag.
Binnen het vakgebied van reinforcement learning (RL) wordt traditioneel een strikt onderscheid gemaakt tussen model-gebaseerde en modelvrije methoden. Model-gebaseerde systemen maken gebruik van een intern wereldmodel om toekomstige scenario's te simuleren en plannen te maken. Modelvrije systemen daarentegen leren doorgaans een reactieve koppeling tussen een specifieke toestand en een actie, waarbij ze direct reageren op hun omgeving zonder een bewuste simulatie van de toekomst.
De paradox van emergent plannen
Hoewel de theorie stelt dat modelvrije RL enkel reactief is, is er recent bewijs verschenen dat planningstaken toch kunnen ontstaan uit puur modelvrije processen. Tot nu toe was het onduidelijk onder welke specifieke omstandigheden dit gedrag zich voordoet wanneer een systeem enkel is geprogrammeerd om beloningen te maximaliseren.
In een nieuw onderzoek dat is gepubliceerd via arxiv.org, analyseert Armin Sommer hoe dit fenomeen tot stand komt. De kern van de ontdekking ligt in de structuur van de zogenaamde 'relational hidden states'. Volgens de auteur van het artikel is de neurale architectuur de bepalende factor voor het ontstaan van planningsmechanismen.
De rol van relationele toestanden
Het onderzoek toont aan dat wanneer een netwerk gebruikmaakt van verborgen toestanden die zijn verankerd aan specifieke omgevingsstaten, er een vorm van communicatie ontstaat. Deze toestanden wisselen berichten uit via geleerde relaties. Hierdoor is het netwerk in staat om de overgangsstructuur van de omgeving te reconstrueren.
In de praktijk betekent dit dat de AI een soort interne grafiek bouwt. Tijdens het besluitvormingsproces kan het systeem over deze geleerde grafiek 'plannen', wat leidt tot een aanzienlijke verbetering van de gekozen strategie. Dit proces vindt plaats terwijl het systeem formeel nog steeds opereert binnen een modelvrij kader, waarbij het doel enkel de maximalisatie van de beloning is.
Vergelijking met controle-agenten
Om de validiteit van deze claim te testen, heeft Sommer het systeem vergeleken met een controle-agent. Bij deze tweede agent was de taak complexer: deze moest eerst zelf ontdekken welke cellen overeenkwamen met welke toestanden in de omgeving.
De resultaten waren duidelijk: bij deze controle-agent ontstond er geen binding tussen de toestanden en was er geen sprake van een planningsmechanisme. Dit bewijst dat de specifieke architecturale opzet — de directe koppeling van verborgen toestanden aan omgevingsstaten — essentieel is voor het ontstaan van emergent plannen.
Implicaties voor menselijke cognitie
De bevindingen hebben niet alleen relevantie voor de informatica, maar bieden mogelijk ook inzichten in de biologie. Sommer suggereert in zijn publicatie op dat dit mechanisme een verklaring zou kunnen bieden voor hoe planning in het menselijk brein ontstaat. Hij hypothetiseert dat een vergelijkbare neurale architecturale voorkeur in de menselijke hersenen ervoor kan zorgen dat planning spontaan voortvloeit uit het streven naar beloning.
Hoewel softwareoplossingen voor planning in andere sectoren, zoals in de religieuze organisatie via planningcenter.com, zich richten op praktische tools voor agenda's en vrijwilligersbeheer, laat dit AI-onderzoek zien dat 'planning' op een fundamenteel computationeel niveau een geheel andere betekenis heeft. Waar commerciële software planning faciliteert via interfaces, probeert de wetenschap nu te begrijpen hoe planning als een biologisch of kunstmatig instinct kan ontstaan.
Het onderzoek roept uiteindelijk de vraag op hoe wijdverspreid dit type emergent plannen is in andere vormen van machine learning en of we de architectuur van AI-systemen bewust kunnen sturen om dit vermogen te stimuleren.