Een nieuw onderzoeksrapport onthult dat het model GPT-6-Astra een ongekende bekwaamheid vertoont in robotische navigatie en manipulatie. De resultaten dagen de huidige praktijk uit, waarbij voor specifieke taken meestal gespecialiseerde modellen worden ontwikkeld.
In een recent gepubliceerd rapport onderzoekt een team van SenseNova en een Joint Research Team de vraag of GPT-6-Astra een vorm van 'belichaamde intelligentie' (embodied intelligence) heeft bereikt. De onderzoekers hebben het model getest op een breed scala aan fysieke interacties, variërend van tafelmanipulaties tot het aansturen van humanoïde robots en mobiele platforms. Volgens de publicatie op arxiv.org presteert het model uitzonderlijk goed wanneer gebruik wordt gemaakt van een specifiek protocol.
Prestaties en methodologie
De evaluatie van GPT-6-Astra vond plaats over twaalf representatieve benchmarks. Hierbij werden diverse hardware-configuraties getest, waaronder behendige robothanden en mobiele systemen. Een cruciale factor in het succes van het model was het gebruik van in-context learning (ICL), waarbij het model leert van demonstraties uit de trainingsset. Door het aantal executiestappen aanzienlijk te verhogen, wist GPT-6-Astra prestaties te leveren die volgens de auteurs ongekend zijn.
Het onderzoek belicht bovendien de architectuur achter deze controle. Er wordt gesproken over een 'agentic harness' voor belichaamde controle. Hierbij is sprake van een nauwe coördinatie tussen een hoogwaardige redeneerder, aangeduid als "Systeem 2" (GPT-6-Astra), en een laagwaardige controller, aangeduid als "Systeem 1" (zoals $\pi$0.5). Hoewel deze samenwerking kostbaar is in termen van middelen, blijkt ze zeer effectief voor de aansturing van fysieke robots.
Uitdagingen bij real-world implementatie
Ondanks de sterke resultaten in benchmark-omgevingen, wijst het rapport van op aanzienlijke kloven wanneer het model in de echte wereld wordt ingezet. Experimenten met acht verschillende robotconfiguraties brachten twee belangrijke problemen aan het licht. Ten eerste is het verzamelen van de benodigde robotdemonstraties voor in-context learning zeer kostbaar en tijdrovend. Ten tweede is het in de fysieke realiteit niet haalbaar om simpelweg meer executietijd te accepteren in ruil voor een hoger succespercentage, aangezien fysieke beperkingen dit onmogelijk maken.
Toekomstige richtingen en benchmarks
De onderzoekers stellen dat toekomstig onderzoek zich moet richten op vijf specifieke verbeterpunten om de belichaamde intelligentie verder te optimaliseren:
1. De algemene bruikbaarheid van in-context learning.
2. De kosten en de tijd die nodig is voor executie.
3. De verificatie van de fysieke staat van de robot.
4. Het herstellen van onomkeerbare fouten tijdens een taak.
5. Het behouden van voortgang bij taken met een lange tijdshorizon.
Om deze vooruitgang te meten, heeft het team een prototype ontwikkeld voor een nieuwe generatie benchmarks. Deze nieuwe tests zijn ontworpen om taken af te leiden uit werkelijke behoeften in de praktijk, zonder dat er vooraf in-domein demonstraties worden gegeven.
Hoewel er aanvullende informatie gezocht kan worden via platforms zoals openai.com, biedt het technische rapport op op dit moment de meest gedetailleerde inzichten in de technische capaciteiten en de beperkingen van GPT-6-Astra in de context van robotica. De resultaten suggereren een verschuiving naar meer generieke modellen die in staat zijn om diverse fysieke lichamen en taken aan te sturen, in plaats van het bouwen van talloze kleine, gespecialiseerde systemen.