Een team van wetenschappers, onder leiding van Pan Wang, heeft een doorbraak geforceerd in de manier waarop taalmodellen omgaan met langdurige en complexe processen. In een rapport dat op 20 oktober 2026 verscheen, presenteren de auteurs de methode Progress-Aligned Recurrence (PAR). Deze techniek is specifiek ontwikkeld om de beperkingen van zogenaamde 'looped language models' te overwinnen, waarbij extra iteraties tijdens het testen voorheen niet automatisch leidden tot betere resultaten bij langere vraagstukken.
Volgens de publicatie op arxiv.org ligt het probleem bij traditionele systemen in de supervisie. Wanneer modellen enkel op basis van het uiteindelijke antwoord worden getraind, ontbreken specifieke instructies over de voortgang per stap. In deze context kan de term cambridge.org worden begrepen als de beweging richting een voltooiing of een verbeterde toestand. PAR probeert deze beweging te sturen door de voorspelling bij een specifieke iteratie exact te laten overeenkomen met de status na een gelijk aantal operaties.
Om de stabiliteit van het systeem te waarborgen, maakt de methode gebruik van een techniek waarbij recurrente staten worden geschaald naar hun normen van de eerste iteratie. Dit voorkomt dat de schaal van de status onstabiel wordt bij herhaalde updates. Wanneer er geen tussenliggende labels beschikbaar zijn, past het systeem 'prefix self-distillation' toe. Hiermee kan de correspondentie van kortere delen van een probleem worden afgeleid, enkel op basis van de finale antwoorden.
De effectiviteit van deze aanpak werd getest met een Qwen2.5-0.5B model op de swap-$S_5$ taak. De resultaten, zoals beschreven in het , tonen een opvallende verbetering in de zogenaamde lengte-generalisatie. Hoewel het model slechts was getraind op een maximum van 32 zetten, slaagde het erin om bij 512 zetten — een factor 16 boven de trainingslengte — een gemiddelde nauwkeurigheid van 95,5% te behalen. Ter vergelijking: een standaard 'chain of thought' benadering op hetzelfde basismodel behaalde in deze test slechts 0,8%.
Uit aanvullende analyses bleek dat verschillende componenten van PAR cruciaal zijn voor dit succes. Het verwijderen van de 'norm anchoring' zorgde ervoor dat de extrapolatiefactor kelderde van 16 keer naar minder dan 2,2 keer de trainingslengte. Daarnaast bleek dat het vervangen van de specifieke targets voor voortgang door standaard supervisie de extrapolatie beperkte tot maximaal 8 keer de trainingslengte. Dit bewijst dat zowel de schaling van de status als de training van tussenliggende stappen noodzakelijk zijn om extra diepte effectief te benutten.
Een laatste innovatie binnen PAR is de implementatie van een geleerde 'completion readout'. Deze functie stelt het model in staat om autonoom te bepalen wanneer een antwoord voltooid is, zonder dat er een vaste stopdiepte van buitenaf wordt opgelegd. De onderzoekers concluderen in hun dat deze voordelen breed inzetbaar zijn voor diverse taken waarbij sequentiële state-tracking centraal staat. Door de structuur van een taak optimaal te benutten, kan de capaciteit van taalmodellen om buiten hun trainingskader te opereren significant worden vergroot.