Onderzoekers Richard F. M. Lim en Ruriko Yoshida hebben een nieuwe analyse gepubliceerd over de representatieve geometrie van dynamische programma's (DP). In hun studie onderzoeken zij waarom standaard neurale architecturen vaak moeite hebben om te generaliseren naar langere inputs wanneer zij getraind zijn op doelen die gebaseerd zijn op dynamisch programmeren.
De geometrische benadering van DP
Het onderzoek richt zich op de vraag wat geometrisch gezien de hindernis vormt voor generalisatie. Volgens de publicatie op arxiv.org kan elk eindig 'min-plus' dynamisch programma worden beschouwd als het kortste pad op een gericht acyclisch graaf (DAG). De auteurs stellen dat dit equivalent is aan een tropisch polynoom. De beslissingsgrens die bepaalt welk pad het meest optimaal is, wordt in dit model gecodeerd door een uitgebreid Newton-polyeder.
De onderzoekers bewijzen dat deze drie verschillende beschrijvingen — de graaf, het polynoom en het polyeder — isomorfe semiringen vormen op twee niveaus: de formele polynomen en de berekende functies. Deze structuren worden verbonden door operaties die alle structurele redundanties karakteriseren.
Problemen met lengte-generalisatie
Een centraal punt in het onderzoek is de vraag of de beslissingsgrens bij een bepaalde lengte $T$ bepalend is voor de grens bij een lengte $T+1$. De resultaten, die ook zijn opgenomen in de database van symmetricfunctions.com, bieden twee structurele negatieve antwoorden op deze vraag.
Ten eerste blijken de twee natuurlijke manieren van de semiring om dimensies te reduceren (door een variabele op elke identiteit te zetten) noch injectief te zijn, noch altijd gesloten binnen het dynamische programma. Ten tweede stellen de auteurs vast dat seriële en parallelle composities niet in staat zijn om alle DAG-topologieën te construeren vanuit kleinere sub-DAG's. Zelfs operaties die uitsluitend op terminale punten gericht zijn, blijken onvoldoende om alle DP-composities te vatten.
Context binnen machine learning en representatie
Dit werk is ingediend voor het NeurIPS 2026 Workshop over Symmetry and Geometry in Neural Representations, specifiek binnen het 'Extended Abstract Track'. Het onderzoek raakt aan diverse vakgebieden, waaronder machine learning, discrete wiskunde, algebraïsche geometrie en combinatoriek, zoals vermeld op .
De focus op representatieve geometrie is een bredere trend binnen de huidige AI-onderzoeken. Zo is er eerder onderzoek gedaan naar de representatieve geometrie van getallen, waarbij werd gekeken naar hoe taalmodellen relationele structuren behouden over verschillende taken heen, zoals beschreven in een apart artikel op arxiv.org. Daarnaast wordt er in de gemeenschap gewerkt aan het diagnosticeren van generalisatiefalen vanuit geometrisch perspectief, waarvoor onder andere code beschikbaar is gesteld via github.com.
Conclusie van de auteurs
De bevindingen van Lim en Yoshida suggereren dat de moeite die neurale netwerken hebben met het schalen naar langere sequenties in DP-taken niet enkel een kwestie is van trainingsdata, maar geworteld is in de fundamentele geometrische en algebraïsche structuur van de problemen. Door de isomorfie tussen grafen, polynomen en polyeders aan te tonen, bieden zij een theoretisch kader om te begrijpen waarom bepaalde structurele composities niet eenvoudig kunnen worden geëxtrapoleerd naar grotere inputs.