Een recent onderzoek onderzoekt of grote taalmodellen (LLM's) in staat zijn om direct de gewichten van kleine neurale netwerken te schrijven zonder gebruik te maken van traditionele gradiënttraining. Deze methode, aangeduid als Weight-space programming (WSP), werd getest om te zien of het de efficiëntie van exacte algoritmen binnen de operations research kan verbeteren, specifiek bij het gebruik van goedkope scoringsregels.
De methodiek van Weight-space programming
Het concept van Weight-space programming draait om de hypothese dat een LLM de parameters van een klein neuraal netwerk kan bepalen enkel door de output van de forward-pass te analyseren. In plaats van het gebruikelijke trainingsproces waarbij een model via wiskundige optimalisatie leert, schrijft de AI de gewichten direct.
Het onderzoek, dat op 6 november 2026 werd gepubliceerd via arxiv.org, is op een bijzondere manier tot stand gekomen. De auteur, Renan Butkeraites, laat weten dat de tekst, figuren, code en analyse van het artikel zijn gegenereerd door het AI-model Claude Opus 5.5 van Anthropic, onder zijn directe regie. Alle berekeningen werden lokaal op de machine van de auteur uitgevoerd en alle referenties zijn handmatig gecontroleerd.
Toepassingen in kolomgeneratie en branching
De onderzoekers hebben WSP toegepast in vier verschillende scenario's om de impact op de snelheid van algoritmen te meten. Omdat de algoritmen exact blijven ongeacht de gekozen gewichten, leidt een slecht presterend netwerk enkel tot een langere rekentijd en niet tot onjuiste resultaten.
Ten eerste werd gekeken naar kolomgeneratie voor het vehicle routing problem met tijdvensters. Hierbij schreef de LLM kleine multilayer perceptrons om bogen, labels en zogenaamde ng-neighbourhoods te selecteren. Volgens de resultaten in de leverde deze aanpak echter geen materiële winst op.
Ten tweede is er gekeken naar het kiezen van branching-variabelen in de branch-and-bound methode van SCIP. Bij synthetische klassen presteerde een handgeschreven netwerk aanzienlijk beter dan de standaardregel van SCIP, waarbij onafhankelijke set-instanties in 0,37x van de tijd werden opgelost. Bij 39 instanties uit de MIPLIB 2017 wist het model er 19 op te lossen, tegenover 24 bij de standaardmethode.
Praktijktoepassing: Buschauffeurs in Atlanta
Om de theorie in de praktijk te toetsen, werd een applicatie gebouwd op basis van de echte GTFS-data van MARTA, het transportbureau van Atlanta. Er werd een model voor personeelsplanning (crew scheduling) gebruikt, opgelost via een native C-plugin met de fabrieksinstellingen van SCIP.
De resultaten hiervan waren gemengd. De door de LLM geschreven regels waren sneller dan de standaardinstellingen, met een tijdgebruik van 0,63x op 32 geteste instanties. Echter, de eenvoudige pseudocost-regel van SCIP presteerde vrijwel identiek (een ratio van 0,99). De onderzoekers concluderen in de dat de winst in deze specifieke setting voortkwam uit het feit dat de regels "goedkoop" (computationeel licht) waren, en niet noodzakelijkerwijs uit de specifieke gewichten die de LLM had geschreven.
Conclusie en transparantie
Hoewel de resultaten aantonen dat LLM's in staat zijn om functionele gewichten voor kleine netwerken te genereren die in sommige gevallen de standaardregels verslaan, is de winst niet altijd toe te schrijven aan de intelligentie van de gewichtskeuze zelf.
Om de wetenschappelijke integriteit te waarborgen, zijn alle gebruikte codes, logs en de data achter de figuren openbaar gemaakt. Het volledige rapport is beschikbaar gesteld via en is daarnaast geplaatst op Optimization Online.