Wetenschappers hebben een nieuwe methode ontwikkeld om de training van gekwantiseerde neurale netwerken te verbeteren. De aanpak richt zich op het overwinnen van de complexiteit die ontstaat door discrete parameterruimtes en non-convexe 'loss landscapes', factoren die het vinden van een optimaal punt in een netwerk doorgaans bemoeilijken.
In een publicatie die in definitieve vorm op 29 augustus 2026 verscheen, stellen Wenxin Li en een team van medewerkers een exact Quadratic Constrained Binary Optimization (QCBO) framework voor. Volgens de details in het onderzoek op arxiv.org is er eerst een analyse uitgevoerd naar de gestratificeerde topologie van de 'zero-loss level sets'. Hieruit bleek dat globaal optimale componenten losgekoppeld kunnen blijven, zelfs wanneer er sprake is van overparameterisatie, hoewel sommige interne strata wel glad zijn.
Om deze technische obstructie te omzeilen, combineerden de auteurs architecturen met een eindige diepte met parametercodeboeken. Door gebruik te maken van staten die begrensd zijn via Forward Interval Propagation (FIP), ontstond een volledig positieve convexe formulering. Deze benadering zorgt ervoor dat het globale discrete optimum behouden blijft zonder dat er een zogenaamde 'relaxation gap' optreedt. De onderzoekers claimen dat deze resultaten 'provable' zijn. Volgens de definitie van het cambridge.org betekent dit dat iets in staat is om bewezen te worden, vaak op basis van feiten of wetenschappelijke principes. In dit specifieke geval betekent het dat er sprake is van bewijsbare garanties.
Een aanzienlijke uitdaging bij dit type optimalisatie is de schaalbaarheid bij grote hoeveelheden data. Om dit probleem aan te pakken, introduceerden de wetenschappers de 'sample-wise Decomposed Lower-Bound Optimization' (DLBO). Deze techniek zorgt ervoor dat de belasting van de Ising-aanroepen wordt teruggebracht van de volledige dataset naar de schaal van een enkel sample. Binnen dit model wordt een Hamiltonian-lokaliteitshierarchie gevormd, waarbij de tweede orde een pairwise QUBO-oracle biedt zonder hulpvariabelen. De uiteindelijke discrete parameters worden vervolgens hersteld via gerandomiseerde afronding en Spectral-ADMM, zoals verder toegelicht in de .
De praktische effectiviteit van het framework is getest met diverse datasets. In experimenten waarbij een 'coherent Ising machine' werd ingezet, behaalde het systeem een nauwkeurigheid van 94,95% op een binaire versie van Fashion-MNIST (gericht op het onderscheid tussen sandalen en jassen) bij een precisie van 1,1-bit. Dit resultaat bewijst dat de methode bestand is tegen representatie-instorting, zelfs bij een zeer laag aantal bits. Daarnaast zijn er evaluaties uitgevoerd met multi-class DLBO op datasets zoals 3-class Digits, 3-class Wine en 3-class Fashion-MNIST, wat de schaalbare convergentie van de methode bevestigt.
Het onderzoek, dat is ingediend onder de categorieën Artificiële Intelligentie en Machine Learning, heeft daarnaast raakvlakken met de optica vanwege de inzet van Ising-machines. De volledige wiskundige bewijsvoering en de specifieke architectuur van het QCBO-framework zijn raadpleegbaar via de .