Onderzoekers hebben een nieuwe methode ontwikkeld waarbij quantummodules worden gebruikt om delen van een groot taalmodel (LLM) te vervangen. De zogenaamde multi-head quantum neural network (QNN) kan transformer-blokken vervangen met een minimaal verlies aan nauwkeurigheid en een aanzienlijke vermindering van het aantal parameters.
In een recent wetenschappelijk artikel, gepubliceerd op 11 november 2026, beschrijven onderzoekers van onder meer Multiverse Computing hoe zij een quantummodule hebben geïntegreerd in een bestaand taalmodel. De focus lag hierbij op het model Qwen3-30B-A3B-Instruct-2507, een model met 30 miljard parameters. Volgens de publicatie op arxiv.org is het doel om transformer-blokken te vervangen door modules die compatibel zijn met noisy intermediate-scale quantum (NISQ)-apparaten.
De uitdaging van data-encoding
Een groot obstakel bij het implementeren van quantumcomputatie in taalmodellen is het omzetten van de verborgen neuronen van een model naar een qubit-register. Bij het gebruikte model is de verborgen dimensie 2048. Traditionele methoden zoals amplitude encoding vereisen een te grote circuitdiepte, terwijl angle encoding te veel qubits nodig heeft voor productie-breedtes.
Om dit op te lossen, hebben de onderzoekers gekozen voor een benadering waarbij de verborgen ruimte wordt opgesplitst in 32 afzonderlijke 'heads'. Elke head wordt via angle encoding in een register van 8 qubits verwerkt. Zoals beschreven door multiversecomputing.com, maakt een techniek genaamd dense angle encoding het mogelijk om twee kenmerken per qubit op te slaan via RY- en RZ-rotaties, waardoor de efficiëntie van het register wordt verhoogd zonder extra qubits toe te voegen.
Resultaten van de 'chirurgische' ingreep
De onderzoekers voerden een procedure uit die zij omschrijven als 'chirurgie' op het Qwen3-model. Hierbij verving één enkele multi-head QNN, met 145.281 trainbare parameters, een aaneengesloten reeks van acht transformer-blokken. Deze ingreep verving ongeveer 16,33% van de totale parameters van het model.
Uit de resultaten blijkt dat de quantum-heads, bestaande uit circuits gevolgd door een geleerde uitlezing, essentieel zijn voor het herstellen van de functies van de vervangen blokken. In gevallen waar meerdere blokken werden samengevoegd, bleken klassieke 'mixers' (lineaire lagen) alleen al voldoende om binnen 1 tot 3% van de perplexiteit van de volledige module te blijven.
Desondanks is de specifieke winst van getrainde, verstrengelende quantumcircuits nog niet volledig vastgesteld. In de analyse op arxivlens.com wordt vermeld dat controles waarbij de verstrengeling werd uitgeschakeld of waarbij het circuit werd bevroren, soms beter presteerden op de perplexiteit van onbekende data. Bovendien bleek een klassiek multilayer perceptron (MLP) met een vergelijkbaar aantal parameters enkele procenten superieur aan de volledige quantummodule.
Uitvoering op hardware
Hoewel de training klassiek plaatsvond via statevector-simulaties, is de effectiviteit van de methode op echte hardware getest. De quantum-heads van de checkpoints werden uitgevoerd op een IBM Heron-processor met 156 qubits. Hiermee is aangetoond dat NISQ-quantummodules daadwerkelijk geïnstalleerd en gedraaid kunnen worden binnen een LLM op productieschaal.
Deze ontwikkeling past in een bredere trend van onderzoek naar quantum-transformers. Zo beschrijft een survey op arxiv.org de verschillende paradigma's binnen dit veld, waaronder modellen gebaseerd op Parameterized Quantum Circuits (PQC), die specifiek gericht zijn op het NISQ-tijdperk. Andere academische bronnen, zoals publicaties via springer.com, benadrukken dat hoewel QNN's veelbelovend zijn voor patroonherkenning, de ontwikkeling nog steeds wordt gehinderd door hardware-ruis en beperkte qubit-aantallen.