Onderzoekers hebben Opto-ViT-v2 ontwikkeld, een nieuw framework dat het mogelijk maakt om Vision Transformers (ViT) direct op fotonische hardware te verfijnen. Deze innovatie lost kritieke problemen op rondom energieverbruik, geheugenopslag en ruisgevoeligheid bij het trainen van AI-modellen op silicium-fotonische chips.
De uitdaging van on-chip fine-tuning
Silicium-fotonische (SiPh) versnellers worden al langer beschouwd als een veelbelovend platform voor de uitvoering (inference) van Vision Transformers. Door gebruik te maken van microring-resonator (MRR) banken kunnen matrixvermenigvuldigingen met een zeer hoge doorvoer en een laag energieverbruik worden uitgevoerd. Echter, het aanpassen van deze modellen via fine-tuning direct op de chip bleek tot nu toe problematisch.
Volgens een publicatie op arxiv.org ligt dit voornamelijk aan de eisen van backpropagation. Dit proces vereist een grote hoeveelheid opslag voor activaties, wat de capaciteit van on-chip buffers vaak overschrijdt. Daarnaast is het herhaaldelijk wegschrijven van gewichten naar de MRR-banken na elke gradiëntstap te traag, terwijl apparaat-specifieke ruis de nauwkeurigheid van het trainingsproces negatief beïnvloedt.
De oplossing: Parameter-efficiënte training
Om deze hindernissen te overwinnen, introduceert Opto-ViT-v2 een methode voor parameter-efficiënte fine-tuning (PEFT). Het systeem maakt gebruik van een getensoriseerde low-rank decompositie. Hierbij worden de vooraf getrainde optische gewichten gescheiden van een kleine set trainbare elektronische factoren. In het geval van een ViT-Base model zijn er slechts 8.000 parameters nodig voor deze training. Dit reduceert de noodzaak voor uitgebreide activatieopslag en minimaliseert het aantal gewichtsupdates, waardoor on-chip training praktisch haalbaar wordt.
Daarnaast is er een 'gradient-accumulated sparse classifier' ontwikkeld. Deze techniek bevriest gewichten met een lage prioriteit via een one-shot top-k gradiëntmaskering. Volgens de onderzoekers in het verlaagt dit de kosten voor het trainen van de classifier met ongeveer 40 procent.
Beheersing van fotonische ruis
Een essentieel onderdeel van het onderzoek is de ontwikkeling van het eerste systeem-brede ruismodel voor fotonische on-chip training. Dit model brengt de effecten van laseramplitude-ruis, thermische drift en crosstalk tussen MRR's in kaart tijdens zowel de voorwaartse als de achterwaartse propagatie.
Het model is gekalibreerd op basis van metingen van meer dan 200 gefabriceerde MRR-apparaten. De resultaten tonen aan dat updates van low-rank factoren robuuster zijn tegen ruis dan volledige fine-tuning of conventionele laag-gewijze adaptatie. In tests op benchmarks zoals VTAB-1K en FGVC bleek dat Opto-ViT-v2 een nauwkeurigheid behoudt die slechts 0,3 tot 0,8 procent afwijkt van de ideale software-nauwkeurigheid, ondanks de aanwezige fotonische ruis.
Context en prestaties
Opto-ViT-v2 bouwt voort op het eerdere Opto-ViT-concept. De eerste versie van arxiv.org richtte zich op een hybride elektronisch-fotonische architectuur die regio-bewuste verwerking mogelijk maakte via een Mask Generation Network (MGNet) om irrelevante beeldfragmenten te verwijderen.
De nieuwe versie optimaliseert dit verder voor domeinadaptatie bij edge-visiesystemen. De hardware bereikt een efficiëntie van meer dan 100 KFPS/W. De wetenschappelijke gemeenschap heeft de resultaten reeds gedeeld via sociale mediakanalen, waarbij x.com melding maakte van de publicatie van het onderzoek op 23 juli 2026.
Het werk is geaccepteerd voor publicatie in de Proceedings of the IEEE/ACM International Conference on Computer-Aided Design (ICCAD 2026). De betrokken onderzoekers zijn verbonden aan diverse instellingen, waaronder de shaahinangizi.com en de New Jersey Institute of Technology.