Onderzoekers hebben een nieuwe techniek ontwikkeld om neurale netwerken efficiënter te maken wanneer deze gebruikmaken van homomorfe encryptie, zonder dat dit ten koste gaat van de stabiliteit van het model.
Het uitvoeren van berekeningen op versleutelde data, bekend als homomorfe encryptie (HE), is een cruciale technologie voor privacygevoelige toepassingen in kunstmatige intelligentie. Een groot obstakel hierbij is echter de enorme rekenkracht die nodig is voor inferentie in neurale netwerken. Om dit hanteerbaar te maken, wordt vaak gebruikgemaakt van 'structured pruning' (gestructureerd snoeien), waarbij overbodige delen van het netwerk worden verwijderd. Tot nu toe was de impact van dit proces op de betrouwbaarheid van de modellen echter onvoldoende onderzocht.
In een recent onderzoek, gepubliceerd op het platform arxiv.org, presenteren Sahaj Majavdia en Mahdi Taheri een nieuwe benadering genaamd PRISM. Deze methode introduceert specifiek de 'Polynomial-Sensitivity-Aware Pruning' (PSAP), een techniek die rekening houdt met de betrouwbaarheid van het model tijdens het snoeiproces.
Focus op fouttolerantie en efficiëntie
De kern van de PSAP-methode is dat filters niet enkel op basis van hun gewichtsmassa worden beoordeeld, maar via een gecombineerde score. Deze score kijkt naar de magnitude van de gewichten, de gevoeligheid van de polynomiale activatie en de kosten van rotaties. Door deze parameters te combineren, kan het snoeiproces worden geconcentreerd in regio's die minder gevoelig zijn voor fouten, wat de algehele robuustheid van het versleutelde netwerk vergroot.
De resultaten van het onderzoek zijn gebaseerd op een uitgebreide reeks experimenten. De onderzoekers testten twee verschillende architecturen en datasets, waarbij gebruik werd gemaakt van vijf verschillende bit-error rates. Volgens de beperkt de PSAP-methode het aantal lagen die een catastrofale daling in nauwkeurigheid vertonen (meer dan 10 procentpunt) tot maximaal twee lagen. Ter vergelijking: bij traditionele methoden, die enkel naar de magnitude kijken, vertoonden tussen de vijf en veertien lagen een dergelijke daling.
Significante reductie van kwetsbaarheden
Een van de meest opvallende bevindingen is dat de worst-case kwetsbaarheid onder int32 bit-flip injecties met wel 29 keer werd verminderd. Bovendien stelden de onderzoekers vast dat de kritieke structurele lagen, die het meest gevoelig zijn voor fouten, slechts 1,1% van de totale parameters beslaan. Dit betekent dat men zeer gericht 'hardening' (versterking) kan toepassen op deze kleine fractie van het model, wat resulteert in een minimale extra rekenlast.
Naast de winst in betrouwbaarheid biedt PRISM ook aanzienlijke prestatieverbeteringen. In tests met ResNet-32 werd een reductie van tot 45,2% in Halevi-Shoup rotaties waargenomen. Daarnaast zorgde een adaptief schema voor de toewijzing van graden ervoor dat de multiplicatieve diepte kon worden verlaagd van 66 naar 56 niveaus. Dit maakt 'leveled inference' mogelijk zonder dat ervandaan bootstrapping nodig is, een proces dat normaal gesproken zeer rekenintensief is.
Context van wetenschappelijke analyse
Hoewel PRISM zich richt op de cryptografische en computationele aspecten van AI, is de behoefte aan nauwkeurige statistische analyse in de wetenschap breed aanwezig. Voor complexe data-analyse en visualisatie maken onderzoekers vaak gebruik van gespecialiseerde software. Zo biedt graphpad.com instrumenten voor statistische analyse en grafische weergave die essentieel zijn voor wetenschappelijk onderzoek, waaronder machine learning toepassingen. De precisie die in de PRISM-studie wordt nagestreefd bij het bepalen van de 'safe operating boundary' (nabij een BER van $10^{-5}$), sluit aan bij de algemene wetenschappelijke standaard voor datamanagement en workflowautomatisering die platforms zoals ondersteunen.
De introductie van PRISM markeert een belangrijke stap in het bruikbaar maken van homomorfe encryptie voor complexe neurale netwerken, waarbij de balans tussen snelheid, omvang en betrouwbaarheid wordt geoptimaliseerd.