Onderzoekers hebben Interflow ontwikkeld, een innovatieve co-design van algoritmen en hardware die de efficiëntie van privacy-bewarende machine learning (PPML) op edge-apparaten aanzienlijk verbetert. De nieuwe methode reduceert de geheugenbelasting en versnelt de verwerking van complexe AI-modellen door het proces van cryptografische gegevensgeneratie te optimaliseren.
De implementatie van krachtige AI-diensten op edge-apparaten — zoals smartphones of lokale sensoren — wordt vaak belemmerd door de noodzaak om gevoelige gebruikersgegevens te beschermen. Privacy-preserving machine learning (PPML) biedt hiervoor een oplossing, maar de praktische uitrol ervan stuit op technische hindernissen. Volgens een recent wetenschappelijk rapport gepubliceerd op arxiv.org worden deze systemen momenteel beperkt door hoge kosten op het gebied van communicatie, berekeningen en datatransport, vooral bij het uitvoeren van niet-lineaire inferenties via secure multi-party computation (MPC).
Het probleem van cryptografische buffers
Bestaande MPC-systemen maken gebruik van een strikte scheiding tussen twee fasen: de generatie van gecorreleerde willekeur (die onafhankelijk is van de input) en de eigenlijke online uitvoering. Deze opzet creëert een aanzienlijke druk op het geheugen, omdat grote hoeveelheden cryptografische gegevens gebufferd moeten worden voor eenmalig gebruik.
Wanneer de opslagcapaciteit van een apparaat beperkt is, ontstaat er een inefficiënt patroon van 'stoppen en bijvullen'. Hierbij wordt de verwerkingspijplijn herhaaldelijk onderbroken om de buffers aan te vullen, waardoor de generatie van willekeurige gegevens een kritieke vertragende factor wordt in het totale proces. Dit probleem wordt specifiek beschreven in de publicatie .
De Interflow-oplossing: Pipelining en co-design
Om deze barrière te doorbreken, stellen onderzoekers Hanieh Totonchi Asl, Ebrahim Nouri, Zhuoran Li en Danella Zhao een nieuwe benadering voor genaamd Interflow. Deze methode herdefinieert de scheiding tussen de offline- en online-fasen door gebruik te maken van batchgewijze verwerking.
In plaats van een seriële volgorde, waarbij eerst alle gegevens worden gegenereerd en daarna worden gebruikt, introduceert Interflow een overlappende pijplijn. Terwijl de huidige batch gegevens wordt gebruikt om beveiligde niet-lineaire operaties uit te voeren, wordt er gelijktijdig de gecorreleerde willekeur voor de volgende batch gegenereerd. Door deze interleaved execution en hardware-acceleratie wordt de preprocessing getransformeerd van een opslagintensieve fase naar een continu proces dat dichter bij het punt van consumptie plaatsvindt.
Meetbare prestatieverbeteringen
De effectiviteit van Interflow is getest op de Zynq UltraScale+ ZCU102 hardware. De resultaten tonen een duidelijke verbetering in zowel snelheid als efficiëntie ten opzichte van bestaande baseline-frameworks. Volgens de data in het zijn de volgende resultaten behaald:
- Doorvoersnelheid: De evaluatie van niet-lineaire operatoren voor CNN's (Convolutional Neural Networks) steeg met maximaal 1,55x, terwijl transformer-operatoren een verbetering van 1,48x lieten zien.
- Model-specifieke versnelling: Voor het ResNet-50 model werd een snelheidswinst van maximaal 1,26x gerealiseerd, en voor BERT-base een versnelling tot 1,21x.
- Geheugengebruik: De totale geheugenvoetafdruk werd met maximaal 37% verminderd.
Toekomstige impact op Edge AI
Door de overhead van datatransport en de afhankelijkheid van grote buffers te verminderen, maakt Interflow de weg vrij voor complexere AI-modellen die lokaal op hardware kunnen draaien zonder de privacy van de gebruiker in gevaar te brengen. De focus op hardware-architectuur en cryptografie, zoals vermeld in de , onderstreept de noodzaak van een integrale aanpak waarbij zowel de software als de fysieke chip worden geoptimaliseerd voor beveiligde berekeningen.