Een team van informatici heeft een innovatieve methode ontwikkeld om de efficiëntie van datareplicatie in datacenters te verhogen. Door consensusmechanismen direct in de netwerkhardware te integreren, trachten de onderzoekers het complexe probleem van dataconsistentie over verspreide processen heen op te lossen. Het nieuwe systeem, dat de naam scarHW draagt, richt zich specifiek op omgevingen waar zeer hoge prestaties en schaalbaarheid vereist zijn.
De technologische doorbraak rust op de implementatie van een specifiek consensusalgoritme genaamd POPUC. In plaats van dit proces via traditionele softwarematige weg te laten verlopen, is het algoritme ingebouwd in een FPGA-gebaseerde smartNIC, een programmeerbare netwerkkaart. Volgens een wetenschappelijke publicatie via arxiv.org maakt deze hardwarematige integratie het mogelijk om optimaal gebruik te maken van het grotendeels synchrone gedrag van netwerkapparatuur binnen datacenters. Dit wijkt af van gangbare protocollen zoals Paxos, die doorgaans uitgaan van een asynchroon model.
Binnen het POPUC-algoritme wordt gebruikgemaakt van zogenaamde collaborative consensus. Deze techniek staat toe dat er meerdere beslissingen gelijktijdig worden genomen, wat de schaalbaarheid van het systeem vergroot zonder dat dit ten koste gaat van de beschikbaarheid. De resultaten van het ontwikkelde FPGA-prototype zijn volgens de auteurs op zeer positief. Bij tests met bekende diensten zoals Zookeeper en Redis werd een verbetering in latentie en doorvoersnelheid vastgesteld die tot twee orde van grootte hoger ligt dan bij bestaande technieken.
Naast de snelheid is de robuustheid van het systeem een cruciaal aspect. Diensten die gebruikmaken van scarHW kunnen een volledige uitval van een minderheid van de replica's overleven zonder dat er downtime optreedt. Om de betrouwbaarheid te garanderen, is het POPUC-algoritme formeel geverifieerd met TLA+. Hierdoor blijft het systeem veilig functioneren, zelfs wanneer er sprake is van berichten die verloren gaan of wanneer processen onverwacht stoppen, zoals beschreven in de documentatie op .
De behoefte aan schaalbaarheid is een overkoepelend thema in zowel de technologische als de financiële sector. Waar scarHW zich richt op de technische infrastructuur van datacenters, passen andere organisaties het concept van schaalbaarheid toe op consumentendiensten. Zo streeft de digitale beleggingsdienst scalable.capital ernaar om sparen en beleggen toegankelijk en schaalbaar te maken voor een breed publiek via hun platform. Hoewel de toepassingen verschillen, onderstrepen beide voorbeelden de noodzaak van systemen die efficiënt kunnen meegroeien met een toenemende vraag.
Met de introductie van scarHW kunnen datacenterdiensten mogelijk de afweging tussen strikte consistentie en schaalbaarheid herzien. Door de consensuslogica te verankeren in de netwerkhardware, wordt de communicatie tussen replica's versneld tot 'wire-speed', wat de weg opent naar grotere en snellere gedistribueerde systemen.