Specter versnelt MoE-inferentie op enkelvoudige GPU's via speculatieve offloading
Lees samenvatting
**Onderzoekers hebben Specter ontwikkeld, een nieuw inferentiesysteem dat de snelheid van Mixture-of-Experts (MoE) modellen op consumentenhardware aanzienlijk verhoogt door PCIe-bottlenecks te omzeilen.**
