Het team achter WeChat heeft een nieuw technisch rapport gepubliceerd over WeMM-Embedding, een familie van universele multimodale embedding-modellen die verschillende soorten content in een gedeelde digitale ruimte kunnen representeren.
Met de introductie van WeMM-Embedding zet WeChat in op een systeem dat in staat is om heterogene content — variërend van tekst en afbeeldingen tot video's en visuele documenten — te verwerken. Volgens een technisch rapport dat op 25 augustus 2026 werd ingediend bij arxiv.org, maakt dit systeem het mogelijk om diverse inputvormen, inclusief willekeurig afgewisselde multimodale gegevens, te ondersteunen met flexibele output-dimensies.
Architectuur en training
De WeMM-Embedding familie bestaat uit drie verschillende varianten, met respectievelijk 2 miljard (2B), 4 miljard (4B) en 9 miljard (9B) parameters. Om deze modellen te optimaliseren, hanteerde het onderzoeksteam een trainingsproces in twee fasen. De eerste fase richtte zich op grootschalige multimodale uitlijning. In de tweede fase volgde een verfijningsproces waarbij gebruik werd gemaakt van gecureerde data, fijnmazige relevantie-supervisie en cross-scale kennisoverdracht.
Deze aanpak heeft geleid tot resultaten die volgens de auteurs van het leidend zijn op diverse publieke benchmarks. Een opvallend resultaat is dat de kleinste variant van 2B parameters al beter presteert dan een voorheen leidende open-source baseline van 8B op de MMEB-v2 benchmark. De grootste variant, de 9B-versie, wist een nieuwe state-of-the-art score van 80,6 te behalen.
Praktische toepassing binnen het WeChat-ecosysteem
De theoretische prestaties van de modellen zijn vertaald naar concrete verbeteringen binnen de diensten van WeChat. De technologie is reeds op grote schaal geïmplementeerd in zoek- en aanbevelingsapplicaties. Specifiek wordt WeMM-Embedding ingezet binnen WeChat Channels, Official Accounts, Moments en diverse e-commerce diensten.
De effectiviteit van de modellen werd getest via een intern benchmark-traject bestaande uit 26 verschillende taken, waarbij aanzienlijke winst werd geboekt. Daarnaast rapporteert het team in de consistente verbeteringen over 14 online A/B-tests.
Context van het platform
De implementatie van deze AI-modellen vindt plaats binnen een van de meest uitgebreide digitale ecosystemen ter wereld. Zoals beschreven door gizmodo.com, is WeChat veel meer dan een eenvoudige berichtenapp; het is een multifunctioneel platform met meer dan een miljard gebruikers. Naast tekst- en spraakberichten biedt het platform diensten aan zoals het betalingssysteem WePay en diverse mini-apps voor dagelijkse taken, zoals het boeken van taxi's of medische afspraken.
Door de integratie van universele multimodale embeddings kan WeChat de interactie tussen deze diverse diensten verbeteren. Het stelt het systeem in staat om content over verschillende media-vormen heen beter te begrijpen en te koppelen, wat essentieel is voor moderne AI-toepassingen zoals retrieval-systemen, classificatie en agentische systemen.
Om verder onderzoek in het vakgebied te stimuleren, hebben de ontwikkelaars zowel de modelgewichten als de bijbehorende code vrijgegeven, zoals vermeld in de . Hiermee hopen de onderzoekers bij te dragen aan de ontwikkeling van universele representaties van data in de computer vision en natuurlijke taalverwerking.