Wetenschappers hebben een doorbraak geforceerd in de analyse van menselijke bewegingen met de introductie van HALO. Dit nieuwe fundamentele AI-model is specifiek ontwikkeld voor Human Activity Recognition (HAR), waarbij bewegingspatronen worden geanalyseerd aan de hand van traagheidsmetingseenheden (IMU's). Het model slaagt erin om activiteiten consistenter te herkennen, ongeacht de gebruikte sensoren of de specifieke persoon die de beweging uitvoert.
In een wetenschappelijke publicatie op arxiv.org leggen onderzoekers Zihan Ding, Liyu Zhang en Xiaomin Ouyang uit dat HALO staat voor Heterogeneity-Aware Language-aligned Open-set model. De ontwikkeling komt voort uit een noodzaak om de beperkingen van huidige HAR-technologie aan te pakken. Een groot knelpunt in de sector is namelijk de zogenaamde 'sensing heterogeneity'. Dit fenomeen zorgt ervoor dat dataverzameling sterk varieert door verschillen in bemonsteringssnelheden, de configuratie van kanalen en de exacte positie van sensoren op het lichaam.
Om deze variabiliteit te overwinnen, hanteert HALO een trainingsmethode in twee stappen. De eerste fase richt zich op een IMU-encoder die via zelfgesuperviseerd leren wordt getraind. Hierbij worden technieken zoals kanaalonafhankelijke kenmerkextractie en adaptive-pooling tokenization ingezet. Een innovatief element is de integratie van natuurlijke taalbeschrijvingen van de sensoren binnen de kanaal-embeddings, wat bekendstaat als contextualized sensor conditioning.
In de tweede fase wordt de encoder gekoppeld aan tekst-embeddings via synonym-aware soft contrastive learning. Deze aanpak stelt het model in staat tot 'open-set recognition'. Dit houdt in dat HALO activiteiten kan identificeren via cosine-similarity retrieval, waardoor het niet langer nodig is om voor elke nieuwe dataset een specifieke classifier te bouwen. Volgens de details in de is het model bovendien zeer efficiënt: met ongeveer 35 miljoen trainbare parameters is het tien keer kleiner dan het model MOMENT, dat 341,2 miljoen parameters bevat.
De prestaties van HALO zijn indrukwekkend. De zero-shot open-set accuracy over 87 trainingslabels steeg met 13,7 procentpunt. Het model is getraind op tien openbare datasets en getest op zeven externe datasets. Hierbij bleek HALO superieur aan vijf state-of-the-art baselines op alle acht geaggregeerde metrieken. Er zijn echter ook grenzen aan de technologie; bij datasets met een extreme 'distribution shift' faalden alle geteste modellen, inclusief HALO, in de zero-shot herkenning.
Vanwege de naam HALO kan er verwarring ontstaan met commerciële producten. Hoewel de naam identiek is aan de bekende gameserie die beschikbaar is via de xbox.com, is er geen enkele link tussen dit AI-onderzoek en de gaming-industrie. De focus van het project ligt volledig op machine learning en de analyse van sensordata, wat potentieel grote toepassingen heeft. Voor meer informatie over de gamingfranchise kan men terecht op de xbox.com, maar dit staat volledig los van de wetenschappelijke prestaties van het HALO-model.