Wetenschappers hebben een innovatieve methode ontwikkeld die persoonlijke robots in staat stelt om hun lichaamsbewegingen tijdens het spreken af te stemmen op de specifieke stijl van een menselijke gesprekspartner. Deze ontwikkeling richt zich op zogenaamde 'co-speech gestures', waarbij de robot non-verbale signalen gebruikt om de interactie natuurlijker te laten verlopen. Het bijzondere aan deze aanpak is dat het systeem werkt zonder dat er sprake is van tijdrovende of rekenintensieve model-retraining.
In een wetenschappelijke publicatie op arxiv.org leggen Bosong Ding en zijn medewerkers uit hoe deze 'training-free' pijplijn functioneert. De techniek maakt gebruik van een bevroren, audio-geconditioneerde 'diffusion prior', die wordt gecombineerd met lichtgewicht conditionele adapters en een specifieke encoder voor gebarenstijlen. De encoder is getraind om onderscheid te maken tussen verschillende sprekers, waarna het systeem via een diffusie-doelstelling wordt verfijnd.
Het proces is uiterst efficiënt: de robot kan een herbruikbare 'stijl-embedding' extraheren uit een korte opname van menselijke bewegingen van slechts tien seconden. Omdat dit via een enkele 'forward pass' gebeurt, kan de machine zeer snel leren hoe een specifieke persoon beweegt tijdens het spreken. Volgens de details in het zorgt dit ervoor dat de robot zich razendsnel kan aanpassen aan de gebruiker.
Om de effectiviteit van deze methode te bewijzen, hanteerden de onderzoekers twee meetwaarden: de Style Recognition Accuracy (SRA) en de Fréchet Gesture Distance (FGD). De SRA geeft aan in hoeverre de personalisatie succesvol is, terwijl de FGD de algehele kwaliteit van de bewegingen meet. De resultaten waren opvallend: de SRA steeg van 27,6% bij de standaardinstelling naar 69,5% met de nieuwe methode. De kwaliteit van de bewegingen bleef daarbij stabiel, met een FGD-waarde van 34,2 tegenover 34,8. Ter controle bleek dat het vervangen van de embedding door die van een ander persoon de SRA deed kelderen naar 11,4%, wat bevestigt dat de robot daadwerkelijk de stijl van de specifieke gebruiker overneemt.
De theorie is ook in de praktijk getoetst door de gegenereerde gebaren te implementeren op een fysieke NAO-robot. Hierbij werden vijf verschillende stemmen gebruikt voor tekst-naar-spraak synthese. Zelfs in deze real-world setting bleef de SRA hoog, namelijk 67,3%. Om dit resultaat te bereiken, hebben de auteurs een dataset vrijgegeven met spontane bewegingen van tien deelnemers en een applicatie voor de Quest 3 ontwikkeld om deze data vast te leggen.
Hoewel de inhoud van een boodschap vaak centraal staat bij effectieve communicatie, zoals wordt besproken in diverse myperfectwords.com, benadrukt dit onderzoek het belang van de non-verbale component. Het spiegelen van gebaren kan de acceptatie van sociale robots verhogen en een sterkere emotionele band creëren tussen mens en machine. Door de focus te leggen op de fysieke expressie, wordt de kloof tussen menselijke intuïtie en robotische interactie verder verkleind, zoals verder uitgewerkt in de van het project.