Onderzoekers hebben een nieuw systeem ontwikkeld dat audio gebruikt om te bepalen of een ruimte bezet is, zonder dat dit de privacy van de aanwezigen in gevaar brengt. De methode biedt een betrouwbaarder alternatief voor traditionele bewegingssensoren, die vaak tekortschieten wanneer mensen stilzitten.
In moderne gebouwen worden verlichting en klimaatbeheersing (HVAC) vaak aangestuurd op basis van de bezettingsgraad van een ruimte. De meest gebruikte technologie hiervoor zijn passieve infraroodsensoren (PIR). Hoewel deze effectief zijn bij beweging, rapporteren ze een ruimte vaak als vacant wanneer de aanwezigen stilzitten, wat leidt tot ongemakken zoals het plotseling uitgaan van het licht. Volgens een recent onderzoek van Myeongwon Chae en Seonghyuk Son, gepubliceerd via arxiv.org, kan geluid een uitkomst bieden omdat zittende mensen nog steeds hoorbare signalen produceren, zoals het omslaan van pagina's, typen of hoesten.
Een tweestapsbenadering voor privacy
Het gebruik van microfoons in kantoorruimtes roept echter grote privacyvragen op. Om dit probleem aan te pakken, stellen de auteurs in hun publicatie een ontwerp voor dat uit twee fasen bestaat.
In de eerste fase wordt een 'on-device encoder' gebruikt. Deze zet elke seconde audio direct om in een korte embedding (een digitale representatie). In de tweede fase wordt deze stroom van embeddings naar een server gestuurd, waar een temporeel model bepaalt of de ruimte bezet is. Door de audio direct op het apparaat te coderen, wordt voorkomen dat ruwe audio-opnamen over het netwerk worden verzonden.
Resultaten en prestaties
Omdat er geen publieke dataset beschikbaar is die kantooraudio koppelt aan bezettingslabels, hebben de onderzoekers de twee fasen afzonderlijk getest. De encoder werd getraind met synthetische scenario's, bestaande uit opnames van lege kamers, kantoorgeluiden en spraak.
Bij het testen op elf echte kantooropnames uit de DCASE 2013-dataset behaalde het systeem een AUC-score van 0,87. Ter vergelijking: het gebruik van log-mel statistieken behaalde een score van 0,76. Daarnaast werd het systeem getest op de HPDmobile-dataset, die woningbezetting koppelt aan een amplitude-envelop van audio. Hierbij bleek een causaal temporeel model, getraind met een hiërarchische contrastieve loss, vergelijkbaar te presteren met handmatig ontworpen kenmerken (AUC 0,75). Opvallend is dat dit model beter presteerde wanneer er slechts één gelabelde dag per woning beschikbaar was.
De strijd tegen datalekken
Een cruciaal onderdeel van het onderzoek richtte zich op de beveiliging van de verzonden embeddings. De onderzoekers probeerden via aanvallen de oorspronkelijke spraak te herstellen. De resultaten tonen aan dat bij de nieuwe methode maximaal 1% van de gesproken woorden kon worden hersteld, terwijl dit bij log-mel frames wel 94% was, zoals beschreven in de .
Desondanks bleek de identiteit van de spreker nog wel een kwetsbaarheid. In aanvankelijke tests kon de spreker in 69% tot 77% van de gevallen worden geïdentificeerd uit een groep van 40 personen. De onderzoekers vonden echter manieren om dit risico te verkleinen. Door gebruik te maken van adversarial training voor noise-floor normalisatie, een 8-dimensionale embedding of het enkel verzenden van klasse-probabiliteiten, daalde de herkenningsgraad naar 38% tot 55%, zonder dat dit de detectieprestaties negatief beïnvloedde.
De auteurs concluderen dat dit tweestapsontwerp een praktische basis vormt voor privacybewuste akoestische bezettingsdetectie, waarbij de identificatie van de spreker het laatste lek is dat nog gedicht moet worden. Meer details over de methodiek en de gebruikte code zijn beschikbaar via de .