Une équipe de recherche de l’université technologique de Nanyang, à Singapour, a récemment présenté une nouvelle méthode de suivi des mouvements humains pour les métavers.
L’une des principales caractéristiques du métavers est la capacité de représenter en temps réel des objets et des personnes du monde réel dans le monde numérique. Dans la réalité virtuelle, par exemple, les utilisateurs peuvent tourner la tête pour changer le point de vue ou manipuler des contrôleurs physiques dans le monde réel pour influencer l’environnement numérique.
Le statu quo pour capturer l’activité humaine dans le métavers utilise des capteurs basés sur des appareils, des caméras, ou une combinaison des deux. Cependant, comme les chercheurs l’ont écrit dans leurs documents de recherche pré-imprimés, ces deux modalités ont des limites directes. Le système de capteurs basés sur des appareils, tel qu’un contrôleur portable doté de capteurs de mouvement, « ne capture des informations qu’en un seul point du corps humain et ne peut donc pas modéliser une activité très complexe », écrivent les chercheurs. Quant aux systèmes de suivi par caméra, ils sont confrontés à des environnements à faible luminosité et à des obstacles physiques.
Entrée en scène des capteurs WiFi
Depuis des années, les scientifiques utilisent des capteurs WiFi pour suivre les mouvements humains. À l’instar des radars, les signaux radio utilisés pour envoyer et recevoir des données WiFi peuvent être utilisés pour détecter des objets dans l’espace. Les capteurs WiFi peuvent être réinitialisés pour mesurer le rythme cardiaque, suivre les schémas de respiration et de sommeil, et même détecter les personnes à travers les murs. Les chercheurs en métavers ont tenté de combiner les méthodes de repérage traditionnelles avec la censure du WiFi, avec des taux de réussite variables jusqu’à présent.
L’entrée dans l’intelligence artificielle
Le repérage des réseaux WiFi nécessite l’utilisation de modèles d’intelligence artificielle. Cependant, l’entraînement de ces modèles s’est avéré très difficile pour les chercheurs.
« Les solutions existantes utilisent les modalités Wi-Fi et la vision repose sur des données étiquetées en vrac qui sont très difficiles à collecter. [Nous proposons une nouvelle solution HAR multimodale non supervisée, MaskFi, qui utilise uniquement des vidéos non étiquetées et des données d’activité Wi-Fi pour l’entraînement du modèle », écrit le chercheur dans son article.
Pour former les modèles nécessaires à l’expérimentation de la censure du WiFi pour le HAR, les scientifiques doivent constituer une bibliothèque de données d’entraînement. Les ensembles de données utilisés pour former l’intelligence artificielle peuvent contenir des milliers, voire des millions de points de données, en fonction des objectifs spécifiques du modèle. Souvent, l’étiquetage de cet ensemble de données est la partie la plus fastidieuse de cette expérience.
Le MaskFi entre en scène
Une équipe de l’université technologique de Nanyang a construit un « MaskFi » pour relever ces défis. Il utilise des modèles d’intelligence artificielle construits à l’aide d’une méthode appelée « apprentissage non supervisé ».
Dans le paradigme de l’apprentissage non supervisé, un modèle d’intelligence artificielle a été formé précédemment sur un ensemble de données beaucoup plus petit et a ensuite été itéré jusqu’à ce qu’il soit capable de prédire l’état de la sortie avec un niveau de précision satisfaisant. Cela permet aux chercheurs de se concentrer sur le modèle lui-même plutôt que sur l’effort fastidieux de construction d’un ensemble de données d’entraînement robuste.
Selon les chercheurs, le système MaskFi atteint une précision d’environ 97 % sur deux critères de référence connexes. Cela suggère que ce système, grâce à un développement futur, peut servir de catalyseur pour une toute nouvelle modalité de métavers : un métavers qui peut fournir une représentation réelle de 1:1 en temps réel.
