Les téléphones portables, les smartwatches et les oreillettes sont des gadgets que nous portons sur nous sans trop y penser. Le monde de plus en plus numérisé voit le fossé entre l’homme et la technologie se rétrécir, et de nombreux chercheurs et entreprises s’intéressent à la manière dont la technologie peut être davantage intégrée dans nos vies.
Et si, au lieu d’intégrer la technologie dans notre monde physique, nous nous assimilions à un environnement virtuel ? C’est ce que le professeur assistant Xiong Zehui, de l’Université de technologie et de design de Singapour (SUTD), espère réaliser dans le cadre de ses recherches.
Avec des chercheurs de l’Université technologique de Nanyang et de l’Université technologique de Guangdong, cette collaboration a pour l’instant donné lieu à un préprint, « Vision-based semantic communications for metaverse services : A contest theoretic approach. » La recherche sera présentée à la conférence mondiale sur les communications de l’IEEE en décembre 2023.
L’effort conjoint s’est concentré sur la notion de métavers – un univers de réalité virtuelle (VR) où les utilisateurs peuvent contrôler des avatars pour interagir avec l’environnement virtuel. Dans ce monde, les gens peuvent rencontrer d’autres personnes (par l’intermédiaire de leurs avatars), visiter des lieux virtuels et même faire des achats en ligne. Dans un sens, le métavers espère dépasser les limites de notre réalité physique.
L’un des défis à relever pour l’adoption généralisée des services métavers est la demande de synchronisation en temps réel entre les actions humaines et les réponses des avatars. « Dans le métavers, les avatars doivent être mis à jour et rendus pour refléter le comportement des utilisateurs. Mais la synchronisation en temps réel est complexe, car elle impose des exigences élevées au système d’allocation des ressources de rendu du fournisseur de services du métavers », a expliqué M. Xiong.
Les MSP assument une charge énorme, en relayant des quantités gargantuesques de données entre les utilisateurs et le serveur. Plus l’expérience est immersive, plus la charge de données est importante. Les personnes qui effectuent des actions rapides, comme courir ou sauter, seront plus susceptibles de voir leur avatar perdre en fluidité, car le MSP s’efforce de suivre.
Une solution courante consiste à limiter le nombre d’utilisateurs dans un seul environnement virtuel, en veillant à ce que le MSP dispose de suffisamment de ressources, ou de bande passante, pour simuler tous les utilisateurs, quelle que soit leur activité. Cette approche est très inefficace, car les utilisateurs qui ne bougent pas se verront attribuer des ressources excédentaires dont ils n’ont pas besoin. Seuls les utilisateurs qui se déplacent beaucoup ont besoin de mises à jour constantes de leur avatar, et donc d’une bande passante excédentaire. La question qui se pose alors est la suivante : comment allouer les ressources sans les gaspiller ?
Xiong et son équipe ont proposé un nouveau cadre pour optimiser l’allocation des ressources dans les MSP, avec pour objectif global de garantir une expérience fluide et immersive à tous les utilisateurs. Le système utilise une technique de communication sémantique appelée « estimation de la pose humaine » (HPE) pour réduire en premier lieu la charge d’informations pour les utilisateurs. La distribution la plus efficace des ressources entre les utilisateurs a été réalisée à l’aide de la théorie des concours, les appareils des utilisateurs étant en concurrence pour obtenir juste assez de ressources pour simuler leurs avatars.
La première étape d’une interface transparente entre l’avatar et l’utilisateur nécessite un encodage efficace de l’information vers les MSP. Prenons l’exemple d’une caméra qui capture les mouvements d’un être humain pour les traduire en mouvements de son avatar. Chaque image capturée par la caméra est remplie d’informations d’arrière-plan redondantes qui ne sont pas utiles pour modéliser les personnages virtuels.
Dans HPE, l’ordinateur est chargé d’identifier les humains en tant qu’objet et de ne mettre en évidence que les articulations du squelette. Sur la base des articulations, l’algorithme peut reconstruire un modèle simple de type stickman qui peut être envoyé aux MSP. Cette caricature guide ensuite les MSP pour modéliser les actions de l’avatar. Dans le cadre de cette recherche, Xiong et son équipe ont réussi à réduire d’un million de fois la charge de données, passant de mégaoctets à octets.
Avec ces économies massives de bande passante, l’équipe s’est ensuite tournée vers la modélisation des interactions entre les MSP et le réseau d’utilisateurs à l’aide de la théorie des concours. Dans cette approche, les utilisateurs (ou plutôt leurs appareils) sont des concurrents qui se battent pour les ressources du MSP. L’algorithme cherche à minimiser la latence pour tous les utilisateurs sur une quantité fixe de ressources disponibles. Dans le même temps, les appareils individuels décident de leur propre taux de mise à jour, en fonction des actions entreprises par l’utilisateur.
Pour tester le décalage, l’algorithme mesure les différences de position de l’avatar avec différents taux de mise à jour. Les utilisateurs confrontés à un décalage présenteront des écarts importants entre leurs stickmen HPE et leurs avatars. Dans le même temps, les ressources du MSP sont traitées comme une récompense décernée aux concurrents qui ont obtenu de bons résultats sans décalage.
Cependant, chaque utilisateur doit encore être en mesure de déduire avec précision la bonne quantité de ressources à demander au MSP. Face à la complexité de la tâche, l’équipe s’est tournée vers l’apprentissage automatique. Un réseau neuronal, baptisé « deep Q-network » (DQN), optimise les ressources distribuées. Dans ce cadre, les efforts de l’équipe ont permis d’améliorer de 66 % le décalage entre tous les utilisateurs, par rapport aux méthodes traditionnelles.
Xiong est optimiste pour l’avenir du métavers, citant les soins de santé, l’éducation et le marketing comme des domaines potentiels qui pourraient bénéficier des services du métavers. Il a déclaré : « Parmi les évolutions ou les progrès que j’attends avec le plus d’impatience, il y a l’intégration de technologies de pointe telles que l’IA générative et la RV, ainsi que la croissance des économies mondiales, numériques et virtuelles. Il sera passionnant de voir comment ces avancées façonnent l’avenir des métavers. »
