Alors que l’industrie électronique ne cesse d’améliorer la réalité virtuelle (RV) et la réalité augmentée (RA), un concept encore plus vaste fait son apparition : le métavers. Alors que la réalité virtuelle et la réalité augmentée sont essentiellement visuelles par nature, nous attendons du métavers qu’il fasse appel à tous nos sens pour fusionner les mondes réel et numérique en une expérience encore plus riche.
La RV et la RA sont certes visuelles, mais cette expérience visuelle nécessite un ensemble de capteurs et d’actionneurs qui n’ont rien à voir avec la détection ou l’émission de lumière. Les capteurs de positionnement, de stabilité et de mouvement sont fondamentaux. Les données provenant de ces différents capteurs doivent être traitées, et les logiciels capables d’intégrer ces données pour produire des expériences de plus en plus riches et agréables doivent être perfectionnés en permanence. Le développement de la RV/AR n’a pas été un mince défi.
L’expérience du métavers nécessitera plus de capteurs, plus de types de capteurs différents, une puissance de traitement beaucoup plus importante et des logiciels toujours plus sophistiqués. L’orchestration de tout cela sera une tâche d’autant plus formidable qu’elle est tout à fait réalisable, mais le processus ne manquera pas de nous occuper tous.
Pour mieux comprendre ce que pourrait être le métavers, il est utile de jeter un rapide coup d’œil sur la situation actuelle.
RV, RA, RM, XR, métavers
La RV peut inclure des représentations numériques de lieux réels de notre monde physique, des représentations virtuelles d’environnements qui n’existent pas, ou tout autre mélange imaginable de réel et de fantastique, pour autant qu’il soit généré par ordinateur.
La RA et la réalité mixte (RM) partent toutes deux du monde réel et physique et y ajoutent un élément virtuel. L’élément virtuel peut aller de simples données alphanumériques à des objets, des personnages ou des scènes animés. Ce qui distingue la RA de la RM est encore une question d’opinion. Lorsque des distinctions sont faites, elles portent généralement sur des questions de degré, sur l’équilibre entre le réel et le virtuel.
Pour rendre les choses encore plus obscures, il y a aussi le XR. Pour certains, le X de XR n’est qu’un substitut des V, A et M de VR, AR et MR, respectivement. D’autres disent que le X de XR signifie « étendu », et bien sûr il n’y a pas d’accord sur ce que cela signifie non plus. La réalité étendue peut être synonyme de métavers – ou non. Il se peut aussi qu’elle ne soit qu’un terme fourre-tout qui évite d’avoir à énumérer « VR, AR, MR et le métavers » à chaque fois que le sujet est abordé.
Si les termes restent flous, les technologies impliquées peuvent être considérées comme quelque peu définitives, du moins pour l’instant. Pour commencer, la RV est définie par l’utilisation de lunettes et le sera probablement toujours.
À l’heure actuelle, la RA et la RM tendent toutes deux à s’appuyer sur un support transparent (lunettes de vue ou lunettes de protection) ou sur un objet doté d’une caméra et d’un écran qui peuvent se comporter comme s’ils étaient transparents (un smartphone ou, à nouveau, des lunettes de protection), accompagnés d’un mécanisme qui permet aux utilisateurs de percevoir des données et des images numériques. Actuellement, les technologies de la RA et de la RM sont très similaires, et si la XR est quelque chose, c’est qu’elle n’est pas définie de manière adéquate, donc pour le reste de cet essai, nous allons garder les choses simples et nous référer uniquement à la RV, à la RA et au métavers.
Il n’y a pas non plus d’accord sur la définition du métavers, mais nous avons déjà exprimé notre opinion. Nous pensons qu’il est inutile de construire un métavers s’il ne va pas au-delà de la RV et de la RA pour englober la vue, le son, le toucher, l’odorat et le goût.
Nous pensons donc que le métavers sera défini par une technologie qui complétera les lunettes, voire les remplacera. Il s’agira très certainement d’objets à porter sur soi. Ceux-ci pourraient prendre presque n’importe quelle forme, des bijoux (par exemple, les montres intelligentes) aux vêtements intelligents, en passant par les prothèses, et peut-être même un jour, dans un avenir lointain, par les implants médicaux.
Écrans pour la RV, la RA et le métavers
Les humains sont des créatures visuelles, et cela ne changera pas. La RV et la RA seront donc naturellement des éléments fondamentaux du métavers. Les écrans sont fondamentaux pour la RV et la RA.
Les systèmes de RV reposent presque exclusivement sur des écrans numériques insérés dans des lunettes. Les systèmes de réalité augmentée adoptent des approches différentes, mais ils se résument généralement à monter un minuscule écran numérique quelque part dans le champ de vision de l’utilisateur ou à projeter un contenu numérique sur le(s) verre(s) des lunettes.
TDK a récemment introduit une nouvelle option de projection. Nous avons créé un petit module laser léger qui projette des images numériques en couleur. Un réflecteur intégré aux lentilles des lunettes dirige la projection directement sur la rétine de l’utilisateur. Cette technique présente l’avantage de produire des images claires et nettes, même pour les personnes dont la vision est imparfaite.
Cette approche permet de construire des casques plus petits et beaucoup moins lourds que ceux qui utilisent d’autres écrans profonds. Le poids n’est peut-être pas un problème majeur pour les lunettes de réalité virtuelle, mais les casques plus légers seront sans aucun doute appréciés. En revanche, la taille et le poids posent problème pour les casques de réalité augmentée. L’indifférence du marché de masse à l’égard de la réalité augmentée jusqu’à présent est attribuable, du moins en partie, au fait que le matériel est encombrant, lourd et peu attrayant.
Nous pensons que la construction de casques AR avec de minuscules modules laser pourrait contribuer à accélérer les ventes de casques AR et le développement d’applications AR.
Détection pour la RV et la RA
Tous les mouvements humains possibles et imaginables pourraient être intégrés dans une application de RV ou de RA, et il est donc nécessaire de pouvoir détecter les têtes qui pivotent, les doigts qui pointent, les corps qui s’accroupissent, le tout avec six degrés de liberté (6DoF) ou neuf (9DoF). Ces capteurs doivent être extrêmement précis ; une détection de mouvement imprécise peut entraîner divers degrés de désorientation chez certains utilisateurs.
Le mouvement est une chose, la position en est une autre. Un utilisateur de RV peut se déplacer vers l’avant, vers l’arrière ou latéralement dans l’espace, mais en général, les applications de RV n’obligent pas les utilisateurs à le faire. Cela dit, la sécurité de l’utilisateur dépendra toujours de la capacité de la plate-forme de RV à détecter et à suivre l’emplacement des utilisateurs dans l’espace réel, par exemple pour éviter les collisions avec les murs. Il est également utile de détecter tout ce qui se trouve dans cet environnement : meubles, autres personnes, animaux, etc.
La plupart des systèmes de réalité augmentée doivent tenir compte de la mobilité totale dans l’espace physique réel et doivent donc disposer d’une détection précise de la position. Le risque de distraction est inhérent au concept de la réalité augmentée ; à tout moment, lorsqu’il porte un système de réalité augmentée, l’utilisateur peut être en train de lire, de regarder une vidéo ou de réagir à un objet virtuel. Il est impératif que le système de réalité augmentée compense la distraction de l’utilisateur en étant conscient de l’environnement à sa place.
Les capteurs disponibles pour détecter l’environnement et fixer la position sont les suivants :
Accéléromètres pour les mouvements linéaires
Gyroscopes pour les mouvements de rotation
des magnétomètres à résistance magnétique en tunnel (TMR) pour une détection directionnelle très performante
Capteurs de pression pour détecter le positionnement vertical / la hauteur
Capteurs à ultrasons pour la détection du temps de vol (ToF), utiles pour la télémétrie et la détection d’objets.
Lidar/radar pour la détection et l’identification d’objets
Microphones MEMS pour l’interface vocale
Capteurs de température corporelle/ambiante pour la détection de l’environnement
Capteurs visuels pour la détection d’objets et également pour la ToF
Des accéléromètres à trois axes et des gyroscopes à trois axes sont combinés pour détecter les mouvements avec 6DoF. L’intégration d’un magnétomètre à 3 axes permet une détection à 9DoF. Ces capteurs peuvent être utilisés dans presque toutes les combinaisons, en fonction des exigences d’une application VR ou AR donnée, ou d’un ensemble d’applications.
Les applications de RV à utilisateur unique ont-elles besoin d’une détection ToF, par exemple ? Peut-être pas. Mais peut-être aussi. L’une des raisons d’ajouter la détection ToF serait d’obtenir une détermination précise de l’emplacement des mains des utilisateurs de RV dans l’espace réel, afin que des représentations numériques précises de leurs mains puissent être incorporées dans le monde virtuel. Avec un certain niveau minimum de précision, il serait possible de se passer de ces dispositifs portables supplémentaires que certaines plates-formes de RV utilisent pour le suivi des mains.
Prenons aussi le cas d’un jeu VR multi-utilisateurs. Vous pourriez vouloir utiliser des capteurs ToF pour déterminer la position relative des joueurs les uns par rapport aux autres dans le monde réel et utiliser ces informations dans deux modes – dans le monde réel pour éviter les collisions et dans le monde virtuel pour empêcher les avatars des joueurs d’interférer les uns avec les autres.
Une école de pensée affirme que les plates-formes de RA n’ont peut-être pas besoin de la série de capteurs la plus sophistiquée pour la détection de mouvement, le positionnement et la détection d’objets. L’idée est que l’environnement sera truffé de capteurs et que les données pertinentes seront collectées et partagées entre tous les utilisateurs de RA (et éventuellement les utilisateurs du métavers) par l’intermédiaire d’un réseau sans fil.
Cela pourrait bien finir par se produire, mais il est peut-être optimiste de penser que le monde sera bientôt aussi riche en capteurs, ou qu’il y aura une infrastructure sans fil adéquate avec une couverture étendue. Selon nous, le monde peut bénéficier de la RA utile (et du métavers) beaucoup plus rapidement si les plates-formes de RA effectuent la majeure partie ou la totalité de leur propre détection. Cela nécessitera peut-être plus de traitement local, mais le risque de décalage ou de retard sera plus faible, et il devrait être plus facile de protéger les données des utilisateurs de cette manière.
Le son et la vue
Il peut y avoir des raisons pour que les plates-formes de RV utilisent un microphone afin d’intégrer le son de l’environnement réel. D’un autre côté, il y a de nombreuses raisons pour que les appareils de réalité augmentée surveillent le son de l’environnement.
La reconnaissance vocale à elle seule pourrait être utile d’innombrables façons. Toute information transmise par la voix pourrait être utilisée directement. Une adresse ou des indications pour se rendre à un endroit pourraient être automatiquement saisies dans une application cartographique. Des applications de traduction pourraient être déclenchées automatiquement. Il existe de nombreuses raisons d’enregistrer le son ambiant, seul ou en conjonction avec la vidéo.
Nous voudrions intégrer des caméras dans les plates-formes de réalité augmentée pour les mêmes raisons que celles pour lesquelles nous les utilisons dans nos smartphones. En fait, certains s’attendent à ce que les appareils de réalité augmentée remplacent certains smartphones, peut-être même tous à terme. Et qui sait quelles applications utilisant l’audio et la vidéo les développeurs de la réalité augmentée pourraient concevoir ?
Le métavers : Imaginer l’avenir
Si le métavers finit par faire appel à tous nos sens, les plates-formes du métavers intégreront certainement des capteurs de mouvement, des capteurs de position, des caméras et des microphones.
Mais qu’en est-il du toucher ? Les données provenant des mêmes capteurs que ceux utilisés pour la détection de mouvement, le positionnement et la détection d’objets peuvent être introduites dans des dispositifs haptiques. Il peut s’agir de bracelets, de gants, de combinaisons partielles ou complètes.
Il existe aujourd’hui des technologies haptiques en cours de développement qui peuvent non seulement fournir un retour d’information physique sur le fait que l’on touche quelque chose, mais aussi transmettre la texture de cet objet.
Dans le cas de la RV et de la RA, les « rigs » sont essentiellement des lunettes, des casques d’un type ou d’un autre. Cependant, le métavers est susceptible d’être modulaire et d’impliquer de nombreux vêtements différents qui peuvent être utilisés dans n’importe quelle combinaison en fonction des applications du métavers que chaque personne choisit d’utiliser et du degré d’immersion qu’elle souhaite pour ses expériences dans le métavers.
Le goût et l’odorat complètent les sens. Les détecteurs de CO2, par exemple, sont couramment disponibles et pourraient donner l’alerte en cas de conditions environnementales potentiellement dangereuses que la plupart des gens ne pourraient pas détecter par eux-mêmes.
La détection des odeurs et des saveurs se fait déjà aujourd’hui à l’aide d’une variété de détecteurs et de capteurs capables d’identifier la présence – et parfois même les proportions – de divers composés chimiques.
Recréer le goût et l’odeur pour l’utilisateur relève encore du domaine de la science-fiction. En effet, les plates-formes du métavers ne seront probablement jamais en mesure de nous communiquer le goût d’une recette ou l’odeur d’une sélection théorique de senteurs différentes combinées en un parfum. Cela dit, une sélection de détecteurs de gaz et de produits chimiques pourrait être en mesure de vous dire si un aliment est dangereux ou quelle marque de liqueur a été utilisée dans le cocktail que vous venez de commander.
