Les technologies de réalité mixte immersive et de réalité étendue, qui comprennent la réalité virtuelle (RV) et la réalité augmentée (RA), continuent d’être des facteurs clés de l’innovation et de l’expansion des entreprises. En transformant la manière dont les entreprises de fabrication de produits de santé fonctionnent, interagissent avec leurs clients et atteignent leurs objectifs, cet ensemble de solutions technologiques a eu un impact significatif sur le paysage industriel.
Bien qu’elles en soient encore à leurs débuts, on estime que la RA et la RV dépasseront les 100 millions d’utilisateurs dans le monde d’ici 2027. En prenant conscience de cette tendance, il est clair que les organisations qui adoptent des services de développement d’applications AR/VR pour créer des expériences immersives pour leurs utilisateurs excelleront aujourd’hui et dans un avenir proche.
Qu’est-ce que l’AR/VR ?
Visant à améliorer la perception et l’interaction de l’utilisateur avec le monde numérique, la réalité augmentée (RA) et la réalité virtuelle (RV) sont deux technologies distinctes mais apparentées. Les principales distinctions entre la RA et la RV sont les dispositifs utilisés et la nature de l’expérience : La RA se déroule dans un environnement réel, tandis que la RV est entièrement virtuelle.
La RA et la RV sont toutes deux incluses dans la catégorie des technologies immersives connues sous le nom de XR (Extended Reality). Il existe également la réalité mixte (RM), qui est essentiellement une combinaison de la réalité augmentée (RA) et de la réalité virtuelle (RV). Elle combine les mondes physique et numérique pour créer un espace où ils vivent côte à côte et communiquent en temps réel.
En superposant des données numériques telles que des images, des vidéos et des modèles 3D à l’environnement physique, la réalité augmentée (RA) améliore la façon dont l’utilisateur perçoit son environnement et interagit avec lui. Le contenu numérique est généralement affiché en temps réel à l’aide d’un smartphone, d’une tablette ou de lunettes AR spécialisées.
Tout en restant conscient de son environnement immédiat, l’utilisateur de la technologie AR peut voir et interagir avec des objets virtuels. Il existe de nombreuses applications de la réalité virtuelle dans divers secteurs, notamment la fabrication, la construction, la vente au détail, les soins de santé et bien d’autres encore.
La réalité virtuelle permet d’immerger complètement un utilisateur dans un environnement numérique qui est simulé et peut ne pas ressembler du tout au monde réel. Le monde virtuel dans lequel les utilisateurs entrent lorsqu’ils portent un casque de réalité virtuelle peut être interactif et réagir à leurs mouvements.
La technologie vise à donner aux utilisateurs un sentiment de présence et d’immersion en leur donnant l’impression d’être réellement « à l’intérieur » d’un environnement virtuel. La réalité augmentée et la réalité virtuelle ont toutes deux des qualités distinctives qui offrent des possibilités commerciales intéressantes.
Ce qui est encore plus intéressant, c’est que ces technologies de réalité mixte immersive se combinent à l’intelligence artificielle (IA) 3D, à l’apprentissage automatique (ML), aux services cloud et à l’internet des objets (IoT) pour alimenter tout ce qui concerne la formation, la conception, l’ingénierie, la production, la robotique et l’automatisation pour les entreprises de tous les secteurs, en particulier dans l’environnement croissant du commerce électronique. En conséquence, les entreprises des secteurs de la fabrication, de la santé, de la technologie, de la construction, de l’énergie, de l’automobile, de l’aérospatiale et des services financiers (pour n’en citer que quelques-uns) sont plus compétitives et bien positionnées pour la croissance future.
En fin de compte, ces technologies sont exploitées pour aider les entreprises à prendre des décisions plus intelligentes et pour compléter virtuellement le capital humain afin de mieux servir le client. Ce faisant, les organisations peuvent créer une expérience plus solide et personnalisée pour les clients, qu’il s’agisse d’un consommateur final ou d’un partenaire tout au long de la chaîne d’approvisionnement. Dans tous les cas, les entreprises intelligentes et performantes déplacent leurs infrastructures de charge de travail vers des environnements en nuage afin de lancer et de gérer de nouveaux outils pour des opérations évolutives.
Les défis que la réalité mixte immersive continue de poser aux entreprises
Le défi est que ces technologies nécessitent de fortes doses de données, la capacité de traiter de vastes quantités de données à des vitesses impeccables, et la capacité de faire évoluer les projets dans un environnement informatique qui ne le permet pas souvent dans les environnements de bureau traditionnels.
es entreprises qui cherchent à tirer parti de » l’industrie 4.0 » à travers le métavers ont besoin d’une fusion précise et persistante des mondes réel et virtuel. Cela signifie qu’il faut rendre des modèles et des scènes complexes avec des détails photoréalistes, à l’emplacement physique correct (par rapport aux mondes réel et virtuel), à l’échelle correcte et avec une pose précise. Pensez à l’exactitude et à la précision requises pour tirer parti de la RA/VR pour concevoir, construire ou réparer les composants d’un moteur d’avion ou d’un appareil chirurgical avancé utilisé dans les applications médicales.
Pour ce faire, on utilise aujourd’hui des GPU discrets provenant d’un ou de plusieurs serveurs et on transmet les images rendues sans fil ou à distance aux écrans montés sur la tête (HMD) tels que le HoloLens de Microsoft et l’Oculus Quest.
L’importance de la 3D et de l’IA dans la réalité mixte immersive
L’une des principales exigences des applications de réalité mixte est de superposer avec précision à un objet son modèle ou son jumeau numérique. Cela permet de fournir des instructions de travail pour l’assemblage et la formation, et de détecter les erreurs ou les défauts de fabrication. L’utilisateur peut également suivre l’objet ou les objets et ajuster le rendu au fur et à mesure de l’avancement du travail.
La plupart des systèmes de suivi d’objets sur appareil utilisent le suivi d’images 2D et/ou de marqueurs. Cela limite considérablement la précision de la superposition en 3D, car le suivi en 2D ne permet pas d’estimer la profondeur avec une grande précision, et par conséquent l’échelle et la pose. Cela signifie que même si les utilisateurs peuvent obtenir ce qui semble être une bonne correspondance lorsqu’ils regardent sous un certain angle et/ou dans une certaine position, la superposition perd son alignement lorsque l’utilisateur se déplace en 6DOF. Par ailleurs, la détection et l’identification des objets, ainsi que l’estimation de leur échelle et de leur orientation – appelée enregistrement des objets – sont réalisées, dans la plupart des cas, de manière informatique ou à l’aide de méthodes simples de vision par ordinateur avec des bibliothèques d’apprentissage standard (exemples : Google MediaPipe, VisionLib). Cette méthode fonctionne bien pour les objets réguliers et/ou plus petits et plus simples tels que les mains, les visages, les tasses, les tables, les chaises, les roues, les structures géométriques régulières, etc. Cependant, pour les objets complexes et de grande taille dans les cas d’utilisation en entreprise, les données d’entraînement étiquetées (surtout en 3D) ne sont pas facilement disponibles. Il est donc difficile, voire impossible, d’utiliser le suivi basé sur l’image 2D pour aligner, superposer et suivre en permanence l’objet et fusionner le modèle rendu avec lui en 3D.
Les utilisateurs professionnels surmontent ces difficultés en exploitant les environnements 3D et la technologie de l’IA dans leurs projets immersifs de conception/construction en réalité mixte.
L’IA 3D basée sur l’apprentissage profond permet aux utilisateurs d’identifier des objets 3D de forme et de taille arbitraires dans différentes orientations avec une grande précision dans l’espace 3D. Cette approche est extensible à n’importe quelle forme arbitraire et peut être utilisée dans des cas d’entreprise nécessitant la superposition de modèles 3D complexes et de jumeaux numériques avec leurs équivalents dans le monde réel.
Elle peut également être mise à l’échelle pour enregistrer des structures partiellement achevées avec les modèles 3D complets, ce qui permet de poursuivre la construction et l’assemblage. Les utilisateurs obtiennent une précision de l’ordre du millimètre dans l’enregistrement et le rendu des objets grâce à cette approche de plateforme qui surmonte les limites de l’approche actuelle basée uniquement sur l’appareil. Cette approche du suivi des objets en 3D permettra aux utilisateurs de fusionner véritablement les mondes réel et virtuel dans les applications d’entreprise, ce qui ouvrira la voie à de nombreuses utilisations, notamment : la formation avec des instructions de travail contextuelles précises, la détection des défauts et des erreurs dans la construction et l’assemblage, ainsi que la conception et l’ingénierie en 3D avec un rendu et une superposition en 3D grandeur nature.
Pourquoi il est essentiel de travailler dans un environnement en nuage
Les entreprises et les fabricants doivent être prudents dans la manière dont ils conçoivent et déploient ces technologies, car il existe une grande différence dans la plateforme sur laquelle elles sont construites et dont l’utilisation est optimisée.
Même si des technologies telles que la RA/VR sont utilisées depuis plusieurs années, de nombreux fabricants ont déployé des solutions virtuelles sur les appareils, où toutes les données technologiques sont stockées localement, ce qui limite considérablement les performances et l’échelle nécessaires aux conceptions virtuelles d’aujourd’hui. Cela limite la capacité de partager les connaissances entre les organisations, ce qui peut être essentiel pour concevoir de nouveaux produits et comprendre la meilleure façon de procéder pour les constructions virtuelles.
Les fabricants surmontent aujourd’hui ces limites en exploitant des plateformes AR/VR basées sur l’informatique en nuage (ou sur des serveurs distants), alimentées par une architecture en nuage distribuée et une IA basée sur la vision 3D. Ces plateformes en nuage offrent les performances et l’évolutivité nécessaires pour stimuler l’innovation dans l’industrie, à la fois rapidement et à grande échelle.
