Découvrez comment l’innovateur HoloLens fournit aux entreprises technologiques de premier plan des solutions de travail immersives.
Microsoft travaille déjà avec une liste de clients estimés pour distribuer son portefeuille de solutions immersives afin de répondre à une série de cas d’utilisation en entreprise. Ces partenariats interviennent alors que l’entreprise technologique de premier plan se prépare à lancer son Metaverse industriel l’année prochaine.
L’un des clients XR de Microsoft est Nexco-East Engineering, qui exploite environ 4 000 km de voies rapides au Japon. L’entreprise a récemment déployé une application de formation immersive pour l’équipement ETC et les installations d’urgence des tunnels, qui s’appuie sur les technologies de RM et de jumeau numérique.
Actuellement, la région est confrontée à un problème social émergent : les 10 000 km de voies rapides du Japon sont endommagés après plus de 30 ans d’utilisation par le public. Selon Nexco-East, les voies rapides japonaises nécessitent une maintenance importante des revêtements routiers, des ponts et des tunnels.
Dans son centre de formation technique (TTC) situé à Takasaki, Gunma, les stagiaires de Nexco-East peuvent accéder au service de formation alimenté par Microsoft. L’entreprise affirme que ce service de formation permet à chaque ingénieur d’acquérir les connaissances et les compétences nécessaires pour mener à bien les tâches de réparation et de maintenance.
Tetsuo Hideshima, directeur général et responsable de la planification générale de Nexco-East Engineering, a ajouté :
Chez Nexco-East Engineering, nous veillons à ce que les automobilistes puissent emprunter les voies rapides en toute sécurité en effectuant des inspections et des dépannages tout au long de la journée et de l’année. Pour assurer l’entretien et la gestion continus des voies rapides, il est essentiel d’effectuer des contrôles et des diagnostics approfondis sans négliger les moindres changements dans les installations et les structures. À cette fin, la rationalisation et l’économie de main-d’œuvre basées sur les TIC sont impératives.
Masayuki Namiki, directeur général de TTC, a également fait remarquer :
Chez TTC, plus de 1 000 de nos ingénieurs participent chaque année à des programmes de formation. Ils suivent une formation pour améliorer leurs compétences sur la base du système interne de vérification des compétences afin de devenir des experts en inspection et en maintenance des voies rapides, appelés « médecins des autoroutes ».
Résoudre les problèmes avec les solutions XR
En raison de la complexité croissante des voies rapides, les stagiaires de Nexco-East ont besoin de scénarios de formation immersifs de plus en plus sophistiqués et pertinents, qui s’appuient sur des visualisations en 3D. Pour tirer parti des nouvelles possibilités de formation, Nexco-East s’est tournée vers la RM afin de visualiser les données de formation essentielles.
Selon Nexco-East, l’entreprise s’est heurtée à des obstacles lors des expériences d’apprentissage pratique traditionnelles lorsqu’elle abordait des matériaux de construction complexes, ce qui a nécessité une normalisation numérique approfondie de la formation par le biais des services immersifs de Microsoft.
La solution de formation immersive de Microsoft et de Nexco-East vise à traduire l’utilisation pratique et réelle de l’équipement ETC dans un espace de formation virtuel sûr et reproductible.
Yoshitaka Nakamura, directeur de la division des travaux de construction des installations de Nexco-East Engineering, a expliqué que l’équipement ETC comprend de multiples dispositifs, ce qui nécessite une formation approfondie pour les travailleurs.
Nakamura a également noté que les sessions de formation doivent également montrer que « le fonctionnement de l’équipement ETC a été expliqué à l’aide de documents détaillés tels que des diagrammes de flux de communication radio et de signaux de contrôle sur papier, des diapositives PowerPoint et des exposés à la craie des instructeurs, puis testé avec des dispositifs ETC réels ».
ajoute Nakaruma :
Cependant, il faut beaucoup de temps pour comprendre les associations entre les supports de formation. De plus, les flux de signaux de communication et de contrôle radio sont impossibles à voir, et nous avons donc dû faire appel à l’imagination des stagiaires. Cela a entraîné des lacunes dans la compréhension.
Travailler avec le portefeuille immersif de Microsoft
Nexco-East a exploité les solutions de RM et de jumeau numérique de la marque Microsoft pour combler les lacunes en matière de connaissances et optimiser les résultats de l’apprentissage dans le cadre de son projet interne « MR for ETC equipment training » (RM pour la formation à l’équipement ETC).
L’entreprise a lancé le projet en s’appuyant sur l’imagerie de jumeaux numériques pour simuler l’équipement ETC ainsi que les systèmes intégrés tels que les capteurs infrarouges, la communication radio et les voies de communication de données.
En outre, l’entreprise travaille également avec DataMesh pour tirer parti des expériences de RM, des jumeaux numériques et des services XR.
Kensho Kashimada, directeur du marketing et des ventes de DataMesh Japan Co, a ajouté :
À l’époque, il n’y avait pas eu de tentatives similaires, du moins au Japon. La question était de savoir comment nous pouvions élaborer des supports de RM faciles à comprendre pour chaque stagiaire, alors qu’il n’y avait pas de réponse correcte à la question de savoir à quoi devait ressembler le résultat.
Kashimada a également indiqué que son entreprise avait « procédé avec soin » au développement du service de formation XR par le biais de « séances d’audition répétées avec le département de direction du projet et les instructeurs TTC qui utiliseraient réellement l’outil dans la pratique ».
En outre, Kashimada a expliqué que lorsque les stagiaires reçoivent des cours avec seulement des « explications orales et des documents en 2D », Nexco-East a été témoin des difficultés rencontrées par les étudiants lorsqu’ils essayaient de comprendre les mécanismes de la CTE « de première main ».
Kashimada a également ajouté :
Nous avons également pu apprécier la valeur potentielle de l’outil que nous essayions de créer. Je pense donc que ce processus a été très utile.
Par conséquent, pour fournir des procédures de formation adaptées, Nexco-East a suivi une période de développement de six mois afin d’améliorer ses procédures de formation en combinant ses solutions de RM avec des méthodes d’enseignement traditionnelles pour améliorer les résultats d’apprentissage de tous les stagiaires. Nexco-East utilise également le casque Hololens 2 de Microsoft ainsi que des tablettes pour sécuriser la formation.
Kashimada explique à nouveau :
Normalement, la précision du SLAM (localisation et cartographie simultanées) dans le positionnement de la superposition MR dépend de la performance du matériel. Cependant, pour cette formation à la RM pour l’équipement ETC, les fonctions SLAM de la plateforme de jumeaux numériques propriétaire de DataMesh (FactVerse) ont été utilisées pour uniformiser les niveaux de précision SLAM de plusieurs appareils.
Après le lancement réussi du projet, l’entreprise prévoit de lancer un autre apprentissage intuitif de la RM appelé « RM pour la formation aux installations d’urgence dans les tunnels ».
Le pouvoir des jumeaux numériques dans la formation immersive
L’industrie XR est pleine de terminologie technologique et de mots à la mode, comme d’autres secteurs émergents. Toutefois, l’essor du métavers industriel et de ses applications dans le monde réel s’accompagne d’une légitimation de certaines technologies intégrées.
Les jumeaux numériques sont une technologie d’entreprise immersive clé qui accompagne l’avenir du métavers industriel de 2024.
Les jumeaux numériques sont déjà une solution couramment exploitée pour de nombreux cas d’utilisation en entreprise, notamment l’AEC, la conception de produits et la formation immersive. La technologie présente des similitudes avec les fichiers CAO, ce qui permet aux utilisateurs de s’y retrouver.
Cependant, les jumeaux numériques se distinguent des types de fichiers 3D précédents par leur capacité à recréer des objets avec un niveau de détail très élevé, y compris en reproduisant de multiples petits composants et défauts. En outre, la technologie peut créer des représentations 3D d’objets en mouvement ou en cours d’utilisation pour faciliter la formation.
Pour Nexco-East, la société a travaillé avec ses partenaires de projet pour reproduire les mouvements de l’équipement. DataMesh, par exemple, a créé des visualisations de structures internes pour développer une formation à l’équipement ETC basée sur la RM et adaptée à la situation.
En outre, en tirant parti de la technologie immersive, Nexco-East peut créer des possibilités de formation uniques qui ne sont pas disponibles par le biais des méthodes traditionnelles.
Namiki explique :
Dans le passé, nous présentions des échantillons de tuyaux provenant d’équipements réels et des illustrations pour enseigner leurs structures et leurs opérations, mais nous ne pouvions pas réellement faire passer de l’eau à travers eux pour démontrer le mécanisme. De plus, les explications variaient quelque peu d’un instructeur à l’autre. Comme pour l’équipement ETC, l’écart entre les niveaux de compréhension des stagiaires a été reconnu comme un problème.
L’entreprise exploite les solutions immersives de Microsoft et de DataMesh pour offrir de nouvelles possibilités de formation, telles qu’une fonction qui permet aux mentors d’ajuster la transparence de l’eau via une animation de jumeau numérique XR montrant l’eau s’écoulant à l’intérieur d’un pipeline. Il s’agit donc d’une simulation précise de la manière dont l’eau s’écoule et s’arrête à l’intérieur d’un tuyau.
En outre, l’entreprise intègre d’autres méthodes de simulation uniques, telles que la mise en œuvre de la façon dont le feu affecte l’équipement, permettant aux stagiaires d’expérimenter de manière réaliste des situations qui sont difficiles à enseigner en dehors des simulations numériques – « de l’écoulement de l’eau et du mécanisme d’ouverture de la vanne aux choses qui se passent derrière les tuyaux, tout est compréhensible en un coup d’œil », a fait remarquer Hideshima.
Les derniers développements du métavers industriel de Microsoft
L’année dernière, à la même époque, nombreux étaient ceux qui pensaient que l’HoloLens était sur le point de disparaître. Après des controverses internes, des licenciements et des réorganisations, la division immersive de Microsoft semblait presque stagner alors que l’entreprise s’orientait vers des solutions d’IA générique.
Cependant, en arrière-plan, Microsoft travaillait à l’optimisation de son portefeuille de produits XR, destinés aux utilisateurs finaux des entreprises. Cette décision a été prise alors que d’autres entreprises, comme Apple et Meta, ont dévoilé des casques MR qui pourraient – encore – dépasser la gamme HoloLens de Microsoft. Cependant, Microsoft concentre son portefeuille XR uniquement sur les utilisateurs finaux des entreprises, sans ambition claire d’atteindre le marché des consommateurs, ce qui lui permettrait peut-être de rester seul sur le marché.
À la suite de diverses interventions de représentants de l’entreprise, Microsoft a finalement donné au public un aperçu de sa feuille de route immersive, qui s’aligne sur les nouveaux objectifs de l’entreprise en matière de genAI.
Microsoft a discrètement dévoilé des informations concernant une feuille de route industrielle Metaverse lors de son événement Inspire 2023, qui présente les dernières innovations de l’entreprise. Suite aux commentaires de Lili Cheng, Corporate Vice President of Business Applications and Platforms chez Microsoft, il est clair que Microsoft lance son Metaverse industriel et sa feuille de route de produits MR avec des plans pour tirer parti des récentes innovations de l’entreprise en matière d’IA.
M. Cheng a récemment expliqué que l’IA et le XR devraient coexister pour améliorer les résultats de divers cas d’utilisation en entreprise. Selon le vice-président de l’entreprise, les investissements de Microsoft dans le service émergent CoPilot, alimenté par l’IA générative, amélioreront également le service de guide dynamique MR pour les casques XR.
M. Cheng a également souligné l’importance et le rôle des technologies intégrées telles que les jumeaux numériques, expliquant que la visualisation et les données RT3D permettent aux travailleurs de première ligne de « mieux comprendre les machines et les processus en cours ». Le vice-président a déclaré que l’IA améliore les technologies XR intégrées.
M. Cheng a ajouté : « La réalité mixte est les yeux et les oreilles de l’entreprise :
La réalité mixte est les yeux et les oreilles de l’IA. Il devient plus facile d’explorer les nuances des opérations pour un apprentissage personnalisé et approfondi. Lorsqu’elles sont intégrées, la réalité mixte et l’IA accélèrent la formation des travailleurs, en raccourcissant les étapes et en fournissant aux utilisateurs les connaissances pratiques dont ils ont besoin pour la tâche à accomplir.
