Qu’obtenez-vous si vous croisez l’avion d’entraînement à réaction le plus performant du monde occidental avec un système de casque de réalité augmentée (RA) à la pointe du progrès ? Une révolution dans la formation au pilotage.
Aujourd’hui, de nombreuses forces aériennes se trouvent dans une situation similaire en ce qui concerne la formation haut de gamme des pilotes et les scénarios tactiques réalistes. Le nombre insuffisant d’avions de combat et de pilotes, le coût élevé de l’exploitation de ces ressources et d’autres facteurs tels que la maintenance et la disponibilité, la sécurité, les restrictions de l’espace aérien, le bruit et même aujourd’hui les préoccupations relatives aux émissions de carbone, réduisent le nombre de possibilités d’entraînement tactique multi-aéronefs de haute intensité.
Dans le même temps, les missions de contingence en cours signifient que les rares heures de vol, en particulier pour les avions de chasse, sont invariablement consacrées aux exigences opérationnelles plutôt qu’à la formation. Une solution, bien sûr, est d’employer une formation plus synthétique dans des simulateurs, ou des constructions virtuelles réelles (LVC) où des « bandits virtuels » peuvent prendre la place d’avions réels sur les écrans radar. Cependant, en LVC, il y a toujours eu un écart significatif et apparemment insurmontable une fois qu’un combat BVR est passé à l’arène visuelle. Comment se former ou combattre une « entité virtuelle » que l’on ne peut pas voir ?
Aux États-Unis, Dan Robinson, ancien pilote de chasse de l’ARF, réfléchissait à la manière de réduire les coûts de formation et de combler l’écart final dans le domaine de la formation visuelle tactique. Après avoir piloté des F-22 Raptors dans le cadre d’un échange avec l’USAF en tant qu’instructeur, M. Robinson a été frappé par l’immense coût du vol de ces chasseurs de première ligne très coûteux pour l’entraînement ou pour l’utilisation de ces appareils dans le cadre d’un exercice tactique multi-avions de grande envergure. « Quand je n’enseignais pas sur le F-22, je passais la plupart de mon temps à voler, c’est-à-dire à fournir un soutien aérien rouge sur un avion dont le vol coûte 100 000 dollars. »
Outre les dépenses, il y a aussi les restrictions de disponibilité et les inquiétudes concernant la sécurité des vols – ce qui entraîne une diminution des possibilités d’entraînement haut de gamme, pour vraiment pousser les pilotes à leurs limites. Même dans le cadre d’une formation réelle, les règles strictes de sécurité dans les simulations de combats de chiens signifient que certaines tactiques de guerre (comme les tirs de face) sont interdites, ce qui peut conduire à une formation négative. Et si des solutions d’entraînement par intégration synthétique, comme le « radar virtuel », sont disponibles dans de nombreux avions d’entraînement (y compris le Hawk T.2), elles ne sont utiles que pour apprendre les procédures et les délais au-delà de la portée visuelle (BVR). Une fois que le combat se rapproche et qu’il est à portée visuelle, l’illusion est rompue et aucun entraînement utile ne peut plus être effectué. En outre, si certaines armées de l’air et certains pilotes ont la chance de pouvoir s’entraîner au DACT contre d’autres types de chasseurs ou des forces aériennes amies lors d’exercices, cela devient de plus en plus rare, car les autres armées de l’air sont confrontées aux mêmes problèmes de réduction des effectifs et des budgets.
M. Robinson déclare : « Il y a un manque d’entraînement à la fois pertinent et à grande échelle. Nous ne disposons pas d’un nombre suffisant d’avions pour assurer ce type d’entraînement et même si nous en disposions, il devient de plus en plus difficile de fournir des avions adverses qui soient pertinents dans le monde d’aujourd’hui ». Concernant les radars synthétiques actuels et les systèmes de guerre électronique intégrés, il observe : « Dès que nous passons au combat à distance visuelle, tout le système de formation s’effondre. »
Mais que se passerait-il si, par exemple, les pilotes occidentaux pouvaient voler en combat visuel avec les derniers J-20 chinois et les derniers Su-57 russes, AVANT de se lancer dans un véritable dogfight ? Comme l’a découvert le programme américain « Constant Peg », qui a permis à des pilotes américains de voler secrètement contre des MiG soviétiques, il existe une « valeur de choc » lorsqu’un type d’ennemi est rencontré pour la première fois – certains rapports indiquent que certains pilotes ont manqué des occasions de tir en raison de la nouveauté de voir un chasseur ennemi partager le ciel avec eux de près.
Aujourd’hui PDG et fondateur de Red 6, M. Robinson a entrepris de combler la dernière lacune de la formation tactique en utilisant la réalité augmentée (RA). Le concept fait appel à un écran couleur léger monté sur casque (HMD), capable d’injecter des avions amis et ennemis, des SAM, des traînées de missiles et même des explosions en 3D dans le monde réel pour que le pilote puisse voler et se battre. Le HMD utilise un GPS et des accéléromètres semblables à ceux des smartphones de tous les jours pour connaître sa position et son orientation précises. Les tirs de traçage des armes à feu, les explosions et la fumée des missiles ne sont pas de simples gadgets graphiques dignes de Call of Duty, explique M. Robinson, mais des repères visuels essentiels pour le pilote de chasse. « De toute ma vie d’instructeur, nous n’avons jamais été en mesure de proposer de tels scénarios », ajoute-t-il : « Nous avons créé un jeu vidéo multijoueur qui se joue en plein air. »
Au fait, qu’est-ce que la réalité augmentée ?
La réalité augmentée (RA) (par opposition à la réalité virtuelle) est tout système visuel qui projette des informations sur le monde extérieur devant les yeux de l’utilisateur. On pourrait dire que l’histoire de la réalité augmentée dans l’aviation est plus longue qu’on ne l’imagine, puisque les premiers viseurs assistés par radar des années 1950 prenaient les données des capteurs du monde extérieur pour les superposer en une cible mobile pour le pilote. Depuis lors, les HUD sont devenus de plus en plus complexes et ont présenté de plus en plus d’informations au pilote, et se sont étendus des utilisateurs militaires aux applications des compagnies aériennes et des avions d’affaires – fusionnant les données du monde extérieur.
L’étape suivante a été l’apparition des HMD, qui permettent de présenter des symboles de type HUD devant le pilote. Ils ont commencé avec de simples données de vol, mais aujourd’hui, dans leurs dernières versions, comme sur le F-35, les casques Striker II et Scorpion peuvent insérer des images et des vidéos en mouvement, ainsi que des symboles en couleur devant les yeux du pilote. Ceci, avec le système de vision monté sur la tête SKYLENS d’Elbit, disponible pour les turbopropulseurs régionaux ATR qui viennent d’entrer dans le secteur de l’aviation civile.
Parallèlement, dans le monde grand public, la puissance des cartes graphiques des jeux vidéo modernes ainsi que la miniaturisation des écrans de plus en plus haute résolution des smartphones et des tablettes ont permis une percée de la RA et de la RV à des fins commerciales. Celles-ci fusionnent les informations du monde extérieur (généralement fournies par le GPS) pour superposer des informations sur l’écran ou le casque. Ces dernières années, des applications comme Pokemon Go et des casques comme les Google Glass et le Microsoft Hololens ont vu le jour. Cependant, sur les systèmes de casque haut de gamme comme le Hololens, une limitation critique a été que la RA a été, jusqu’à présent, limitée aux applications intérieures. À l’extérieur, la luminosité nécessaire pour les écrans, la latence (délai pour bouger rapidement la tête) et le large champ de vision requis posent des problèmes majeurs. La RA dynamique en extérieur dans un véhicule en mouvement, et en particulier un véhicule aussi rapide qu’une voiture de course ou un avion de chasse, était impossible jusqu’à récemment, lorsque la technologie a rattrapé la vision de Robinson.
Selon Robinson : « La percée technologique clé que nous avons réalisée répondait à une question simple : pouvons-nous prendre la réalité augmentée, qui est une industrie assez naissante, et faire en sorte que la technologie fonctionne pour la toute première fois en extérieur et dans des environnements dynamiques. »
En 2019, Red 6 a reçu une subvention de développement de l’incubateur technologique AFWERX de l’USAF et, en 2021, a décroché un contrat de cinq ans de plusieurs millions de dollars d’une valeur de 70 millions de dollars pour accélérer l’utilisation de la RA avec l’US Air Force, dans le but d’intégrer la RA dans l’entraîneur avancé des services, le T-38.
L’entreprise teste déjà le HMD sur deux avions légers Berkut 540, qui offrent des performances sportives et, en tant qu’avions à poussée, une vue du cockpit semblable à celle d’un pilote de chasse. En tant qu’ancien pilote de chasse, M. Robinson met la main à la pâte en tant que PDG : « Je me rends régulièrement sur le terrain pour effectuer des manœuvres de combat aérien avec un ailier virtuel contre deux J-20 chinois qui sont contrôlés par une intelligence artificielle et qui pensent par eux-mêmes. »
Après avoir annoncé un accord avec Boeing en septembre 2022 pour travailler à l’intégration de son système de réalité augmentée tactique avancée (ATARS) sur les produits Boeing tels que le T-7A Red Hawk et le F-15EX, Red 6 a également signé en novembre un protocole d’accord avec BAE Systems pour travailler à l’intégration de ce système de RA sur le Hawk.
Le Hawk de BAE Systems n’a pas besoin d’être présenté. Il a volé pour la première fois en 1974 et est devenu l’un des succès militaires à l’exportation les plus populaires du Royaume-Uni, avec plus de 1 000 appareils construits. Il a été progressivement amélioré et modifié, passant des « jauges à vapeur » à la dernière norme T.2, qui comprend des écrans numériques, un radar synthétique et des systèmes d’armes. Bien qu’il ait vieilli par rapport aux nouveaux venus comme le Leonardo M346, le Lockheed Martin/KAI T-50 et le Boeing T-7A, il est encore plus jeune que l’actuel avion d’entraînement avancé T-38 de l’USAF.
De plus, il dispose d’une base d’utilisateurs dans le monde entier, notamment la RAF, le Canada, la Finlande, l’Inde, l’Indonésie et l’Australie, le dernier client étant le Qatar. Il a également obtenu le rare succès de voir un avion de construction britannique sélectionné par l’US Navy et adapté au Boeing T-45 Goshawk. Avec ces utilisateurs, ce sont en moyenne 455 pilotes qui sont formés sur le Hawk chaque année dans le monde.
Il existe donc une base mondiale d’utilisateurs désireux d’obtenir toute mise à niveau à moindre coût qui pourrait être incorporée au Hawk afin d’améliorer ses capacités et de maintenir sa pertinence. Lucy Walton, responsable de la formation chez BAE Systems Air, déclare à propos du potentiel de l’intégration de la RA de Red 6 dans le Hawk : « Du point de vue de BAE, nous considérons trois éléments clés : le temps, le coût et la performance. Certains de nos clients veulent former les pilotes plus rapidement et les envoyer plus vite sur le front. Alors comment pouvons-nous utiliser l’application de la technologie de la RA pour faire passer nos étudiants par le système, plus rapidement ? Cela permettra également de réduire la charge liée à la nécessité de disposer de ressources réelles et d’un espace aérien, et d’utiliser au mieux les instructeurs pour des entretiens individuels avec les élèves. Du point de vue des coûts, nous pouvons réduire le nombre d’heures de vol nécessaires sur nos plates-formes grâce à l’utilisation de la RA et potentiellement télécharger la formation depuis les plates-formes de première ligne. Cela permet également une plus grande répétitivité pour les étudiants – la rapidité avec laquelle nous pouvons nous réinitialiser dans les airs lors d’une mission et avoir cette répétitivité de la formation, encore et encore. »
Walton note également le potentiel de la RA combinée à l’IA pour pousser les étudiants à leurs limites : « Le dernier point est absolument le plus important – la performance. Que pouvons-nous donc faire pour exploiter la technologie et l’IA de Red 6 afin d’améliorer les résultats de la formation ? Actuellement, lorsque nos étudiants s’entraînent, ils le font souvent par rapport à une plateforme similaire, ce qui n’est absolument pas représentatif de ce qui se passe. L’application de l’IA que Dan et l’équipe utilisent nous permet donc de modifier la menace qui pèse sur l’étudiant, qui ne sait pas ce qui va se passer ensuite, et l’IA peut apprendre et continuer à défier les étudiants au fur et à mesure qu’ils avancent dans le processus de formation. »
L’un des défis est le niveau d’intégration dans la plateforme de l’avion. À un niveau de base, il pourrait s’agir simplement du HMD AR et éventuellement d’une tablette pour le contrôler, sans intégration plus poussée avec les systèmes avioniques de l’avion. Cela permettrait au pilote de s’entraîner au vol en formation, à l’AAR et aux dogfights WVR. Dans le cadre d’une solution plus complexe, le système AR pourrait être intégré aux radars synthétiques/réels, aux systèmes d’armes et aux systèmes de guerre électronique existants de l’avion afin de fournir un scénario d’entraînement au combat de bout en bout, permettant au pilote de passer du combat BVR à la fusion et de recevoir des alertes RWR en corrélation avec les lancements de SAM guidés par radar. Selon Walton : « Du point de vue de Hawk, il y a différents niveaux d’intégration que nous pouvons atteindre au fur et à mesure de l’exploration et du voyage. Il s’agit de l’intégration d’un joueur unique, de l’intégration d’un multijoueur et de la possibilité d’une mise à niveau, absolument. Nous travaillons avec l’équipe de Red 6 pour étudier le kit qui doit être installé sur l’avion et la façon dont il s’interface avec l’avion. Dans un premier temps, vous pouvez l’intégrer sans toucher au modèle de vol opérationnel, puis, à mesure que nous passons à des niveaux d’intégration plus avancés, nous pouvons augmenter les capacités au fil du temps. »
D’autres applications ?
Outre l’utilisation de la RA pour le combat aérien, l’AAR et le vol en formation, la technologie de Red 6 pourrait avoir d’autres applications, limitées par l’imagination – et ce n’est peut-être que le début. Dans une vidéo de Red 6, l’entreprise a déjà démontré qu’elle pouvait ajouter un « porte-avions virtuel » entier semblant flotter dans les nuages, dans le champ de vision des pilotes, ce qui permet aux étudiants de s’entraîner à l’approche d’un porte-avions avec seulement des nuages en dessous d’eux s’ils se trompent. De nombreux pilotes privés connaissent cette technique de « circuit bashing » qui utilise les nuages comme terrain virtuel, mais avec la réalité augmentée, cette technique peut être portée à un niveau supérieur.
La RA ne se limite pas non plus à l’injection de représentations 3D d’avions ou de navires physiques dans le HMD – étant synthétique, la seule limite est l’imagination et il est facile d’imaginer d’autres icônes, textes ou symbologies utiles qui pourraient également être ajoutés ou superposés. Par exemple, en plus du modèle 3D d’un avion ennemi inséré pour que les pilotes puissent le combattre, sa vitesse, sa distance ou son G pourraient être superposés à la cellule, ce qui permettrait à un pilote novice de reconnaître rapidement les états d’énergie et d’estimer les distances. Un cône de « zone de contrôle » superposé derrière l’aéronef pourrait également constituer une aide à la formation utile, qui pourrait être retirée une fois que l’élève est familiarisé avec les bases.
La RA pourrait également être utile pour améliorer la sécurité, par exemple en superposant une aide à la navigation de type « autoroute dans le ciel » dans des conditions IFR, ou même un ruban virtuel d’un schéma de circuit à afficher dans la vue du pilote pour permettre à un étudiant d’apprendre les repères visuels et la hauteur de décision correcte. Les possibilités sont infinies.
Un autre avantage de ce LVC est qu’avec les yeux indiscrets qui observent de nombreux exercices de grande envergure, le fait de déplacer l’ailier virtuel et les ennemis à l’intérieur d’un environnement synthétique rend plus difficile pour un ennemi potentiel de discerner de nouvelles tactiques qui pourraient être utilisées contre ses propres pilotes. Un seul aéronef pourrait s’entraîner dans le cadre d’un énorme engagement aérien, maritime et terrestre multi-domaine, mais de l’extérieur, il semblerait qu’il vole au hasard.
À l’avenir, si les travaux de recherche et de développement de BAE sur les « cockpits virtuels » portent leurs fruits, la technologie AR devrait être intégrée à la plate-forme aérienne centrale Tempest/GCAP. Cela permettrait d’aller encore plus loin, en permettant à un HMD de devenir un écran de cockpit presque infiniment extensible et personnalisable. Ainsi, non seulement les écrans du cockpit pourraient être redimensionnés et déplacés selon les préférences du pilote, mais les informations tactiques réelles, telles que les parapluies d’engagement SAM et l’espace aérien, pourraient être visualisées sous forme de zones 3D. À l’avenir, ce « métavers » de symbologie et d’icônes riches en informations, superposé au monde réel, deviendra probablement aussi omniprésent pour le pilote de chasse moderne qu’une HMD. Selon M. Robinson, les applications opérationnelles de la RA et de l’IA dans le contexte des futures plateformes de domination aérienne sont nombreuses. Je pense qu’il s’agit de la prochaine étape logique, évolutive, au-delà des capteurs de cinquième génération… pour savoir comment rendre ces informations assimilables par les opérateurs. »
