Cela fait presque deux ans que la première réunion d’ophtalmologie s’est tenue dans le métavers. La Digital Ophthalmic Society a organisé sa réunion de 2022 dans l’espace virtuel, alors que le métavers explosait dans les médias et devenait le centre d’intérêt de nombreuses entreprises technologiques.
Au cours de ces deux années, les technologies de réalité virtuelle (RV) et de réalité augmentée (RA) ont continué à se développer, et pas seulement pour servir d’espace de réunion virtuelle. L’ophtalmologie, spécialité traditionnellement férue de technologie, s’est intéressée à ces nouvelles réalités pour leur potentiel dans la formation, l’éducation des patients et même les applications pendant la chirurgie en direct.
Avec l’arrivée rapide de toutes ces nouvelles technologies, Eric D. Rosenberg, DO, souligne qu’il est important de comprendre la différence entre la RV et la RA et comment elles s’intègrent dans l’avenir des soins oculaires.
« Avec la réalité virtuelle, nous parlons d’un environnement entièrement virtuel », explique-t-il. « Vous êtes enfermé, où tout ce qui vous entoure – tout votre environnement – est peuplé par l’ordinateur. »
Le meilleur exemple de technologie RV est l’Oculus (Meta), dit-il. Lorsqu’une personne met le casque, le monde réel est bloqué et l’utilisateur ne peut voir que ce qui est projeté à l’intérieur.
Alors que la RV est entièrement générée par ordinateur, la RA utilise des images générées par ordinateur pour augmenter l’environnement réel de l’utilisateur.
« Vous regardez votre environnement réel autour de vous, et il existe des systèmes de superposition qui vous aident à naviguer dans votre environnement actuel », explique Rosenberg. « Le meilleur exemple de ce type de casque serait l’Apple Vision Pro. Vous pouvez marcher dans votre propre espace tout en affichant votre navigateur web, votre calendrier ou vos messages texte. »
Qu’il s’agisse de RV, de RA ou d’une combinaison des deux, ces technologies décrivent une nouvelle interface humaine appelée informatique spatiale, explique Tommy Korn, MD.
« Nous entrons dans une ère où nous pouvons enfin toucher et véritablement comprendre les données en trois dimensions », dit-il. « Auparavant, nous pensions que les écrans d’ordinateur plats ou les tablettes suffisaient pour visualiser des images médicales en 3D, comme les scanners CT ou IRM. Cela ne fait pas le poids face à ces mêmes images en informatique spatiale. »
Applications
Au sein de son cabinet à Sharp HealthCare à San Diego, Korn et ses collègues ont créé le Spatial Computing Center of Excellence, où le système de santé explore des moyens d’intégrer l’informatique spatiale dans les soins aux patients.Lorsque l’Apple Vision Pro est sorti plus tôt cette année, Korn a déclaré que Sharp HealthCare avait acheté plus de 30 casques le premier jour.
« Nous les avons distribués aux cliniciens en santé numérique, aux chirurgiens, aux informaticiens et aux développeurs du système de santé pour voir quels nouveaux services numériques nous pouvions développer à partir de cette nouvelle technologie », a-t-il déclaré.
Korn a indiqué que son équipe a travaillé avec des partenaires industriels pour créer la première application d’informatique spatiale en ophtalmologie, le Zeiss Surgery Optimizer.
« Cette application alimentée par l’IA aide les chirurgiens à préparer et à analyser leurs chirurgies de la cataracte par le biais de simulations, d’analyses et d’optimisations en utilisant le microscope Artevo 850 (Zeiss) et l’Apple Vision Pro », a-t-il déclaré. Ces contributions ont été mentionnées lors du discours d’ouverture d’Apple en mai par le PDG d’Apple, Tim Cook.
Rosenberg a déclaré que la RA permet aux chirurgiens de s’asseoir dans leur propre bureau et de discuter de cas avec des collègues du monde entier tout en intégrant des fonctionnalités informatiques dont ils pourraient avoir besoin, comme un scanner CT ou une biométrie.
« Vous disposez d’une représentation virtuelle pour pouvoir discuter de ce qui se passe chez ce patient particulier, ce qui est un bon exemple d’une application combinant la RA et le métavers », a-t-il déclaré. « Nous en avons eu une bonne illustration lors du Comité clinique numérique de l’ASCRS. Tommy Korn était sur scène et regardait un auditorium vide.Il pouvait afficher sa biométrie dans une application, regarder une vidéo chirurgicale dans une autre, et il faisait allusion à l’interconnectivité qui va exister. Ce n’est pas encore tout à fait le cas, mais cela
va exister en exploitant les points forts de chacun de ces éléments et en commençant à les réunir pour avoir plus d’interopérabilité sur nos plateformes. »
D’après son expérience avec l’Apple Vision Pro jusqu’à présent, Korn a déclaré qu’il était excellent pour préparer et analyser la chirurgie de la cataracte grâce à la simulation spatiale, l’analyse vidéo et l’optimisation par l’IA des techniques actuelles.
« Ces appareils ne peuvent pas encore être utilisés dans les salles d’opération car ils nécessitent des certifications de sécurité internationales, malgré les histoires de leur utilisation dans des chirurgies en direct dans le monde entier », a-t-il déclaré. « Mais nous ne sommes qu’au début de l’informatique spatiale. Si vous reliez les points et regardez ce que nous avons fait jusqu’à présent, vous pouvez extrapoler ce qui va suivre. »
En se tournant vers l’avenir, « l’informatique spatiale en ophtalmologie présente trois avantages clés », explique Korn. « Premièrement, elle permet aux médecins de voir en véritable 3D. Deuxièmement, elle fournit une assistance en temps réel, indiquant exactement où faire des incisions, aligner les implants d’astigmatisme ou superposer des images de la cornée et de la rétine pour des procédures précises. Plus de devinettes, juste une précision sûre. Enfin, elle améliore la communication entre les médecins. Nous avons rarement le temps de parler, mais avec l’informatique spatiale, nous pouvons collaborer en temps réel, en manipulant ensemble des modèles 3D à l’aide d’applications de télésanté spatiale. »
L’ajout d’un composant RA à la chirurgie ophtalmique semble être une progression logique maintenant que plus d’entreprises ont mis des systèmes chirurgicaux numériques sur le marché. S.K. Steven Houston III, MD, a déclaré que le passage de la visualisation analogique à la visualisation numérique en chirurgie permet une intégration facile à mesure que la technologie progresse.
« Une fois que vous ouvrez cette plate-forme numérique pour la visualisation chirurgicale, vous pouvez commencer à avoir cette pile technologique et continuer à la développer », a-t-il déclaré. « Nous commençons déjà à voir la réalité augmentée se concrétiser. »
Houston a déclaré que le stade initial de cette intégration est surtout apparent en chirurgie de la cataracte, où des superpositions générées par ordinateur peuvent aider à l’alignement des IOL et à d’autres aspects de la planification chirurgicale.
Formation
Dans le passé, selon Rosenberg, le seul moyen de s’entraîner pour devenir chirurgien était d’apprendre dans la salle d’opération. Cependant, cela nécessite un patient et est risqué en raison de complications potentielles. Eyesi Surgical (Haag-Streit) et d’autres simulateurs peuvent offrir des expériences réalistes aux stagiaires.
« En médecine, nous sommes éternellement reconnaissants envers ceux qui nous aident à devenir les chirurgiens que nous sommes », a-t-il déclaré. « Maintenant, nous avons en quelque sorte un terrain d’entente avec ces simulateurs RV qui permettent aux gens de se familiariser avec leurs techniques chirurgicales. Avec le temps limité et les ressources limitées dont nous disposons,
nous pouvons vraiment utiliser des chirurgiens expérimentés dans la salle – via le métavers et la réalité virtuelle – pour aider les gens à sortir de situations difficiles, ce qui peut faire de vous un meilleur chirurgien que de simplement apprendre les étapes de base. »
De nouveaux simulateurs RV conçus par FundamentalVR, Alcon et d’autres ont déjà montré leur potentiel pour un transfert réussi des compétences dans la formation à la chirurgie ophtalmique. À terme, ces appareils pourraient passer à l’étape suivante : la robotique chirurgicale, selon Rosenberg.
« Nous allons probablement les voir augmenter ce que nous faisons en nous aidant à accomplir des tâches de motricité fine », a-t-il déclaré. « Une fois que nous serons à l’aise avec cela, nous commencerons à voir des solutions robotiques semi-autonomes et autonomes où les robots effectueront réellement une grande partie des étapes principales, et nous serons là pour assister la plateforme robotique. Nous pourrions même surveiller et piloter plusieurs robots en même temps, ce qui sera un défi à relever dans un avenir proche avec le nombre d’ophtalmologistes diplômés chaque année. »
Alors que les dispositifs physiques de RA et de RV peuvent être les outils de l’éducation future, la véritable mine d’or se trouve dans la connexion des meilleurs esprits du domaine dans le métavers. En tant que professeur d’ophtalmologie à la Duke University School of Medicine, Sharon Fekrat, MD
Sharon Fekrat, MD, FASRS, a pu constater comment les étudiants et les résidents peuvent bénéficier de l’apprentissage et de l’expérience des meilleurs chirurgiens du monde entier grâce au métavers.
« Ce que nous pouvons montrer dans l’amphithéâtre ou sur Zoom est entièrement bidimensionnel, mais tout ce que nous faisons dans la formation pratique en ophtalmologie est en trois dimensions », a-t-elle déclaré. « Dans le métavers, nous pouvons organiser des sessions de formation, des tours d’enseignement et des conférences de cas en utilisant des vidéos en trois dimensions. Vous pouvez inviter des ophtalmologistes et des spécialistes de la rétine experts du monde entier à participer à l’enseignement chirurgical des autres ou à bénéficier des conversations interactives. »
Le fait de capturer ces conversations dans le métavers permettra également aux futurs étudiants, stagiaires et autres personnes de revenir sur ces sessions enregistrées, de les revivre, d’écouter les discussions qui ont eu lieu et d’apprendre d’experts qui ne sont peut-être plus là, a déclaré Fekrat.
« Vous pouvez littéralement remonter le temps et vous placer, vous et votre avatar, dans cette salle du métavers et tout revoir », a-t-elle déclaré. « Vous pouvez en faire partie et écouter les conversations qui ont eu lieu entre les géants du domaine. »
MetaMed organise des réunions et d’autres événements dans le métavers depuis quelques années. Houston a déclaré qu’il y avait un grand intérêt de la part de la communauté médicale, et qu’une frange de médecins particulièrement férus de technologie s’y est complètement investie. Tous les deux dimanches, Rosenberg participe à des RetinaVerse Rounds, où des chirurgiens de la rétine du monde entier participent à des discussions de terrain sur la façon dont ils gèrent différents cas de rétine.
« C’est très amusant parce que nous arrivons enfin à trouver un moment où nous pouvons tous nous asseoir ensemble, ce que je ne fais pas souvent avec mes collègues rétiniens », a-t-il déclaré. « Si je pratique une fixation sclérale d’un implant IOL et une vitrectomie pars plana, je peux découvrir comment je peux m’améliorer. Qui de mieux pour m’apprendre qu’un spécialiste de la rétine de renommée mondiale ? »
Houston a déclaré qu’il fallait parfois un peu de persuasion pour que les gens achètent un casque RV pour profiter pleinement de l’expérience, mais pour certains médecins, cela devient une évidence.
« Ce sont ceux qui viennent et en font une habitude », a-t-il déclaré. « Ils peuvent avoir une idée de ce genre de choses sur un iPad ou un ordinateur de bureau, mais lorsqu’ils commencent à venir et à passer plus de temps à nos tours, ils demandent rapidement des casques et souhaitent en investir un. »
MetaMed travaille avec plusieurs sociétés pour faire avancer les volets éducatifs du métavers, a déclaré Houston. Les institutions universitaires et l’industrie ont également manifesté leur intérêt pour trouver des moyens d’utiliser le métavers.
« Ces sociétés voient qu’il y a un potentiel, non pas pour remplacer les réunions en personne, mais pour commencer à explorer des moyens d’avoir plus de points de contact, d’interactions plus régulières dans ces environnements immersifs et numériques », a-t-il déclaré. « En fin de compte, il s’agit vraiment de créer un environnement immersif et agnostique auquel toutes les parties prenantes participent, au lieu de construire une expérience cloisonnée. Vous pouvez créer un espace où les gens peuvent venir et interagir, et cela peut profiter à toutes les parties prenantes dans le processus. »
Au-delà de la formation des médecins
L’informatique spatiale peut offrir un nouveau moyen de guider les patients tout au long de leur traitement. Rosenberg a déclaré que l’informatique spatiale sera essentielle pour passer de la prise en charge synchrone au modèle actuel de prise en charge asynchrone.
« Les soins synchrones sont définis comme des diagnostics et des traitements administrés au moment de la visite clinique », a-t-il déclaré. « Cela fonctionne pour une grande partie de ce que nous faisons, mais pas pour tout. »
Il a déclaré que les soins asynchrones ont un potentiel dans des domaines tels que le dépistage du glaucome. En général,un patient doit prendre du temps sur son emploi du temps tous les 4 mois pour se rendre à la clinique afin de subir des évaluations du champ visuel ou de la couche de fibres nerveuses rétiniennes ou d’autres tests. La RV est déjà utile dans ce domaine, mais son extension aux soins à domicile est en cours d’élaboration.
« Une fois que les patients seront à l’aise avec
ces technologies, ils pourront les utiliser chez eux, dans des centres ou des kiosques situés dans des endroits plus pratiques. Grâce à ces soins asynchrones, le kiosque peut envoyer les informations à leur médecin pour qu’il consulte les résultats. Ils n’ont pas forcément besoin de se déplacer », a déclaré Rosenberg.
L’expérience immersive peut également offrir de meilleures possibilités d’éducation aux patients, a déclaré Fekrat.
« Certaines des prochaines étapes consisteraient à faire porter un casque aux patients dans les salles d’attente pour voir à quoi ressemblerait leur intervention chirurgicale ou pour en apprendre les risques et les avantages », a-t-elle déclaré. « Le fait de disposer de supports pédagogiques interactifs utilisant un casque RV et spécifiques à leur plan de soins constituerait un énorme avantage par rapport au simple fait de regarder quelqu’un leur parler sur un écran de télévision. »
Limitations et prochaines étapes
La technologie de l’informatique spatiale en est encore à ses débuts et présente des limitations. Le plus grand obstacle à une utilisation plus large, en particulier pour la RA, est le coût, selon Rosenberg.
« L’Apple Vision Pro commence à environ 3 600 dollars, mais si vous regardez les premiers produits typiques d’Apple, ils sont généralement assez chers », a-t-il déclaré. « L’ophtalmologie dans son ensemble est vraiment axée sur la technologie.Le problème est que nous devons leur montrer qu’il existe des cas d’utilisation, des applications et une rentabilité. »
Le coût est également un facteur limitant dans les environnements de formation. Bien que les casques de Meta soient nettement moins chers que ceux d’Apple (299 dollars), le prix peut être un problème pour certains étudiants, résidents et boursiers.
« Je pense que l’utilisation de la RV et même de la RA serait fabuleuse dans les programmes de résidence en chirurgie », a déclaré Fekrat. « Il pourrait arriver un moment où l’on fournirait des casques 3D aux résidents lorsqu’ils rejoindraient le programme, par exemple, de la même manière que certaines écoles de médecine fournissent à chaque étudiant des ordinateurs portables chargés de logiciels pertinents. Si les gens ont le matériel, l’intégration de la RV dans les programmes de formation sera beaucoup plus facile. »
À l’heure actuelle, cependant, tout se fait au coup par coup, les résidents partageant ou empruntant des casques, a déclaré Fekrat.
« J’aimerais voir une sorte de programme philanthropique pour faire don de matériel aux étudiants et aux résidents à des fins d’éducation et de formation », a-t-elle déclaré.
« Le matériel spatial de première génération est très prometteur », a déclaré Korn, « mais l’écosystème des applications logicielles en est encore à ses balbutiements. Les startups et les entreprises qui adoptent l’informatique spatiale et développent les bonnes applications spatiales pour l’ophtalmologie seront finalement récompensées. C’est comme planter un arbre – il faut attendre qu’il porte ses fruits. À mesure que l’écosystème de l’informatique spatiale se développera, nous verrons apparaître des applications en ophtalmologie et en soins de santé d’une manière que nous n’avons jamais imaginée. Des temps passionnants, alors restez à l’écoute ! »
