Le 21 novembre prochain, le Pr Thomas Gregory, chirurgien orthopédiste à l'hôpital Avicenne (Bobigny, AP-HP), réalisera la première opération au monde assistée par le casque de réalité augmentée HoloLens de Microsoft. L’intervention consiste en la pose d’une prothèse d’épaule.
Fondateur de la fondation Moveo consacrée au développement d'applications numériques en médecine et chirurgie, le Pr Gregory avait déjà réalisé en 2014 la première opération entièrement filmée en 3D et visualisable en réalité virtuelle grâce à l'Oculus Rift.
Le 21 novembre, il renouvellera l'expérience, en faisant cette fois-ci appel à la réalité augmentée et aux lunettes HoloLens pour une «première mondiale» qui va «montrer en quoi la révolution de la réalité mixte et augmentée agit concrètement pour le bénéfice des patients et de l'acte chirurgical», a-t-il expliqué à notre confrère TICSanté lors d'une présentation à la presse du dispositif.
Les HoloLens vont permettre au chirurgien d'apposer sur le corps du patient une modélisation 3D de son épaule, sorte d'hologramme de son corps reconstitué à partir d'imageries médicales, afin de guider plus précisément le geste chirurgical.
Techniquement, les imageries médicales sont chargées sur une plateforme fournie par Terarecon, spécialiste des solutions de visualisation avancée, afin de créer un volume 3D du corps humain.
Ce modèle peut être segmenté par des moteurs d'intelligence artificielle afin de se concentrer sur les masses osseuses, la structure vasculaire, d'éventuelles tumeurs ou toute autre structure d'intérêt, et permettre au chirurgien d'accéder à l'information dont il a le plus besoin lors de l'opération.
Les images sont transmises sur l'écran des lunettes HoloLens via le cloud Azure de Microsoft, permettant de «charger des modèles de résolution inégalée sans aucune limite de taille de fichier», a souligné Gaël Kuhn, directeur de produit chez Terarecon présent lors des journées Microsoft Experiences.
Le chirurgien peut ensuite commander l'hologramme par le geste ou par la voix pour le déplacer sous différents angles, ou demander à ne voir qu'un fragment précis de la modélisation 3D.
Une fois l'hologramme «fixé» sur le corps du patient opéré, des «moteurs d'intelligence artificielle de recalage en temps réel» permettent d'ajuster le modèle pour qu'il suive exactement les mouvements du patient, liés notamment à la respiration ou à certains actes de l'équipe médicale.
«Cela va nous permettre de disposer durant l'opération d'une foule d'informations (épaisseur exacte des tissus, emplacement précis des organes invisibles alentour), des constructions 3D pertinentes ou des coupes 2D. L'outil permet en quelque sorte d'augmenter les sens du chirurgien, de voir ce que les yeux ne peuvent pas voir in situ, et qui peut s'avérer pertinent pour rendre une incision plus précise, ou pour réduire le temps de l'opération», explique Thomas Gregory.
Le chirurgien muni des HoloLens peut également partager ce qu'il voit dans ses lunettes en temps réel avec d'autres spécialistes, qui à leur tour peuvent afficher des informations dans le champ de vision du chirurgien.
Pour l'opération du 21 novembre prochain, le Pr Gregory sera connecté en direct à trois confrères de l'université Lafayette en Louisiane, de l'Imperial College à Londres, et de l'université Chosun en Corée du Sud.
Le Pr Gregory a mis en avant l'intérêt des lunettes de réalité augmentée pour «disposer en temps réel du maximum d'informations issues de différentes sources comme les imageries et le dossier médical du patient», «avoir des sens augmentés qui permettent de voir à travers la peau du patient» ou encore «mieux préparer l'opération» en visualisant précisément la partie à opérer.
Il a estimé que les technologies de réalité virtuelle, mixte et augmentée, vont «booster la révolution numérique de deux secteurs» que sont la formation des chirurgiens par la simulation, et l'avènement d'une «chirurgie augmentée» qui doit amener une «standardisation des procédures» et «limiter les erreurs humaines».
> Source : Tic Santé
