Depuis quelques années, les logiciels d'intelligence artificielle (IA) sont devenus des outils courants dans les centres hospitaliers aux États-Unis. Ils sont utilisés pour aider au diagnostic, surveiller l'état des patients et fournir des alertes en cas de changements brusques. Cependant, une inquiétante tendance semble se dessiner : certains soignants se trouvent contraints de suivre aveuglément les consignes de l'algorithme, même lorsqu'ils savent qu'il s'agit d'une erreur.

Le Wall Street Journal a récemment rapporté un cas poignant illustrant ce problème. Cynthia Girtz, une infirmière travaillant pour Kaiser Permanente Medical Group dans un centre d'appel en Californie, a reçu un coup de téléphone d'un ancien joueur de tennis se plaignant de toux, de douleurs thoraciques et de fièvre. En utilisant le logiciel d'IA de son institution, elle suit les recommandations de celui-ci en suggérant un simple rendez-vous téléphonique avec un médecin. Le logiciel n'autorisait une consultation urgente qu'en cas de crachement de sang, une option qui aurait été plus appropriée pour ce patient. Résultat : la pneumonie et d'autres problèmes graves n'ont été diagnostiqués que trop tard, et le patient est décédé quelques jours après l'appel.  L'infirmière a été tenue  pour responsable, estimant qu'elle aurait dû faire preuve de son jugement clinique pour passer outre l'algorithme. "Sous la pression de cette politique, l'infirmière Girtz l'a considérée comme une directive", a conclu le juge. L'infirmière, "en dépit de la politique de Kaiser, avait le devoir de fournir une évaluation infirmière raisonnable". En tant qu'employeur de l'infirmière, Kaiser a été condamné à verser environ 3 millions de dollars à la famille.

Dans un autre exemple, Melissa Beebe, infirmière travaillant dans une unité d'oncologie au UC Davis Medical Center, a été alertée par le logiciel d'une possible septicémie chez un patient. Avec ses 15 ans d'expérience, elle savait qu'il s'agissait d'une erreur et que le patient souffrait en réalité d'une leucémie. Face à cette situation, les règles de l'hôpital obligent Melissa Beebe à suivre les protocoles en cas de signalement de septicémie. Bien qu'elle puisse passer outre l'IA avec l'approbation d'un médecin, elle risque des sanctions disciplinaires en cas d'erreur. Par conséquent, elle se résout à suivre l'ordre de l'algorithme et effectue une prise de sang sur le patient, malgré les risques d'infection et les frais médicaux supplémentaires. "Quand un algorithme dit : 'Votre patient semble avoir une septicémie', je ne peux pas réfléchir. Je dois simplement faire ce qu'il me dit de faire", témoigne cette infirmière, également représentante du syndicat de l'Association des infirmières de Californie .

Finalement, l'algorithme s'avère incorrect, renforçant le dilemme éthique auquel Melissa Beebe est confrontée. "Je ne diabolise pas la technologie", affirme-t-elle, "mais je ressens une détresse morale quand je sais quoi faire et que je ne peux pas le faire."

Le problème ne vient pas tant de l'IA elle-même, qui a indéniablement permis des avancées en médecine, mais plutôt de son utilisation. L'algorithme devrait être un simple outil d'aide à la décision, mais dans certains hôpitaux, il est utilisé sans formation adéquate ni flexibilité, imposant ainsi ses recommandations aux soignants. Ces derniers peuvent se retrouver sous la pression de l'administration hospitalière, les poussant à suivre les consignes de l'IA sans autre choix possible.

Une étude récente a révélé que pour un quart des infirmières interrogées, les recommandations de l'algorithme n'étaient pas dans l'intérêt des patients selon leur jugement clinique. Cependant, seul un tiers d'entre elles pouvait déroger à ces recommandations sans autorisation préalable d'un médecin ou d'un superviseur. Ce manque de souplesse dans l'utilisation de l'IA soulève des questions éthiques et met en évidence la nécessité de reconnaître les limites de l'algorithme dans un contexte clinique.

L'IA ne doit pas être considérée comme une solution autonome, mais plutôt comme un outil complémentaire aux compétences et à l'expertise des soignants. Il est essentiel que les administrateurs d'hôpitaux comprennent les limites de l'IA dans le domaine médical et veillent à ce que son utilisation se fasse en collaboration étroite avec les professionnels de la santé. Cela permettra de garantir une meilleure prise en charge des patients et d'éviter les tragédies causées par des erreurs algorithmiques.

> Lire l'article du Wall Street Journal