ChatGPT meilleur psychiatre que les professionnels de la spécialité ?

Lorsqu’un tuto « Comment transformer ChatGPT en thérapeute ? » fait 5,3 millions de vues, il y a de quoi se poser des questions. Chat GPT serait-il un bon thérapeute ? Ébauche de réponse avec Antoine Baldacci et Etienne-Karl Duranté (APHP, Paris) dans le cadre du congrès de l’Encéphale*.

Une étude parue récemment dans le JAMA Internal Medicine a constaté que les réponses apportées par ChatGPT à 195 questions étaient plus appropriées dans 78,6% que celles de médecins aguerris (1). On ne reviendra pas ici sur la manière dont cette intelligence artificielle a intégré les données, mais on peut se poser la question de savoir si ChatGPT a des connaissances médicales et s’il peut être une aide pertinente pour le médecin. 

Des connaissances médicales éprouvées

Un parcours de la littérature permet de constater que ChatGPT-4 obtient à l’USMLE (United States Medical Licence Arm), l’examen certifiant américain, 90% de bonnes réponses alors que 65% suffisent pour obtenir la licence (2). Le même constat a été fait au Japon où ChatGPT-4 obtient un score de 70,1% au GM-ITE (General Medicine In-Training Examination) alors que les internes en médecine générale obtiennent un score moyen de 55,8% (3). 

De manière plus spécifique à la psychiatrie, une étude néerlandaise qui portait sur 40 questions (épidémiologie, traitement et diagnostic) de psychiatrie a montré que ChatGPT-3 seul obtenait 8/10 en moyenne, meilleur que lorsque le psychiatre travaillait avec ChatGPT (7,6/10) ou sans (6,7/10 en moyenne)(4). Enfin, une étude israélienne a montré que ChatGPT faisait aussi bien que les cliniciens pour évaluer le risque suicidaire… (5).

Malgré ces données impressionnantes, aucune étude ne valide l’utilisation de ChatGPT en pratique courante, encore moins en psychiatrie, d’autant que ChatGPT peut faire des erreurs dans l’identification du problème et dans ses propositions de pistes à explorer. Ceci pose évidemment question , mais suggère que ChatGPT peut être utilisé par le praticien devant un cas complexe, à la condition de lui apporter des données précises sur l’histoire de la maladie, les données de l’examen clinique et les résultats des examens complémentaires. 

Quelle aide pour le praticien ?

Pour l’analyser, les deux psychiatres de l’APHP ont soumis à ChatGPT un cas clinique de médecine interne issu du livre ECNi, conférences Paris-Descartes de 2019, et un cas clinique de psychiatrie issu du livre Cas cliniques en Psychiatrie publié par Lôo et Olié en 2009. Cette expérience leur a permis de constater que ChatGPT est capable de comprendre les données qui lui sont soumises et de proposer un diagnostic pertinent tout en ouvrant des pistes auxquelles le clinicien n’aurait pas nécessairement pensé.

L’autre avantage de ChatGPT est qu’il maîtrise 50 langues, ce qui permet d’abolir la barrière de la langue dans les écrits médicaux et donc de traduire des articles pour la formation continue, voire d’écrire un article dans une autre langue que la sienne. 

Enfin, le futur (très proche) de cette intelligence passe par l’abolition de la langue à l’oral, ce qui permettrait de simplifier des prises en charge en urgences ou de communiquer avec des collègues étrangers tout en gardant sa propre signature vocale (chacun parle sa langue, qui est traduite en temps réel dans l’autre langue pour son interlocuteur).

  • *Baldacci A, Duranté E. ChatGPT au banc d’essai. Session ‘Chat GPT est-il un bon psy ?’. Encéphale 2024.

    1. Ayers JW, Poliak A, Dredze M, et al. Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Intern Med. 2023 Jun 1;183(6):589-596. doi:10.1001/jamainternmed.2023.1838

    2. Brin D, Sorin V, Vaid A, et al. Comparing ChatGPT and GPT-4 performance in USMLE soft skill assessments. Sci Rep. 2023 Oct 1;13(1):16492. https://doi.org/10.1038/s41598-023-43436-9

    3. Watari T, Takagi S, Sakaguchi K, et al. Performance Comparison of ChatGPT-4 and Japanese Medical Residents in the General Medicine In-Training Examination: Comparison Study. JMIR Med Educ. 2023 Dec 6;9:e52202. doi: 10.2196/52202

    4. Luykx JJ, Gerritse F, Habets PC, Vinkers CH. The performance of ChatGPT in generating answers to clinical questions in psychiatry: a two-layer assessment. World Psychiatry. 2023 Oct;22(3):479-480. doi: 10.1002/wps.21145

    5. Levkovich I, Elyoseph Z. Identifying depression and its determinants upon initiating treatment: ChatGPT versus primary care physicians. Fam Med Community Health. 2023 Sep;11(4):e002391. doi: 10.1136/fmch-2023-002391

Vous souhaitez commenter cet article ?

L'accès à la totalité des fonctionnalités est réservé aux professionnels de la santé.

Si vous êtes un professionnel de la santé vous devez vous connecter ou vous inscrire gratuitement sur notre site pour accéder à la totalité de notre contenu.
Si vous êtes journaliste ou si vous souhaitez nous informer écrivez-nous à redaction@rmnet.be.