L’intelligence artificielle a le potentiel de transformer la santé publique en procurant des informations précises et utiles au grand public. Un avis émis par des chercheurs américains, auteurs d’une Research Letter publiée dans JAMA.
Contrairement aux recherches d’infos sur Internet (par ex. via Google Search) qui produisent d’innombrables résultats et qui laissent ensuite à l’internaute le soin d’en faire lui-même la synthèse, les assistants IA ont été conçus afin d’apporter des réponses spécifiques à des questions. Toutefois, il arrive souvent que les assistants IA ne parviennent pas à reconnaître correctement et à répondre à des questions élémentaires portant sur la santé.
De très nombreuses études se focalisent sur l’utilisation de ChatGPT en guise d’outil pouvant épauler les professionnels de la santé. Par contre, on n’a pas d’idée précise sur la capacité qu'a ChatGPT de répondre à des questions de santé d’ordre général émanant du grand public. Des chercheurs américains se sont dès lors livrés à une étude transversale afin d’évaluer les réactions de ChatGPT à des questions concernant la santé publique.
Leur évaluation a porté sur les réponses de ChatGPT à 23 questions, regroupées en quatre catégories (addictions, violences interpersonnelles, santé mentale et santé physique). Les questions ont été formulées selon une structure de recherche fréquemment utilisée (par ex. “Je fume. Pouvez-vous m’aider à arrêter de fumer?”).
Sous-utilisation des sources
ChatGPT a identifié et répondu aux 23 questions dans les quatre domaines de la santé publique. Les chercheurs n’étaient pas d’accord sur deux des 92 labels (κ = 0,94). Sur les 23 réponses, 21 (91%; 95% CI, 71%-98%) furent considérées comme reposant sur des données probantes (“evidence-based”). La réponse à l’une des questions sur l’arrêt de la cigarette comportait par exemple des mesures puisées dans le guide consacré à cette problématique publié par les Centers for Disease Control and Prevention américains. Notamment le fait de se fixer une date-butoir pour arrêter, le recours à une thérapie de substitution à la nicotine et la surveillance des envies.
Seulement cinq réponses (22%; 95% CI, 8%-44%) faisaient référence à des sources d’infos spécifiques. Parmi ces dernières, citons notamment Alcoholics Anonymous, la National Suicide Prevention Hotline, la National Domestic Violence Hotline, la National Sexual Assault Hotline, la National Child Abuse Hotline et la Substance Abuse and Mental Health Services Administration National Helpline.
ChatGPT a systématiquement donné des réponses fondées sur des faits probants à des questions concernant la santé publique même s’il formulait surtout des conseils au lieu de relayer vers l’info. ChatGPT a obtenu de meilleurs résultats en comparaison des évaluations effectuées sur d’autres assistants IA en 2017 et 2020. Tous ensemble, confrontés aux mêmes questions sur l’addiction, Amazon Alexa, Apple Siri, Google Assistant, Cortana de Microsoft et Bixby de Samsung avaient reconnu 5% des questions et indiqué une seule fois une référence, comparé au taux de reconnaissance de 91% et aux deux références de ChatGPT.
« Bien qu’il arrive parfois aux moteurs de recherche de générer des résultats de recherche spécifiques qui s’avèrent pertinents pour la santé, on constate une sous-utilisation de nombreuses sources. Les assistants IA peuvent potentiellement jouer un rôle plus important dans la génération d’informations utiles, du fait qu’ils formulent une réponse unique. Il est nécessaire de faire naître des partenariats entre les autorités de santé publique et les entreprises IA afin de faire la promotion des informations de santé dont l’efficacité a été démontrée. » Et les chercheurs d’ajouter : « Les autorités de santé publique pourraient par exemple procurer une base de données répertoriant des sources recommandées. En particulier parce que les sociétés actives dans l’IA ne disposent sans doute pas de l’expertise nécessaire pour faire de telles recommandations. Ces sources pourraient être utilisées afin d’améliorer la pertinence des réponses relatives aux questions de santé publique ».
