La recherche de la littérature constitue une obligation pour qui veut publier dans la moindre revue scientifique, mais il s’agit d’un travail souvent ingrat, laborieux et consommant beaucoup de temps. Une équipe internationale de chercheurs ont mis en compétition ChatGPT qu’on ne présente plus et ELICIT qui mérite une explication.
« L’action principale d’Elicit est d’abord d’examiner de la littérature scientifique qu’on trouve en accès libre sur internet. Ainsi, en vous posant une simple question (ou en laissant Elicit les générer pour vous), le site vous montrera des articles scientifiques pertinents avec des résumés des informations clés qu’ils contiennent », comme le présentent ses créateurs.
Ready ? Fight !
Globalement, on pourrait se dire que les deux moteurs de recherche se basent sur la même technologie et devrait donc donner les mêmes résultats… Le problème revient à poser la bonne question afin d’obtenir les meilleures réponses possibles. Ici, les chercheurs ont demandé de retrouver une série d’articles traitant de patients présentant une hépatite B chronique traités par TDF et entacavir par rapport à la survenue d’un cancer hépatique.
Les chercheurs ont découvert que ChatGPT retrouvait des articles qui n’existent tout simplement pas : les résultats incluaient des titres, des auteurs, des noms de journaux et des identifiants PMID d'articles qui étaient considérés comme "probables" mais se sont révélés être des "hallucinations".
Vainqueur par KO
Elicit en revanche a fait beaucoup mieux ! En effet, les chercheurs ont constaté que l’IA a retrouvé 70 articles en 10 minutes, dont 48 ont été publiés pendant la période d'étude et 22 après. Parmi les 48 études publiées pendant la période déterminée et issues de la recherche Elicit, 11 articles étaient identiques à ceux trouvés par des méthodes de recherche traditionnelles, et 37 étaient nouvellement identifiés. Parmi les 20 articles manqués par Elicit lors de la recherche traditionnelle, 5 étaient des résumés de réunions et 8 ont été publiés avant 2018 et incluaient uniquement des patients sous entécavir sans bras comparatif. Bien qu'Elicit ait manqué 42,0% des patients dans la méta-analyse, une seule étude comparative (596 patients) a été omise et l’IA a retrouvé de nouvelles études.
Il est évident que les IA vont modifier profondément la manière dont les futures publications seront produites par les scientifiques. Il faudra néanmoins prendre garde à la façon dont on pose la question : c’est le travail des « prompt engineer » ou ingénieur de requête (un métier en développement). Il faudra également se méfier des biais de confirmation et d’auto-référencement, ce qui est déjà le cas dans les communications aujourd’hui.
Si les IA permettent un gain de temps considérable pour réaliser des tâches parfois harassantes et répétitives, elles nous obligent à conserver notre esprit critique en éveil…
Lire aussi: Springer Nature lance une IA pour aider les chercheurs à rédiger leurs articles en anglais
