Une étude publiée dans la revue "Nature Medicine" lundi 9 février met en garde contre l'utilisation de l'IA pour établir un diagnostique médical. Ses recommandations ne sont pas plus fiables qu'une recherche sur Internet.
S'il est tentant de se fier aux indications de ChatGPT en matière de santé, les diagnostiques sont souvent erronés, révèle un article scientifique paru dans la revue Nature Medicine lundi 9 février.
Le recours aux modèles d’IA (GML) tel que ChatGPT, Command R + ou Llama, (l’outil de la multinationale Meta) n'est pas plus fiable qu'une simple recherche en ligne quand un utilisateur veut se renseigner sur ses symptômes, expliquent ses auteurs.
Boom de l'IA
Un nombre croissant de personnes se tournent vers l'IA pour des questions de santé sensibles. "Un adulte américain sur six consulte ainsi des chatbots pour obtenir des informations sur la santé au moins une fois par mois", informe l'article. Ces outils pourraient ainsi permettre d'élargir l'accès à l'expertise médicale et soulager les systèmes de santé surchargés.
Mais sur ce sujet, les experts sont divisés. Cette étude remet en cause leur efficacité dans le cadre d'une utilisation directe par le patient. "Si les GML obtiennent aujourd'hui des scores quasi parfaits aux examens d'agrément médical, cela ne se traduit pas nécessairement par une performance précise en situation réelle", soulignent-ils par ailleurs.
Des erreurs plus fréquentes
Pour arriver à cette conclusion, 1.298 personnes au Royaume-Uni ont été invitées à participer et ont été réparties aléatoirement en deux groupes : "un groupe recevant l'aide d'un GML (GPT-4o, Llama 3, Command R+) et un groupe témoin utilisant une source de leur choix", informent les auteurs de l'étude. Ils se sont ainsi aperçus "que l'interaction avec l'utilisateur constitue un obstacle au déploiement des GML pour les conseils médicaux", expliquent-ils.
Lorsqu'un modèle d'IA est testé seul, il est capable d'identifier correctement les pathologies dans 94,9 % des cas et de définir l'orientation dans 56,3 % des cas en moyenne. Les chiffres sont tout autre lorsque les GML sont utilisés par les participants : les pathologies pertinentes ont été identifiées dans moins de 34,5 % des cas et l'orientation dans moins de 44,2 % des cas. Ces résultats sont les mêmes que le groupe témoin, s'appuyant sur des recherches Internet.
