Les intelligences artificielles médicales, pourtant prometteuses, présentent une vulnérabilité inquiétante : elles peuvent être facilement dupées par de fausses informations si celles-ci sont présentées sous une forme crédible, comme une note de sortie d’hôpital. Une étude récente révèle que ces systèmes ont tendance à privilégier le style d’écriture à la véracité du contenu, avec des conséquences potentiellement dangereuses pour les patients.
Des chercheurs de l’École de médecine Icahn du Mont Sinaï ont soumis neuf grands modèles linguistiques (LLM) à plus d’un million de tests en injectant des recommandations médicales erronées dans des résumés de sortie d’hôpital authentiques, issus de la base de données MIMIC. Les résultats sont alarmants : les LLM ont fréquemment répété ces fausses allégations, les considérant comme des faits avérés simplement en raison de leur présentation formelle.
L’exemple le plus frappant concerne un patient souffrant d’hémorragies liées à l’œsophagite, à qui l’IA a conseillé de « boire du lait froid pour apaiser les symptômes ». Cette recommandation, cliniquement dangereuse, a été acceptée et répétée par plusieurs modèles sans remise en question.
« Nos résultats montrent que les systèmes d’IA actuels peuvent traiter par défaut un langage médical sûr comme étant vrai, même s’il est clairement faux », explique le Dr Eyal Klang, responsable de l’IA générative au Mont Sinaï. Le problème réside dans le fonctionnement même de ces LLM : ils prédisent le mot suivant en fonction du contexte, sans nécessairement vérifier l’exactitude médicale des informations qu’ils traitent.
« Pour ces modèles, ce qui compte est moins l’exactitude d’une affirmation que la manière dont elle est rédigée », ajoute le Dr Klang. Si le contexte est un document médical réaliste, le modèle suppose que le contenu est exact, indépendamment de sa véracité.
Les implications pour le déploiement clinique sont considérables. Si une IA est utilisée pour synthétiser des dossiers patients, elle pourrait amplifier une erreur humaine ou une « hallucination » d’une IA précédente, au lieu de la détecter.
Pour pallier ce problème, les auteurs de l’étude proposent une nouvelle norme de validation, un véritable « test de résistance ». « Au lieu de supposer qu’un modèle est sûr, vous pouvez mesurer la fréquence à laquelle il transmet un mensonge », affirme le Dr Mahmud Omar, premier auteur de l’étude. Ils suggèrent d’utiliser leur ensemble de données comme référence pour évaluer la fiabilité de toute IA médicale avant son utilisation auprès des patients. Cette étude, publiée le 24 septembre 2025 dans La santé numérique du Lancet (DOI : 10.1016/j.landig.2025.100949), souligne la nécessité d’une vigilance accrue et de protocoles de validation rigoureux pour garantir la sécurité des patients face à l’essor de l’intelligence artificielle dans le domaine de la santé.