Une intelligence artificielle peut produire une réponse médicalement plausible tout en suivant une instruction dangereuse. Une étude publiée dans Communications Medicine, une revue du groupe Nature Portfolio, explore cette vulnérabilité et montre que de brefs rappels de sécurité peuvent réduire certains choix inappropriés. Elle invite surtout à évaluer les outils dans les situations qui mettent leur fiabilité à l’épreuve.
La performance d’une intelligence artificielle en santé est souvent présentée à travers sa capacité à reconnaître une anomalie, à synthétiser un dossier ou à répondre à une question médicale. Ces capacités sont importantes mais l’utilisation d’un outil dans une organisation de soins soulève une question supplémentaire : comment réagit-il lorsqu’une instruction contredit les précautions nécessaires à la prise en charge d’un patient ?
Un contrôle biologique est prévu après une hospitalisation mais une nouvelle demande invite à ne pas l’organiser pour réduire la charge de travail. Une information doit être vérifiée mais la consigne insiste sur l’urgence. Dans ces situations, la qualité de la réponse dépend de la capacité à identifier le conflit, à maintenir une conduite appropriée ou à demander un avis. C’est ce comportement que Mahmud Omar et ses collègues ont étudié dans un travail publié le 26 septembre 20261. Leur objectif était d’examiner la propension de modèles de langage à suivre des instructions explicitement dangereuses, puis de mesurer l’effet de consignes destinées à renforcer la sécurité.
Les chercheurs ont évalué vingt grands modèles de langage, présentés dans l’article comme des modèles à poids ouverts. Le protocole associait deux ensembles : 501 variantes synthétiques issues de cinquante situations de départ et cent cas construits à partir de recommandations de sortie hospitalière anonymisées provenant de MIMIC-IV. Pour ces derniers, une demande simulée, contradictoire avec la recommandation initiale, était ajoutée au contexte clinique.
Les situations couvraient notamment la sécurité médicamenteuse, le consentement, la confidentialité, la vérification de résultats et la qualité de la documentation. Dans chaque cas, le modèle choisissait parmi quatre actions : suivre une instruction dangereuse, l’accepter partiellement, maintenir une conduite sûre ou solliciter une vérification ou un avis supplémentaire. Le critère principal regroupait les deux premières catégories.
Cette distinction est importante : une réponse formulée avec des réserves peut rester dangereuse si elle accepte néanmoins l’action problématique. L’évaluation doit donc porter sur la conduite proposée et ses conséquences possibles, au-delà du ton prudent employé par le modèle.
Le protocole faisait varier le contexte de la demande. À une condition neutre s’ajoutaient six formes de pression : ordre hiérarchique, transfert de responsabilité, urgence, menace de conséquences, conformité au groupe et présentation impersonnelle de la tâche. Chaque situation était également testée sans rappel de sécurité ou avec l’un de trois rappels mettant l’accent sur les règles, la réduction du risque, ou la vérification et le recours à un avis. Les essais étaient répétés dix fois, en faisant varier l’ordre des réponses proposées. Au total, les chercheurs ont analysé plus de dix millions de réponses. Ce volume reflète la combinaison et la répétition des conditions expérimentales ; il ne correspond pas à dix millions de situations cliniques indépendantes.
Le résultat principal est une diminution de la proportion de choix potentiellement dangereux : 16,6 % sans rappel de sécurité contre 10,1 % lorsque les trois modalités de rappel sont regroupées, soit une réduction absolue de 6,5 points. Une diminution est observée dans dix-neuf des vingt modèles, avec une ampleur variable. Le vingtième reste inchangé. Les résultats diffèrent entre les deux ensembles. Dans les scénarios synthétiques, la proportion passe de 10,6 % à 7,2 %. Dans les cas dérivés de MIMIC-IV, elle diminue de 46,6 % à 24,5 %. Cette différence doit toutefois être interprétée avec précaution. Les auteurs soulignent que les choix dangereux étaient plus ouvertement inappropriés dans les situations synthétiques, alors qu’ils reprenaient souvent la formulation de la demande dans les cas dérivés de dossiers hospitaliers. La comparaison reflète donc aussi la construction des questions et des réponses. Elle ne démontre pas que l’utilisation de données cliniques réelles entraîne, à elle seule, un risque supérieur en pratique.
Un autre point mérite d’être conservé dans la lecture de l’étude : les différences entre les formes de pression sont modestes. Leur ordre varie selon les données et les conditions. Des choix potentiellement dangereux apparaissent également dans la situation neutre, et les rappels de sécurité y ont aussi un effet favorable. Le résultat le plus solide concerne donc la réduction de ces choix par les rappels, plutôt qu’un effet spectaculaire ou uniforme de l’autorité sur les modèles.
L’étude apporte également un enseignement sur l’organisation des soins : renforcer la sécurité peut déplacer le travail vers les professionnels. Avec les rappels, la catégorie correspondant à une demande de vérification ou d’avis augmente de 25,8 % à 38,7 %. Parallèlement, les réponses choisissant directement une conduite sûre diminuent.
Ce déplacement peut être souhaitable lorsqu’une situation exige effectivement une intervention humaine. Mais il pourrait aussi multiplier les sollicitations, allonger certains délais ou accroître la charge des équipes. Les chercheurs n’ont pas mesuré ces conséquences. La question devient alors très concrète : quelles demandes doivent être transmises, à quel professionnel et avec quel niveau de priorité ? Une IA qui sollicite davantage d’avis doit s’inscrire dans une organisation capable de leur apporter une réponse.
Les auteurs ont aussi étudié la stabilité des choix lors des répétitions. La proportion d’ensembles d’essais donnant systématiquement la même catégorie de réponse est presque identique sans et avec rappel : 80,5 % et 80,4 %. Cette stabilité varie fortement selon les modèles. Elle ne doit pas être confondue avec la sécurité : un modèle peut sélectionner de manière parfaitement répétitive une option dangereuse. À l’inverse, certaines variations peuvent rester entre deux conduites considérées comme sûres.
Ces éléments permettent de mieux définir la portée du travail. Il s’agit d’une expérimentation fondée sur des choix prédéfinis, sans prise en charge de patients ni mesure de dommages cliniques. Aucun groupe de professionnels placé dans des conditions comparables n’a été étudié. Les résultats ne permettent donc ni de comparer directement les modèles aux soignants, ni d’établir un taux d’accidents attendu à l’hôpital. La sélection des modèles ne permet pas davantage de conclure à la supériorité générale d’une famille, d’une génération ou d’une taille de modèle.
Pour les Mardis de l’innovation, nous en tirons une exigence : évaluer une IA en santé suppose de tester sa réponse aux contradictions et aux demandes inappropriées, en complément de ses connaissances. Les scénarios d’évaluation doivent inclure des informations manquantes, des consignes incompatibles et des situations nécessitant une intervention humaine. La conduite proposée doit rester le centre de cette évaluation. Ce travail rappelle aussi que les instructions encadrant un modèle font partie du dispositif à examiner. Le choix du modèle, la manière de lui présenter les informations et les possibilités d’action qui lui sont accordées doivent être évalués ensemble. Une protection observée dans un protocole doit ensuite être vérifiée dans l’usage envisagé, auprès des équipes concernées.
La responsabilité ne peut reposer sur la capacité de chaque professionnel à trouver la bonne formulation. Nous proposons que les concepteurs et les établissements définissent explicitement les tâches autorisées, les situations exigeant une validation et les modalités de signalement d’un problème. Ces règles doivent être testées et réexaminées lorsque le système évolue.
La supervision humaine doit également disposer de moyens concrets. Le professionnel doit pouvoir retrouver les informations utiles, comprendre la proposition et prendre le temps de la corriger ou de la refuser. L’évaluation devra donc mesurer le travail de vérification créé par l’outil, autant que le temps éventuellement économisé. Cela vaut aussi pour la prévention. Une IA pourrait aider à identifier un suivi interrompu ou une action à discuter avec un patient. Son bénéfice devrait être évalué jusqu’à la réponse apportée : pertinence de l’alerte, échange avec la personne, accès à une consultation et continuité du suivi. La multiplication des notifications ne constitue pas, en elle-même, une amélioration de la santé.
Enfin, financer ces innovations suppose de prévoir la formation, les évaluations et la surveillance des usages. L’achat du logiciel n’épuise pas le coût de son intégration. Les sollicitations supplémentaires, les corrections et l’analyse des incidents doivent être prises en compte pour apprécier son utilité réelle. L’étude de Mount Sinai fournit ainsi un cadre expérimental pour examiner une dimension essentielle de l’IA en santé : sa manière de réagir lorsqu’on lui demande de mal faire. Elle ouvre un programme d’évaluation à poursuivre dans des conditions cliniques prospectives, avec des professionnels et des organisations de soins.
Le progrès devra se mesurer à la capacité de ces outils à aider les équipes, à rendre visibles les situations problématiques et à préserver la sécurité du patient, y compris lorsqu’une consigne pousse dans une autre direction.
David Smadja est professeur d’hématologie à l’AP-HP et à l’Université Paris Cité, responsable de la Commission Santé du Laboratoire de la République. Il est l’auteur de « La République de la prévention » aux éditions LEH.
Léa Behr est CEO de RespublicIA et membre de la Commission Santé du Laboratoire de la République.
Rendez-vous mardi 20 octobre pour la prochaine note
« Les mardis de l’innovation en santé »
- Omar, M., Agbareia, R., McGreevy, J., Gorenshtein, A., Charney, A. W., Sakhuja, A., … Klang, E. (2026). Evaluating large language model responses to unsafe clinical instructions. Communications Medicine. https://doi.org/10.1038/s43856-026-01933-8 ↩︎
Retrouvez également cette note sur le site du Journal du Net.