Santé

IA en santé : la supervision humaine ne se décrète pas, elle s’organise

par David Smadja et Léa Behr le 27 octobre 2026
L’intelligence artificielle transforme les pratiques médicales mais la présence d’un professionnel de santé ne suffit pas à garantir la sécurité des patients. Encore faut-il lui donner le temps, les compétences et les moyens de comprendre, vérifier et contester les recommandations produites. À partir d’une récente contribution de l’American Medical Association à la réflexion engagée par la FDA sur l’IA générative en santé, ce nouveau numéro des Mardis de l’innovation en santé explore les conditions d’une supervision humaine effective. Entre responsabilité des fabricants, évaluation clinique, organisation du travail et financement, une conviction s’impose : la confiance dans l’IA médicale repose autant sur ses performances que sur notre capacité collective à organiser son utilisation au service des soignants et des patients.

L’intelligence artificielle s’installe progressivement dans le quotidien des professionnels de santé. Elle promet de faciliter l’accès à l’information, d’alléger certaines tâches administratives et d’accompagner la prise de décision médicale. Mais à mesure que ces outils prennent place dans les pratiques de soin, une question essentielle émerge : comment garantir que l’humain reste réellement maître des décisions ?

Car la présence d’un médecin devant un écran ne suffit pas à garantir une utilisation sûre de l’IA. Encore faut-il qu’il dispose du temps, des compétences et des informations nécessaires pour comprendre une recommandation, en vérifier les fondements et, si besoin, la contester. Dans une contribution adressée à la Food and Drug Administration (FDA), l’American Medical Association (AMA) rappelle que cette supervision humaine ne peut être une simple exigence de principe : elle doit être concrètement possible, démontrable et soutenue par des moyens adaptés.

Ce nouveau numéro des Mardis de l’innovation en santé nous invite ainsi à dépasser la seule question de la performance technologique pour interroger les conditions réelles d’intégration de l’IA dans les organisations de soins. Car, au fond, le véritable enjeu n’est pas seulement de maintenir un humain dans la boucle, mais de lui donner les moyens d’y exercer pleinement son jugement.

Imaginons une situation de travail, proposée ici à titre d’illustration. Une IA prépare la synthèse d’un dossier et une proposition de suivi. Le texte est clair, les informations paraissent cohérentes, la conclusion rassurante. Une surveillance biologique importante a pourtant disparu du résumé. Un médecin est invité à valider. A-t-il accès au document initial ? Peut-il repérer l’omission sans reconstruire tout le dossier ? Dispose-t-il du temps nécessaire alors que d’autres patients attendent ? Et que devient cette étape lorsque les validations se comptent par dizaines ?

Ces questions déterminent la valeur clinique du dispositif. Un système peut produire rapidement une réponse convaincante et imposer un travail de vérification considérable. Il peut aussi améliorer réellement la prise en charge si ses limites sont connues, ses résultats vérifiables et son intégration adaptée au service. Pour le patient, ce qui compte est la qualité de la décision finale et du suivi qui en découle.

Dans les Mardis de l’innovation en santé, nous avons déjà abordé la nécessité de tester les réactions des modèles face aux demandes inappropriées. Le débat ouvert par la FDA prolonge cette réflexion : après la sécurité des réponses, il faut examiner les conditions de leur utilisation. L’enjeu est de savoir ce que le fabricant doit démontrer, ce que le professionnel peut effectivement contrôler et comment l’établissement organise cette coopération.

Un document de discussion et une position professionnelle

Le 23 octobre 2026, l’American Medical Association, organisation professionnelle médicale américaine, présente dans son bulletin d’actualité sa contribution transmise à la FDA le 16 octobre. La lettre, signée par John Whyte, répond au document du Center for Devices and Radiological Health consacré aux dispositifs médicaux intégrant de l’IA générative [1, 2].

Le statut des textes mérite d’être précisé. Le document de la FDA est un support de discussion et d’appel à contributions. Il indique expressément qu’il ne constitue ni une recommandation provisoire ni une recommandation définitive, et qu’il n’instaure pas de nouvelles règles. La lettre de l’AMA formule des positions et des demandes. Ces documents ne sont donc ni une étude clinique démontrant un bénéfice, ni une réglementation nouvellement adoptée. [1, p. 1 ; 2]

Leur périmètre est également délimité. La FDA rappelle qu’elle réglemente les produits relevant de la définition du dispositif médical, et non l’IA en tant que technologie. Tous les assistants conversationnels ou logiciels utilisés dans un hôpital ne relèvent donc pas automatiquement du champ étudié. La réflexion peut néanmoins éclairer leur évaluation et leur organisation, à condition de ne pas confondre cette transposition avec une qualification réglementaire. [1, p. 4–5]

La FDA cherche à adapter les méthodes d’évaluation à des outils dont les entrées et les réponses peuvent être très variables. L’AMA soutient une approche proportionnée aux risques, couvrant toute la vie du produit, tout en fixant une exigence : la difficulté de tester une technologie ne doit pas justifier une démonstration insuffisante de sa sécurité et de son efficacité. [1, p. 1–3 ; 2, p. 1–2]

Évaluer ce que le dispositif fait réellement

Le document de la FDA propose d’explorer une grille à deux axes. Le premier décrit l’activité du dispositif et le degré d’indépendance avec lequel il oriente ou réalise une action. Le second concerne la gravité des conséquences possibles d’une réponse erronée. Il s’agit d’un outil de réflexion, pas d’une classification réglementaire nouvelle. [1, p. 5–8]

Cette approche aide à distinguer des usages souvent réunis sous le même terme d’« assistant ». Fournir une information générale, recommander une conduite personnalisée et déclencher une action ne soulèvent pas les mêmes questions. La gravité d’une erreur dépend aussi de la décision concernée, de son caractère réversible et du délai disponible pour la corriger.

La frontière peut évoluer au cours d’une conversation. Un outil commence par expliquer les effets indésirables d’un traitement, puis répond à des questions de plus en plus personnelles, jusqu’à suggérer de modifier ou d’interrompre ce traitement. Évaluer seulement la première réponse manquerait alors le comportement le plus conséquent. L’AMA demande que l’évaluation couvre des trajectoires conversationnelles réalistes et les fonctions les plus risquées raisonnablement prévisibles dans l’usage considéré. [2, p. 7]

Les avertissements génériques ne règlent pas cette difficulté. La FDA envisage qu’une information orientant une action ne devienne pas moins directive parce qu’elle se termine par une invitation à consulter un médecin. L’AMA soutient cette lecture et demande que l’efficacité d’un avertissement présenté comme mesure de réduction du risque soit démontrée auprès des utilisateurs concernés. Le ton prudent ne suffit pas à neutraliser la conduite suggérée. [1, p. 7 ; 2, p. 5]

L’enjeu est donc d’évaluer les fonctions et leurs conséquences prévisibles. Une formule commerciale comme « aide à la décision » ne permet pas, à elle seule, de déterminer la place réelle du logiciel dans le soin.

La supervision doit être possible dans le travail quotidien

Le point central de la lettre de l’AMA est particulièrement utile : la présence d’un professionnel ne doit pas être présumée réduire le risque. Si la supervision est utilisée comme mesure de sécurité, son efficacité et sa faisabilité doivent être démontrées dans l’environnement auquel le dispositif est destiné. [2, p. 3–4]

Cela suppose d’abord l’accès aux informations nécessaires. Le soignant doit pouvoir retrouver les sources pertinentes, identifier les limites connues et comprendre ce que la proposition permet ou ne permet pas de conclure. Une explication formulée avec assurance ne vaut pas preuve d’exactitude. L’AMA précise d’ailleurs que l’explicabilité ne remplace pas les autres méthodes de démonstration de sécurité et d’efficacité. [2, p. 3]

La compétence attendue doit ensuite correspondre au professionnel qui utilisera réellement le dispositif. Un outil destiné à aider un généraliste ne peut être considéré comme sûr uniquement parce qu’un spécialiste reconnaît ses erreurs. Si une expertise spécialisée est indispensable à son contrôle, cette condition doit être explicite et intégrée à l’évaluation. L’objectif d’élargir l’accès à une expertise reste pertinent ; encore faut-il démontrer que l’outil y contribue avec ses utilisateurs prévus. [2, p. 6, 8–9]

La formation et le temps de travail sont tout aussi déterminants. Une évaluation dans laquelle les médecins disposent d’un temps supplémentaire, de documents enrichis ou d’un accompagnement indisponible en pratique peut surestimer la sécurité après déploiement. L’AMA demande de reproduire les contraintes de l’usage attendu, notamment le temps de lecture, les informations présentées et les conditions de validation. [2, p. 9]

Enfin, le professionnel doit pouvoir agir. Il faut pouvoir contester une réponse, la modifier, demander un avis ou interrompre une action. Une étape de validation qui intervient trop tard, ou qui ne permet pas de revenir sur la proposition, n’offre qu’un contrôle limité. L’AMA inclut aussi les ressources et la rémunération du travail de supervision parmi les conditions à examiner. [2, p. 3]

Nous en tirons une conséquence pour l’organisation hospitalière : la mention « validation médicale » devrait correspondre à une tâche définie, avec un responsable, un délai réaliste et une possibilité d’intervention effective. Elle ne peut rester une case ajoutée au circuit informatique.

Tester le dispositif complet et la coopération avec les soignants

La FDA envisage une évaluation en deux composantes : des tests structurés des capacités du dispositif, puis une confirmation clinique adaptée à son usage. Le produit à évaluer serait celui effectivement déployé, dans sa configuration d’utilisation, et non le seul modèle de fondation sur lequel il repose. [1, p. 11–15]

Cette distinction est essentielle. La réponse dépend du modèle, mais aussi des consignes, des documents consultés, des outils accessibles, des règles de sécurité et de l’interface. Un résultat obtenu avec un modèle isolé ne décrit donc pas nécessairement le comportement du dispositif installé dans un service.

Les domaines de test envisagés par la FDA dépassent les connaissances médicales. Ils incluent la reconnaissance des situations nécessitant une intervention, le respect des limites d’usage, l’expression de l’incertitude, la qualité de la communication, la robustesse aux variations des informations reçues et les performances dans différents sous-groupes. Pour les systèmes capables d’agir, des compétences supplémentaires concernent la planification et l’exécution des tâches. [1, p. 12, 24–26]

La confirmation clinique ne correspondrait pas obligatoirement à un essai prospectif pour chaque dispositif. La FDA discute plusieurs possibilités : analyse rétrospective de dossiers, fonctionnement en parallèle sans influence sur les soins, interactions avec des patients standardisés, appréciation de cas réels par des cliniciens indépendants, ou étude prospective, parfois randomisée. Le choix devrait dépendre de l’usage et du risque. Présenter ce document comme une exigence générale d’essais randomisés serait donc inexact. [1, p. 14–16]

Chaque méthode répond à une question différente. Un fonctionnement en parallèle, dont les résultats ne sont pas montrés aux équipes, peut documenter les réponses produites dans un environnement réel. Par construction, il ne permet pas d’observer comment les soignants changent leurs décisions en les lisant. Une évaluation de la coopération doit donc examiner cette interaction lorsque la sécurité en dépend.

Pour un outil d’aide au suivi, nous proposons de mesurer les omissions importantes, les orientations inappropriées, les erreurs détectées et celles qui subsistent après validation. Il faudrait aussi documenter le temps de vérification et les conséquences sur les autres tâches. Le taux d’acceptation des propositions ne suffit pas à établir leur qualité : accepter peut traduire une aide pertinente, mais aussi un contrôle insuffisant.

Qui assume la responsabilité du produit et de son utilisation

L’AMA défend une ligne claire : la contribution des médecins à l’évaluation ne doit pas transférer vers eux la responsabilité de la performance du produit. Elle demande que les fabricants démontrent et maintiennent la sécurité et l’efficacité de leurs dispositifs, y compris lorsque celles-ci dépendent d’interactions avec les utilisateurs. [2, p. 2–3, 7–8]

Ce principe ne signifie pas que le professionnel n’aurait plus de responsabilité dans sa décision, ni que l’établissement serait dispensé d’organiser un usage approprié. Il invite à distinguer les contributions. Pour notre réflexion, le fabricant doit documenter le produit et ses conditions d’utilisation ; l’établissement doit vérifier qu’il peut réunir ces conditions ; le professionnel exerce son jugement dans ce cadre et doit disposer des moyens d’alerter lorsqu’il ne fonctionne pas.

Cette répartition est une proposition de gouvernance. Elle ne tranche pas l’attribution juridique d’une faute ou d’une indemnisation dans un cas particulier, et les positions américaines ne constituent pas une règle directement applicable en France. La question opérationnelle demeure toutefois incontournable : aucune partie ne devrait compter sur une autre pour assumer un contrôle qui n’a pas été défini.

Les dispositifs construits sur des modèles fournis par des tiers compliquent cette organisation. Une modification du modèle sous-jacent peut changer les réponses sans que le service hospitalier ait modifié son usage. La FDA interroge donc les moyens techniques et contractuels permettant au fabricant du dispositif de détecter, évaluer et gérer ces changements. [1, p. 20–22]

Pour les établissements, nous proposons que l’achat précise les versions utilisées, les modalités d’information sur les mises à jour et les situations nécessitant une nouvelle évaluation. Il faut également prévoir comment suspendre une fonction et assurer la continuité de l’activité. La dépendance technique à plusieurs fournisseurs doit être documentée, plutôt que découverte au moment d’un incident.

Surveiller les évolutions sans reporter la preuve sur les patients

La FDA pose une question sensible : pourrait-on accepter davantage d’incertitude avant commercialisation en renforçant la surveillance après déploiement ? L’AMA s’oppose à réduire le niveau de preuve nécessaire à une assurance raisonnable de sécurité et d’efficacité sur cette seule hypothèse. Elle considère que les données recueillies après commercialisation doivent compléter les preuves initiales. [1, p. 19 ; 2, p. 11]

La nuance compte. Aucun protocole ne peut éliminer toute incertitude ni reproduire chaque conversation possible. Mais les limites prévisibles, les principaux modes d’échec et les conditions d’utilisation doivent être suffisamment caractérisés avant l’exposition des patients. Détecter un dommage après sa survenue ne remplace pas sa prévention.

La surveillance reste ensuite indispensable. La FDA discute la répétition de tests, la revue d’échantillons de situations réelles par des cliniciens et la recherche de dégradations des performances. L’AMA demande que cette revue inclue particulièrement les interactions sensibles, notamment les demandes d’avis et les situations où les professionnels ont corrigé ou rejeté une proposition. Une moyenne globale pourrait masquer des erreurs rares mais graves. [1, p. 19–20 ; 2, p. 12]

L’AMA souhaite aussi que les événements surveillés ne se limitent pas aux dommages immédiatement identifiables. Des réponses anormales, des quasi-accidents ou une évolution des erreurs peuvent constituer des signaux utiles. Elle propose d’étudier une capacité nationale de surveillance associant données des fabricants, signalements standardisés et expertise clinique. Il s’agit là encore d’une demande, pas d’un dispositif annoncé comme opérationnel. [2, p. 13]

Pour nous, un signalement doit déboucher sur une réponse identifiable : analyse, correction, information des utilisateurs ou suspension si nécessaire. La fréquence de réévaluation devrait suivre le risque et les changements observés. Une nouvelle population, une modification de l’interface ou une mise à jour du modèle peuvent justifier de réexaminer des résultats auparavant satisfaisants.

Les agents autonomes rendent les points de contrôle décisifs

Les systèmes dits agentiques peuvent planifier des tâches successives, utiliser des outils externes et exécuter des actions. La FDA les distingue des dispositifs se limitant à produire une réponse et sollicite des contributions spécifiques. L’AMA demande une vigilance et des évaluations renforcées, en soulignant les incertitudes sur leur préparation à l’usage clinique. [1, p. 22–23, 26 ; 2, p. 14]

Le problème devient celui d’une séquence. Une interprétation initiale peut orienter la recherche d’informations, puis la proposition suivante et enfin une action. L’annexe de la FDA envisage de tester les erreurs d’outils, le respect des validations humaines avant des actions importantes et la résistance aux instructions malveillantes présentes dans des contenus consultés. [1, p. 26]

Nous proposons donc que les droits d’action soient explicites : ce que le système peut préparer, ce qu’il peut transmettre et ce qu’il ne peut exécuter sans validation. Les étapes irréversibles ou à conséquences élevées doivent faire l’objet d’un contrôle adapté. Un bouton d’arrêt n’est utile que si le professionnel sait quand l’utiliser et s’il peut intervenir avant que l’action ne produise ses effets.

Financer la supervision et préserver un accès équitable

Le financement occupe une place importante dans la contribution de l’AMA. Celle-ci demande que les fabricants organisent et financent la participation clinique nécessaire à la surveillance de leurs produits. Elle refuse que les médecins absorbent gratuitement une fonction permanente de contrôle après commercialisation. [2, p. 12–13]

Pour un établissement, cette exigence invite à examiner le coût complet de l’innovation. Le prix du logiciel ne résume pas celui de son utilisation. La formation, l’intégration informatique, les vérifications, la gestion des alertes et l’analyse des incidents mobilisent des ressources. Nous proposons que ces éléments soient intégrés à l’évaluation économique dès le départ.

Un gain de temps doit ainsi être apprécié après prise en compte du travail supplémentaire. Une synthèse produite rapidement peut être utile, mais sa valeur dépend du temps nécessaire pour la contrôler et de la fiabilité de la décision qu’elle permet. L’objectif est de rendre du temps disponible pour le soin, sans organiser un transfert invisible vers d’autres professionnels.

L’accès aux soins pose une seconde question. L’AMA reconnaît qu’il est pertinent de comparer un dispositif aux possibilités réellement accessibles aux patients, notamment lorsque l’avis spécialisé est retardé. Elle met néanmoins en garde contre un abaissement automatique des exigences pour les populations déjà défavorisées. Le manque de ressources ne devrait pas normaliser une offre de moindre qualité. [2, p. 9–10]

Cette réflexion s’applique à la prévention. Une IA pourrait repérer un suivi interrompu, préparer une information adaptée ou faciliter une orientation. Son utilité devra être appréciée jusqu’à la réponse apportée : information comprise, contact effectif, rendez-vous accessible et continuité du suivi. Nous proposons de vérifier ces résultats dans les populations les plus éloignées du système de santé, et pas seulement chez les utilisateurs les plus à l’aise avec le numérique.

Orienter plus souvent vers un professionnel n’est pas nécessairement une erreur ; cela peut être indispensable. Mais une multiplication d’alertes sans destinataire disponible ne constitue pas une amélioration du parcours. La FDA discute précisément les risques associés à une orientation insuffisante comme à une orientation excessive. Leur équilibre doit être évalué selon la situation clinique. [1, p. 8–10]

Une exigence concrète pour les prochaines innovations

À partir de ces textes, il est proposé que tout projet d’IA ayant une incidence sur les décisions de soins réponde, avant son déploiement, à quelques questions explicites. Pour quelle tâche et quelle population a-t-il été évalué ? Quelles erreurs importantes ont été recherchées ? Qui vérifie quoi, dans quel délai et avec quelles informations ? Qui finance cette vérification ? Que se passe-t-il lorsque le dispositif change ou qu’un signal de risque apparaît ?

Les réponses devraient associer les professionnels concernés, les responsables de la qualité et du numérique, les patients et les concepteurs. Elles permettraient de définir un déploiement progressif, des critères d’arrêt et une réévaluation proportionnée au risque. Les indicateurs devraient porter sur les erreurs cliniquement importantes, les délais, la charge de travail, la compréhension des patients et les inégalités d’accès, en complément des performances techniques.

Le débat américain ne fournit pas une solution prête à transposer. Il rend cependant visible une condition souvent laissée implicite : la sécurité d’une IA dépend aussi du travail nécessaire pour l’utiliser correctement. Ce travail doit être étudié, organisé et financé.

La supervision humaine ne se décrète pas, elle s’organise. Pour qu’elle protège réellement le patient, le professionnel doit pouvoir comprendre, vérifier et intervenir. Le fabricant doit apporter les preuves correspondant à l’usage proposé et entretenir cette démonstration dans le temps. L’établissement doit disposer des moyens d’intégrer le dispositif sans fragiliser le soin. C’est à ces conditions que l’IA pourra devenir une aide durable aux équipes et à la prévention.

Références et repères de lecture

[1] U.S. Food and Drug Administration, Center for Devices and Radiological Health. Considerations for the Regulation of Generative AI-Enabled Medical Devices: Discussion Paper and Request for Feedback. Document de discussion transmis pour cette note. Les pages citées correspondent à la pagination imprimée 1 à 30, après la page de couverture. Statut et périmètre : p. 1–5 ; risque : p. 5–10 ; évaluation : p. 10–18 ; surveillance et modifications : p. 19–22 ; agents : p. 22–23 et 26 ; compétences : p. 24–26.

[2] American Medical Association. Lettre de John Whyte à Rick Abramson, directeur du Digital Health Center of Excellence du CDRH, FDA. Re: Considerations for the Regulation of Generative AI-Enabled Medical Devices: Discussion Paper and Request for Feedback. 16 octobre 2026, 14 pages.

[3] American Medical Association. National Advocacy Update, 23 octobre 2026. Rubrique « AMA comments on FDA generative AI-enabled medical device regulatory considerations ». Source de la présentation publique de la contribution du 16 octobre.

David Smadja est professeur d’hématologie à l’AP-HP et à l’Université Paris Cité, responsable de la Commission Santé du Laboratoire de la République. Il est l’auteur de « La République de la prévention » aux éditions LEH.

Léa Behr est CEO de RespublicIA et membre de la Commission Santé du Laboratoire de la République.

Rendez-vous mardi 3 Novembre pour la prochaine note

« Les mardis de l’innovation en santé »

Pour rester informé
inscrivez-vous à la newsletter

S'inscrire