Ouvrage « Covid-19, One Health et Intelligence artificielle »

Marguerite Brac de La Perrière, avocate associée de LERINS, experte en santé numérique, est co-auteur dans l’ouvrage Dalloz « Covid-19, One Health et Intelligence artificielle », du chapitre « éthico-juridique de l’intelligence artificielle dans la relation médecin patient », co-écrit avec l’éthicien Jérôme Beranger, chercheur associé au CERPOP, Inserm.

L’avocate, spécialiste en santé numérique, y décrypte le cadre juridique français et le cœur du cadre européen en construction concernant l’impact de l’intelligence artificielle dans la relation médecin patient, et les nouvelles obligations à la charge des acteurs que sont les éditeurs de systèmes d’IA, les utilisateurs professionnels de santé, au bénéfice de la prise en charge médicale des patients.

 

 

L’approche éthico-juridique de l’Intelligence Artificielle dans la relation médecin-patient

Marguerite BRAC DE LA PERRIERE

Avocate associée chez LERINS, experte en Santé numérique

Résumé :

Avec l’émergence des innovations et des progrès technologiques – illustrée notamment par le développement extrêmement rapide des solutions d’Intelligence Artificielle (IA) – la médecine antique d’Hippocrate et la relation médecin-patient ont progressivement évolué. L’une des principales sources de changement de notre système de santé provient de l’informatisation, la numérisation et la mise en réseau technique touchant à la fois la gestion, l’organisation, et la prestation de soins et de services. Les applications d’IA s’immiscent dans la relation soignant-patient, justifiant une vigilance éthique.

Compte tenu des enjeux majeurs en termes de qualité de la prise en charge, et de responsabilité, des juridiques exigences spécifiques émergent dans la réglementation. D’ores et déjà, en France, la Loi de Bioéthique du 2 août 2021 a introduit des obligations d’information des patients mais aussi des professionnels participant aux actes de prévention, de diagnostic ou de soins, non seulement sur l’utilisation d’un système d’IA mais aussi sur l’interprétation qui en résulte, et ce, afin de favoriser le colloque singulier entre le patient et le médecin, et de permettre l’appropriation des résultats. Dans le même sens, une proposition de règlement européen sur l’IA consacre une obligation de transparence, et le contrôle humain s’agissant des systèmes d’IA à haut risque.

 

Regard juridique sur la relation médecin-patient dans le cadre de l’Intelligence Artificielle

Parmi les outils d’Intelligence Artificielle (IA) utilisés dans le domaine de la santé, ou destinés à l’être, les systèmes d’IA cristallisant le plus de craintes sont celles susceptibles de remplacer le médecin dans la réalisation d’actes médicaux diagnostiques et thérapeutiques.

En effet, comment s’assurer que les résultats fournis par les algorithmes ne soient utilisés que comme une aide, et n’aboutissent pas à une perte d’autonomie des médecins et/ou à un appauvrissement de l’acte médical ?

Comment donner aux médecins les moyens d’apprécier les résultats, et, le cas échéant, de s’en départir ?

C’est pour apporter des réponses et un premier cadre face à ces risques et craintes, qu’un cadre légal s’impose.

 

II. Le cadre juridique français

Ainsi, des dispositions spécifiques de la Loi Bioéthique [28] ont été adoptées, et introduites à l’art. L4001-3 du Code de la Santé Publique :

I.- Le professionnel de santé qui décide d’utiliser, pour un acte de prévention, de diagnostic ou de soin, un dispositif médical comportant un traitement de données algorithmique dont l’apprentissage a été réalisé à partir de données massives s’assure que la personne concernée en a été informée et qu’elle est, le cas échéant, avertie de l’interprétation qui en résulte.

II.- Les professionnels de santé concernés sont informés du recours à ce traitement de données. Les données du patient utilisées dans ce traitement et les résultats qui en sont issus leur sont accessibles.

III.- Les concepteurs d’un traitement algorithmique mentionné au I s’assurent de l’explicabilité de son fonctionnement pour les utilisateurs.

IV.- Un arrêté du ministre chargé de la santé établit, après avis de la Haute Autorité de santé et de la Commission nationale de l’informatique et des libertés, la nature des dispositifs médicaux mentionnés au I et leurs modalités d’utilisation. »

Ces dispositions visent ainsi à la supervision humaine, aussi appelée garantie humaine, imposant :

• D’une part, au professionnel de santé d’informer le patient du recours à une solution d’IA dans le cadre d’un acte de prévention, de diagnostic ou de soins, et le cas échéant du résultat qui en résulte, et ;
• D’autre part, au concepteur de l’algorithme de s’assurer de l’explicabilité de son fonctionnement pour les utilisateurs.

La première exigence pose une obligation d’information du patient par le professionnel de santé.

Elle permet ainsi l’instauration d’un échange entre le médecin et son patient sur l’utilisation d’une solution d’IA et le résultat associé, et donc par la même, invite le médecin à motiver à l’égard du patient son choix de suivre la recommandation l’IA ou de s’en départir, et à s’approprier l’acte médical diagnostique ou thérapeutique.

La seconde exigence vise à s’assurer que le médecin dispose des informations nécessaires et suffisantes pour comprendre le fonctionnement de la solution d’IA, et ainsi à lui permettre de s’approprier le résultat, et de s’en écarter le cas échéant.

Enfin, en prévoyant « Les professionnels de santé concernés sont informés du recours à ce traitement de données. Les données du patient utilisées dans ce traitement et les résultats qui en sont issus leur sont accessibles. », le texte pose une obligation de traçabilité de la décision augmentée, visant à permettre aux « professionnels concernés », c’est à dire ceux participant à la prise en charge, d’être en mesure d’évaluer la pertinence de l’acte, « augmenté » par la solution d’IA, d’un médecin, et de s’assurer qu’il a bénéficié de l’autonomie nécessaire par rapport à l’algorithme.

 

 III. Le cadre juridique européen en construction

 La Proposition de règlement du parlement européen et du conseil établissement des règles harmonisées concernant l’IA (législation sur l’IA), visant au développement d’un marché unique de solutions d’IA légales, sûres et dignes de confiance, propose également d’encadrer cette supervision humaine, notamment dans le cadre de l’utilisation de systèmes d’IA à haut risque – dont en particulier les systèmes d’IA constituant ou intégrées à des dispositifs médicaux – fixant des exigences de :

• Transparence et fourniture d’informations aux utilisateurs [29] « pour permettre aux utilisateurs d’interpréter les résultats du système et de l’utiliser de manière appropriée ».

Ainsi, les systèmes d’IA à haut risque doivent être accompagnés d’une notice d’utilisation dans un format numérique approprié ou autre, contenant des informations concises, complètes, exactes et claires, qui soient pertinentes, accessibles et compréhensibles pour les utilisateurs (aux caractéristiques similaire aux exigences du règlement général sur la protection des données à l’égard des informations relatives aux traitements de données personnelles) décrivant les caractéristiques du système d’IA, dont capacités, limites, destination d’usage, performances, durée de vie attendue, données d’entrée, d’entraînement, de validation, et les mesures de contrôle humain notamment les mesures techniques mises en place pour faciliter l’interprétation des résultats des systèmes d’IA par les utilisateurs ;

• Contrôle humain dès la conception[30] : « notamment au moyen d’interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant la période d’utilisation du système d’IA », visant à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent survenir lorsqu’un système d’IA à haut risque est utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible.

Le contrôle humain doit être assuré au moyen de mesures donnant aux personnes chargées d’effectuer un contrôle humain (les professionnels de santé), en fonction des circonstances, la possibilité :

• D’appréhender totalement les capacités et les limites du système d’IA à haut risque et d’être en mesure de surveiller correctement son fonctionnement, afin de pouvoir détecter et traiter dès que possible les signes d’anomalies, de dysfonctionnements et de performances inattendues ;
• D’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux résultats produits par un système d’IA à haut risque (« biais d’automatisation ») ;
• D’être en mesure d’interpréter correctement les résultats du système d’IA à haut risque, compte tenu notamment des caractéristiques du système et des outils et méthodes d’interprétation disponibles ;
• D’être en mesure de décider, dans une situation particulière, de ne pas utiliser le système d’IA à haut risque ou de négliger, passer outre ou inverser le résultat fourni par ce système ;
• D’être capable d’intervenir sur le fonctionnement du système d’IA à haut risque ou d’interrompre ce fonctionnement au moyen d’un bouton d’arrêt ou d’une procédure similaire.

Grâce à ces informations et mesures, les utilisateurs de systèmes d’IA à haut risque doivent être en capacité de les utiliser de manière sécurisée.

De leur côté, ils sont tenus de les utiliser conformément aux notices d’utilisation accompagnant les systèmes à exercer un contrôle sur les données d’entrée, et de veiller à ce que ces dernières soient pertinentes au regard de la destination du système d’IA à haut risque.

Ils doivent également surveiller le fonctionnement du système d’IA à haut risque sur la base de la notice d’utilisation [31], et lorsqu’ils ont des raisons de considérer que l’utilisation conformément à la notice d’utilisation peut avoir pour effet que le système d’IA présente un risque, ils en informent le fournisseur ou le distributeur et suspendent l’utilisation du système, de même lorsqu’ils constatent un incident grave ou un dysfonctionnement et ils interrompent l’utilisation du système d’IA.

Il en résulte également des obligations de tenue et conservation, pendant une période appropriée à la destination des systèmes, des journaux générés automatiquement par ce système d’IA à haut risque et utiliser les informations fournies dans le cadre de l’exigence de transparence des fournisseurs pour se conformer à leur obligation de procéder à une analyse d’impact relative à la protection des données.

Le texte prévoit des sanctions dissuasives, la non-conformité du système d’IA avec les exigences relatives à la transparence et la supervision humaine, faisant l’objet d’une amende administrative pouvant aller jusqu’à 20 000 000 € ou, si l’auteur de l’infraction est une entreprise, jusqu’à 4 % de son chiffre d’affaires annuel mondial total réalisé au cours de l’exercice précédent, le montant le plus élevé étant retenu [32].

Les dispositions susvisées de la Loi de Bioéthique, et la proposition de législation sur l’IA s’inscrivent dans la droite ligne des travaux de la commission européenne et constituent une fidèle traduction juridique des recommandations de l’OMS dans son premier rapport mondial sur l’IA appliquée à la santé publié le 28 juin 2021, et proposant six principes directeurs relatifs à sa conception et à son utilisation, parmi lesquels « Protéger l’autonomie de l’être humain », « Garantir la transparence, la clarté et l’intelligibilité » et « Encourager la responsabilité et l’obligation de rendre des comptes ».

 

Conclusion :

La médecine dite « 4.0 » se développe de manière exponentielle, s’appuyant sur les Big Data, les algorithmes et les systèmes d’IA afin de tendre vers une médecine individualisée, personnalisée et prédictive. L’IA transforme les usages et exponentialise les ressources, l’organisation et les conditions de prise en charge, et impacte sensiblement la relation médecin/patient.

Dans le contexte de cette transformation majeure, il convient de s’interroger sur la médecine de l’IA ? Quelle place pour les professionnels et usagers de santé dans cet environnement de santé numérisé où interfèrent, objets, robots, machines et autres systèmes experts autonomes ? Quelle autonomie pour les professionnels de santé ? Quel regard éthico-juridique afin de garantir les droits et libertés des personnes ?

Tout l’enjeu est de développer une IA de confiance, optimisant le système de santé, sans dénaturer la relation soignant-patient, et sans affecter les droits et libertés des patients. Dans ce contexte, la transparence et la supervision humaine en particulier apparaissent comme les clefs de voûte. Au-delà des exigences spécifiques aux systèmes d’IA à haut risque, une approche néodarwinienne systémique et transversale fondée sur le concept de l’Ethics by Evolution s’impose.

 

Bibliographie :

[1] OMS. (2021). Ethics and Governance of Artificial Intelligence for Health ; Rapport ; 28 juin.

[2] Boyd, D., & Crawford, K. (2012). Critical Questions for Big Data: Provocations for a cultural, technological, and scholarly phenomenon. Information Communication & Society, 15(5), p. 662–679.

[3] Costa, F. F. (2014). Big data in biomedicine. Drug Discovery Today, 19(4), p. 433–440.

[4] Mittelstadt B. D, Fairweather N. B, McBride N, et Shaw M. (2011). Ethical issues of personal health monitoring: A literature review. In ETHICOMP ; conference proceedings (pp. 313–321). Presented at the ETHICOMP 2011, Sheffield, UK.

[5] Mittelstadt, B. D., Fairweather, N. B., McBride, N., & Shaw, M. (2013). Privacy, risk and personal health monitoring. In ETHICOMP 2013 conference proceedings (pp. 340–351). Presented at the ETHICOMP 2013, Kolding, Denmark.

[6] Niemeijer A. R, Frederiks B. J, Riphagen I. I, Legemaate J, Eefsting J. A, et Hertogh C. M. (2010). Ethical and practical concerns of surveillance technologies in residential care for people with dementia or intellectual disabilities: An overview of the literature. International Psychogeriatrics, 22, p. 1129–1142.

[7] FHF. (2018). Intelligence artificielle : Quels impacts et perspectives pour l’Hôpital ?, le Magazine de la FHF. n°38, Hiver, p. 13 à 17.

[8] Floridi, L, et Taddeo M. (2016). « What Is Data Ethics? » Philosophical Transactions of the Royal Society A-Mathematical Physical and Engineering Sciences 374 (2083): 20160360.

[9] Cath C, Wachter S, Mittelstadt B, Taddeo M, et Floridi L. (2016). Artificial Intelligence and the “Good Society”: The US, EU, and UK Approach. SSRN Scholarly Paper ID 2906249. Rochester, NY: Social Science Research Network.

[10] Ananny M, et Crawford K. (2018). Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. New Media & Society ; 20 (3): 973‑89.

[11] Selbst A, et Barocas S. (2018). The Intuitive Appeal of Explainable Machines. SSRN Scholarly Paper ID 3126971. Rochester, NY: Social Science Research Network.

[12] Kim P. (2016). Data-Driven Discrimination at Work. William & Mary Law Review ; 58: 857‑936.

[13] Friedler S, Scheidegger C, et Venkatasubramanian S. (2016). « On the (im)possibility of fairness ». arXiv:1609.07236 [cs, stat], septembre.

[14] Brundage M, Avin S, Clark J, Toner H, Eckersley P, Garfinkel B, Dafoe A, Scharre P, Zeitzoff T, et Filar B. (2018). « The malicious use of artificial intelligence: Forecasting, prevention, and mitigation ». arXiv preprint arXiv:1802.07228.

[15] Campolo, A, Sanfilippo M, Whittaker M, et Crawford K. (2017). « AI Now 2017 Report ». https://ainowinstitute.org/AI_Now_2017_Report.pdf.

[16] Mittelstadt B, et Floridi L. (2016) b. « The Ethics of Big Data: Current and Foreseeable Issues in Biomedical Contexts ». Science and Engineering Ethics ; 22 (2): 303‑41.

[17] Coeckelbergh M. (2015). Artificial Agents, Good Care, and Modernity. Theoretical Medicine and Bioethics ; 36 (4): 265‑77.

[18] Nakrem S, Solbjør M, Ida Pettersen N, et Kleiven H. (2018). « Care relationships at stake? Home healthcare professionals’ experiences with digital medicine dispensers – a qualitative study ». BMC Health Services Research 18 (janvier).

[19] Voarino N. (2019). Systèmes d’intelligence artificielle et santé : les enjeux d’une innovation responsable. Thèse doctorale ; Faculté de médecine de Montréal ; pp. 356.

[20] Devillers L. (2017). « Des robots et des hommes: Mythes, fantasmes et réalité». Plon ; Paris.

[21] Coeckelbergh M. (2012). « “How I Learned to Love the Robot”: Capabilities, Information Technologies, and Elderly Care ». Dans The Capability Approach, Technology and Design, édité par Ilse Oosterlaken et Jeroen van den Hoven, 77‑86. Philosophy of Engineering and Technology. Dordrecht: Springer Netherlands.

[22] Béranger J. (2021). Comment concilier éthique et intelligence artificielle ? ActuIA ; n°5 ; p.59.

[23] Rougé-Bugat ME et Béranger J. (2021). La relation médecin généraliste-patient face à la numérisation de la médecine. DSIH ; Février.

[24] Rougé-Bugat ME et Béranger J. (2021). Evolution de la relation médecin généraliste-patient à l’heure de la médecine digitale : Cas de la prise en charge du patient atteint de cancer. Les tribunes de la santé ; n°68.

[25] Rougé-Bugat ME et Béranger J. (2021). Evolution et impact du numérique dans la relation médecin généraliste-patient : Cas du patient atteint de cancer. Revue officielle de l’Académie Nationale de Médecine ; Juillet.

[26] Beauchamp T. L, Childress J. (2001). Principles of Biomedical Ethics. 5ème edition ;  Oxford University Press, New-York / Oxford.

[27] Hervé C, et Stanton-Jean M. (2018). Innovations en santé publique, des données personnelles aux données massives (Big data) : Asp.

[28] Code la Santé Publique, article L4001-3, issu de la LOI n° 2021-1017 du 2 août 2021 relative à la bioéthique, article 17.

[29] Projet de législation sur l’intelligence artificielle, article 13.

[30] Projet de législation sur l’intelligence artificielle, article 14.

[31] Projet de législation sur l’intelligence artificielle, article 29.

[32] Projet de législation sur l’intelligence artificielle, article 71, 4.