Vignette (© Inserm).

Savoir si le développement concret de telle ou telle technique en gestation va dans le sens d’un progrès requiert que cette technique ne corresponde pas seulement à une avancée méthodologique mais aussi qu’elle réponde à des critères moraux. Les débats accompagnant le développement de familles de technologies aussi importantes que le nucléaire, l’intelligence artificielle ou le génie génétique, en témoignent amplement. L’ ethics-by-design est une approche selon laquelle intégrer la considération des valeurs à respecter le plus en amont possible dans le processus de développement de la technique permet d’anticiper et de prévenir les effets néfastes qui pourraient advenir lors de sa mise en œuvre. On ne traduira pas ethics-by-design (ED) – le terme renvoie à l’idée de conception, comme si l’objet technologique, de par la manière dont il est conçu, possédait certaines propriétés qui font que son utilisation ou son application sont assurées de respecter certaines règles ou principes éthiques. Cette approche, proposée et développée depuis peu [ 1 ], est de plus en plus fréquemment mise en avant dans des appels à projets, en particulier au niveau européen.

Si elle trouve son origine dans le champ de l’éthique de l’intelligence artificielle (IA) [ 2 – 5 ], la question de savoir si l’ED peut être mobilisée dans d’autres champs de recherche technologique, au-delà de l’IA, et de quels enseignements en tirer, en particulier dans la sphère de la bioingénierie, est posée ici.

L’intérêt pour une nouvelle approche vient, en partie, de l’échec, depuis plusieurs décennies, des tentatives de faire face collectivement aux enjeux éthiques soulevés par les technologies émergentes. Si les propositions pour les discuter et les évaluer sont nombreuses, si les arènes de la philosophie, de la bioéthique et de la médecine résonnent de promesses et de leurs critiques, les procédures concrètes et efficaces pour contrôler le développement technologique ne sont finalement pas si nombreuses.

Par exemple, une procédure de type ELSI ( ethical, legal, and social implications ) ¹ laisse en général sceptique quant à la capacité d’un sous-programme, financé par le programme de développement de la technique principale, à influencer réellement la forme que prendra ce développement et, en particulier, à l’arrêter si cela s’avérait nécessaire [ 6 ]. Les exercices de technology assessment (études d’impact) ^2, , menés directement au niveau politique, ont plus de chances d’aboutir à de la régulation, mais ils n’influent pas facilement sur la trajectoire technologique empruntée par les acteurs du secteur. On comprend qu’il y a deux obstacles dans la mise en œuvre d’une éthique qui s’appliquerait aux technologies à venir : le premier tient à la difficulté d’anticiper le développement de la technique et ses conséquences sur la société ; le second tient à la capacité de la démarche éthique d’infléchir le cours des choses. C’est ce que résume le dilemme de Collingridge ³ [ 7 ]. Une réflexion éthique amorcée trop tôt dans le cycle de développement d’une technique, risque de ne pas pouvoir prendre en compte ses conséquences réelles, et, ainsi, on accepterait (ou refuserait), par ignorance, une technologie dont on ne perçoit pas encore les impacts négatifs (ou positifs). À l’inverse, une fois une technologie développée, testée, mise en œuvre, commercialisée, la réflexion critique serait impuissante à agir, simplement parce que la technologie s’est déjà installée dans nos vies, ou qu’elle a modifié les rapports de force entre les acteurs.

L’approche ethics-by-design repose sur l’idée que l’on peut identifier les valeurs essentielles que doit respecter le système ou le produit développé et les prendre en compte très en amont dans le développement technologique. Elle consiste à favoriser certains choix dans la conception de la technique, de telle sorte que l’outil se conforme à ces valeurs ou principes. Pour cela, il faut traduire les principes éthiques en étapes opératoires dans le développement de la technique. Il s’agit d’anticiper, mais de manière concrète et en partant de leviers d’actions incorporés dans la technique elle-même.

C’est tout le processus de développement technologique qui pourrait être repensé. Une technique est généralement développée pour apporter une solution concrète à une demande (sociale, médicale, etc.) ou pour répondre à un problème méthodologique. Pour cela, l’ingénieur doit avoir en tête l’objectif à remplir et les capacités et les limites de son outil, ainsi que les contraintes liées à la production et à l’usage futur (coût, commercialisation, etc.). L’approche ED commence par identifier les principes et valeurs morales fondamentaux que l’on tient pour importants (la justice, le respect, l’autonomie des personnes, etc.), ou, plus précisément, que l’on veut que la technologie respecte, une fois susceptible d’être mise en application [ 1 ]. Il faut ensuite traduire ces principes en exigences concrètes – par exemple, suivre un idéal de justice signifie qu’on ne souhaite pas discriminer les individus en fonction de leur origine, leur groupe ethnique, etc. – et identifier les biais que la technologie que l’on souhaite développer pourrait introduire (par exemple, contribuer à un traitement discriminatoire des individus). Si tel est le cas, alors il faut revenir sur les étapes du développement et traduire ces exigences en une méthode particulière qui vaut pour une technique donnée, c’est-à-dire trouver où les applications techniques peuvent s’écarter des principes et à quelles étapes du développement remédier à ces écarts.

L’ED n’est pas encore un outil clé-en-main qu’une entreprise ou un laboratoire de recherche et développement technologique pourrait s’approprier en une session de formation, mais certaines méthodes ont été proposées pour suivre cette approche dans des contextes précis, en particulier de développement de logiciels. L’approche ED est promulguée au niveau européen, mise en avant par certains projets qui incitent les développeurs, notamment en intelligence artificielle (IA), à suivre une telle approche [ 8 ]. Que l’ED trouve son origine dans l’éthique de l’IA et de la robotique n’est pas seulement dû au fait que les impacts de ces outils sur la société sont potentiellement importants, immédiats, et difficiles à circonscrire. Les systèmes d’IA contribuent directement à la prise de décision quand, en tant que systèmes « intelligents », nous leur demandons de trier ou de choisir pour nous. Pour certains, ces choix peuvent relever de jugements éthiques, comme en témoigne le débat sur les normes de sécurité à implémenter dans les voitures autonomes ( e.g. une voiture autonome doit-elle délibérément mettre en danger son conducteur pour éviter un piéton ?) [ 9 ]. Les « lois de la robotique » ⁴ proposées par Isaac Asimov (1920-1992), écrivain de science-fiction, stipulant, par exemple, qu’un robot ne peut porter atteinte aux êtres humains et doit obéir à leurs ordres (loi numéro 1), seraient une expression du type de contraintes auxquelles nous voulons que nos objets se plient. Dans ce cas, le robot agit en autonomie, mais on l’astreint à suivre certains principes, ce qui nous assure que ses « décisions » respectent le cadre que l’on veut lui donner.

Parmi les exemples d’application de l’IA qui contreviendraient aux normes acceptées dans la société, on trouve le développement d’un algorithme qui trie automatiquement les curriculum vitae des candidats par l’entreprise Amazon [ 10 ]. La cellule chargée de développer ce projet s’est finalement rendu compte que l’IA utilisée excluait systématiquement les candidatures féminines, probablement à cause d’un biais introduit dans la base de données (le milieu des ingénieurs est surtout masculin, les hommes sont donc surreprésentés dans les données de recrutement des années précédentes). On ne sait pas exactement quel impact cet algorithme particulier a eu sur le processus de sélection pour l’entrée dans la compagnie, mais il est possible que certaines personnes aient été écartées avant que cet algorithme ne soit abandonné, ce qui correspondrait à une discrimination injustifiée. La solution suggérée par la démarche ED aurait été, dans le cadre de ce développement, une estimation des biais le plus en amont possible, et une réflexion sur les contre-mesures techniques, avant de faire « tourner » l’algorithme. Cette approche se rapporte bien sûr aux applications de l’IA en médecine. Si l’on demande à une IA d’effectuer un tri en amont de la décision clinique, il s’agit, par exemple, de s’assurer qu’aucun biais dans la construction de l’algorithme ou de la base de donnée ne va venir perturber le diagnostic.

Les biotechnologies sont des technologies : aboutissant à la production de produits pensés pour avoir un impact sur le monde, et qui peuvent donc avoir été conçus à partir de certaines valeurs. On pourrait donc anticiper les conséquences de leur développement et interroger si ce développement suit un certain nombre de principes que l’on considère comme souhaitables. En conséquence, certains documents suggèrent la pertinence de l’approche ED dans le domaine de la santé [ 1 ]. Le dilemme de Collingridge y prévaut aussi : il semble qu’il n’y ait pas d’évaluation possible de ces technologies sans mesure précise des dangers, par exemple des toxicités, des effets à long terme ou des modifications apportées à l’environnement, et donc, sans prise de risque. Au-delà de la question de la sûreté et de l’efficacité des produits et thérapies, doit être posée la question de leur désirabilité individuelle et collective, que l’on peut traduire, notamment, par des calculs coût/bénéfices en santé publique ou en économie de la santé. Dans ce dernier cas, les procédures d’évaluation des technologies se fondent sur des données qui ne sont disponibles que lorsque la technologie a atteint un certain seuil de maturité. Ainsi, malgré l’existence d’un cadre législatif et réglementaire pour l’introduction de nouvelles technologies qui ont trait à la santé humaine – des comités d’éthique, des agences de régulation chargées non seulement de la sécurité des usagers, mais aussi d’une évaluation du juste coût des traitements et du niveau des remboursements –, il arrive, comme dans le cas des scandales sanitaires, que certaines innovations tournent au fiasco. À un dernier niveau, il importe de souligner que la question de la désirabilité va plus loin que le seul critère de l’efficacité et du coût : elle renvoie aussi à des interrogations fondamentales sur l’avenir technologique que nous voulons construire, questions qui relèvent de la réflexion bioéthique au sens large. L’approche ED s’inscrivant dans un paysage institutionnel de prise en charge des questions éthiques et de contrôle démocratique des technologies complexes, quelle peut être sa valeur ajoutée par rapport aux procédures existantes ?

Une première objection pourrait consister à dire que les biotechnologies ne sont pas des technologies comme les autres, justement en ce qu’elles s’appliquent à du matériel vivant, et que le vivant possède certaines caractéristiques qui ne sont pas celles des matériaux inertes. Tous les objets techniques se dégradent ou peuvent changer de signification en fonction de l’environnement et de l’usage que l’on en fait, mais la capacité d’évolution intrinsèque du vivant accroît cette incertitude (mutations, disséminations, adaptations, etc.).

L’objection peut effectivement être considérée, mais ce n’est pas forcément une raison majeure pour abandonner l’idée d’anticiper les conséquences de la technique et d’identifier les valeurs qui y sont inscrites. En revanche, en termes de structuration du champ de l’éthique et de la valeur ajoutée de l’approche ED, on peut se demander ce qu’apporterait une éthique de l’ingénieur, inventée pour un domaine qui n’avait justement pas l’habitude de se poser les questions éthiques, à un domaine pour lequel les procédures et garde-fous sont déjà nombreux. Les bioingénieurs ont-ils vraiment besoin de ce supplément ? La demande d’extension de l’ED serait alors essentiellement un dispositif rhétorique, la bioéthique offrant déjà tous les outils souhaités.

Les « valeurs » identifiées dans les démarches d’ED s’appuient souvent sur les principes de la bioéthique (bienfaisance, autonomie, justice). On peut donc passer de ces principes aux applications médicales des biotechnologies sans forcément détailler toutes les étapes de l’approche ED.

Gardant ces limites à l’esprit et le caractère inchoatif ⁵ de cette approche, on comprend que le plaidoyer en sa faveur permet d’insister sur l’ensemble du processus de production, et qu’il importe particulièrement de ne pas considérer les produits de la bioingénierie comme des objets finis qui seraient intrinsèquement bons ou mauvais, mais comme des produits modifiables. Tout au long du processus de production, la technique peut être orientée dans une direction ou une autre. Une telle démarche incite à anticiper les conséquences les plus lointaines de ce qui peut apparaître comme de « petites décisions technologiques » mais qui peuvent avoir, à terme, des répercussions importantes sur la qualité et l’intérêt du produit. Manifestement, les bioingénieurs ne peuvent pas se contenter de s’assurer de la sécurité (non toxicité) de leurs produits et de se demander si « ça marche » (validation scientifique), pour ensuite laisser faire le marché pour déterminer si des clients existent pour cette technique et à quel prix celle-ci sera vendue. Les questions de justice, d’équilibre global, des conséquences pour les sociétés et les écosystèmes, peuvent être présentes à tous les niveaux, y compris dans le choix de matériaux pour s’assurer que, si jamais le produit venait à accéder à une phase de production industrielle, il n’en résulterait pas des prérequis contraires à certains de nos principes (par exemple, une consommation invraisemblable d’animaux ou de plastique).

S’interroger sur le coût global du développement de la technique et son accessibilité fait aussi partie de sa conception. Par exemple, on pourrait dire qu’un traitement par thérapie génique, qui demande un investissement initial massif et se trouve commercialisé à un prix exorbitant, même s’il peut trouver un marché et des investisseurs en s’adressant à un public fortuné, est intrinsèquement mal conçu en ce qu’il ne respecte pas l’exigence de justice [ 14 ] ( → ).

(→) Voir le Repères de A. Fischer et al. , m/s n° 4, avril 2020, page 389

Prendre en considération cette question intervient très en amont du développement, bien avant la mise sur le marché et probablement avant même l’investissement initial.

En revanche, certains choix dans la conception de l’objet peuvent lever des barrières et ouvrir des alternatives. On peut penser au «  kill switch  », un interrupteur sensible à certaines modifications des signaux environnementaux, mis en place dans des entités artificielles (produits de la biologie synthétique) pour éviter une dissémination dans des contextes non désirables [ 15 ]. Malheureusement, il est à parier que la conception, si robuste soit-elle, ne puisse pas réduire à néant la part du hasard et des incertitudes. Si même les systèmes techniques les plus fiables appliqués au non vivant peuvent connaître des imprévus, alors que dire des systèmes vivants…

Le discours qui consisterait à dire, concernant les manipulations génétiques, que tout ou presque est possible in vitro , du moment que l’on ne réalise pas d’implantation in vivo chez l’homme, s’est vite heurté aux limitations de la régulation des usages, avec la révélation de la naissance des « bébés CRISPR » [ 16 ] ( → ).

(→) Voir le Repères de B. Jordan, m/s  n° 3, mars 2019, page 266

On peut penser aussi aux chimères ou aux modèles embryonnaires. Si, par exemple, la possibilité de l’émergence d’un système nerveux dans un modèle embryonnaire in vitro devient problématique [ 17 ] ( → ), on peut supposer qu’un modèle dont le développement du système nerveux est inhibé propose un garde-fou plus robuste que les restrictions à l’usage (nombre de jours de développement, limitations des inputs , etc.) que l’on peut proposer.

(→) Voir l’Éditorial de H. Chneiweiss, m/s  n° 2, février 2020, page 99

Les promoteurs de l’approche ED ne prétendent pas qu’une éthique implémentée dès la conception de l’objet nous fasse faire l’économie d’une éthique de l’usage, notamment parce que tout ne peut pas être connu et anticipé au stade de la conception, et que l’incertitude doit donner lieu à une surveillance continue. Cette idée d’un contrôle du processus et d’une intégration des enjeux éthiques par les ingénieurs eux-mêmes peut paraître suspecte si elle est poussée à l’extrême. Les normes ont ainsi vocation à être définies collectivement en société, et pas simplement décidées par les développeurs des produits.

L’ED ne dit rien sur le choix des valeurs et sur les tensions entre les différentes valeurs. Ce problème est en revanche bien connu de la bioéthique qui s’est construite autour du conflit des principes. Un virus génétiquement modifié dans le cadre d’expérimentations de gain de fonction pourrait constituer un exemple d’objet intrinsèquement dangereux, donc violant un principe de base tel que celui de non malfaisance, mais si l’on place la valeur cognitive de l’artefact encore plus haut, on peut accepter que l’étude d’un tel objet soit importante pour comprendre des processus biologiques qui nous affectent.

En tant que nouvelle approche, dont le rôle reste à définir pleinement, l’ED a le mérite de mettre l’accent sur deux points. D’abord, sur le fait que l’objet technique n’est pas un produit fini qu’il faudrait évaluer de l’extérieur, et sur lequel le jugement moral viendrait se poser après coup. Il y a bien des valeurs qui sont présentes tout au long du processus de production de l’objet, qui peut être redirigé à tout moment. Ensuite, l’ED suggère que l’interdiction ou la régulation stricte par la loi ne sont pas toujours les meilleures voies dont nous disposons pour modeler notre futur technologique. En cela, elle tente de faire porter plus de responsabilité sur les développeurs de ces technologies, en leur proposant des «  guidelines  » (directives ou conseils), avec ce que cette stratégie comporte de limites et de risques si on leur en délègue toute la responsabilité et qu’on leur accorde une confiance aveugle.

La référence à deux débats contemporains en éthique de la technologie nous permet de resituer notre discussion dans son contexte. Le premier concerne le «  nudging  ». Il s’agit de techniques orientant le comportement des individus dans un sens supposé vertueux par son initiateur, la puissance publique par exemple [ 18 ] ( → ).

(→) Voir le Forum de C. Huyard, m/s  n° 12, décembre 2016, page 1130

Même si certaines techniques procurent des gains en termes de santé publique (on consomme moins si les assiettes du buffet sont plus petites), on peut s’interroger sur l’absence de consentement des personnes ciblées. Influencer par la technique, c’est une manière d’imposer un choix de manière latente. L’autre concept est celui du «  dual use  » (double usage) [ 19 ] ( → ), c’est-à-dire de la potentielle utilisation militaire (ou terroriste) d’une technologie civile. Si tous les appels à projets demandent, désormais, de clarifier la position de la recherche par rapport au double usage, c’est qu’il y a, de la part du décideur ou du financeur, quelque chose comme une peur de voir l’objet développé échapper à leur contrôle. Il est vrai qu’il serait regrettable que le financement public de la recherche en santé finisse par nourrir le bioterrorisme, mais on voit qu’il est très difficile d’anticiper toutes les applications potentielles de la recherche et, pour un chercheur, d’assurer que jamais son produit ne pourra donner lieu à une réutilisation à d’autres desseins (voir, par exemple, l’histoire du nucléaire civil et militaire). Demander aux chercheurs et aux développeurs d’anticiper les enjeux éthiques dès la conception de leurs outils est louable, leur demander de prendre en charge toutes les conséquences qu’ils pourront avoir est beaucoup moins réaliste et ne doit pas servir de prétexte à décharger le régulateur, et tous les autres acteurs, de leurs responsabilités propres.

(→) Voir le Repères de F. Velardo et al. , m/s n° 3, mars 2022, page 303

L’auteur déclare n’avoir aucun lien d’intérêt concernant les données publiées dans cet article.

Je remercie Jacques Haiech et Raymond Pamphile pour leurs commentaires. Cette synthèse repose sur une recherche effectuée dans le cadre du projet européen H2020 HYBRIDA, Embedding a comprehensive ethical dimension to organoid-based research and related technologies (Grant Agreement 101006012).