Il est frappant de remarquer que depuis plusieurs années, les Systèmes d’armes létaux autonomes (Sala), qui sont d’ailleurs souvent dénommés de façon réductrice et fallacieuse « robots tueurs », font l’objet d’une diabolisation au sein de l’opinion publique, alors que les utilisations « civiles » de l’Intelligence artificielle (IA) sont majoritairement présentées comme progressistes et bénéfiques pour l’humanité. Pour une grande partie de la société civile, il faut donc interdire de façon générale ces Sala, et l’argument majeur est de marteler que ces systèmes, de par leur nature même, seraient contraires au droit, notamment le Droit international humanitaire (DIH).

La question qui se pose est de savoir pourquoi ces Sala, pour autant qu’on puisse à l’heure actuelle les définir précisément, suscitent de telles craintes, et si leur développement est réellement illégal. Ce qui fait la spécificité des Sala, c’est l’association d’une capacité létale à des innovations technologiques dont on a encore du mal à mesurer les limites, et qui posent de nombreuses questions juridiques, notamment en termes de responsabilités. C’est aussi la résurgence d’un débat ancien et récurrent concernant l’action militaire, à savoir le rôle de l’homme dans le fait de donner la mort, avec l’utilisation d’armes de plus en plus distantes par rapport à la cible (arbalète vs combat à l’épée ⁽¹⁾, canon, drones, etc.). On le voit, ce débat est plus philosophique que juridique, même s’il a fortement contribué à la structuration du DIH actuel. Mais le risque est ici de mêler les notions de bien et de mal avec les notions juridiques, et de fausser le débat par une approche morale et éthique.

Un débat juridique quelque peu faussé

Une proscription prônée pour des armes pas encore développées

Les Sala font tout d’abord l’objet d’une sorte de « procès d’intention ». La campagne contre les « robots tueurs » ⁽²⁾, active depuis le début des années 2010, préconise en effet l’interdiction générale d’armes qui n’ont pas encore été développées. Or, les effets de ces Sala ne sont pas encore visibles, et sont même difficilement prévisibles, contrairement à ceux des mines antipersonnel ⁽³⁾, des armes à sous-munitions, des munitions explosives en zone urbaine, ou même de l’arme nucléaire. Concernant cette dernière, il est intéressant de noter que les arguments de la campagne ayant conduit à l’adoption en 2017 du Traité d’interdiction ⁽⁴⁾ ont majoritairement porté sur les effets manifestement inhumains de l’arme, en se référant quasi exclusivement aux bombardements de Hiroshima et Nagasaki, pour en déduire l’incompatibilité totale du nucléaire avec le droit international. Mais dans le Traité de 2017, aucune définition précise de ce qu’est l’arme nucléaire n’est donnée. Or il est clair que l’arsenal actuel, du moins chez les États dotés de l’arme nucléaire (Édan) ⁽⁵⁾, est bien différent de celui des années 1940-1950, en termes d’éventail de puissance ⁽⁶⁾, de sécurité et de maîtrise des effets.

Pour les Sala, qui n’existent pas encore, les risques de causer des souffrances inutiles ou des maux superflus ne sont pas clairement identifiés, même s’il faut évidemment les anticiper et chercher à les minimiser, comme pour tout armement. Mais il semble très réducteur de préjuger qu’un système utilisant de l’IA serait forcément extrêmement destructeur et/ou dangereux pour les populations civiles.

Le risque des interdictions générales

On pourrait objecter que bien que les Sala n’aient pas encore d’existence concrète, il est plus efficace de les interdire ab initio sans attendre qu’elles produisent des effets dévastateurs. Mais proscrire l’usage d’un moyen qu’il est encore difficile de définir implique une interdiction globale et très « théorique ». Or, force est de constater que plus les interdictions sont générales, plus elles sont irréalistes et inefficaces, car elles ne correspondent pas à la réalité du terrain. La volonté, louable, de restreindre les moyens causant des souffrances inutiles et des maux superflus lors des conflits armés, pourrait même conduire certains États à se détourner de l’esprit du droit, sous prétexte qu’il devient inapplicable en pratique, notamment pour faire face à des ennemis asymétriques ou dissymétriques.

Si l’on prend l’exemple des munitions explosives ⁽⁷⁾, dont l’interdiction générale est actuellement prônée par certains acteurs ⁽⁸⁾, nul ne conteste leurs effets destructeurs dans les zones densément peuplées, mais ces effets sont principalement dus à un usage non encadré de ces armements, ou à une interprétation extensive des principes de distinction ou de proportionnalité. En fait, l’application stricte du principe de précaution doit, à elle seule, conduire à exclure, dans la grande majorité des cas, l’emploi de ce type d’armes dans les zones peuplées ⁽⁹⁾.

Dans le cas des Sala, il faudra tenir exactement le même type de raisonnement. L’évolution technologique ne peut être bridée, et les progrès dans le domaine de la numérisation et de l’IA sont essentiellement tirés par le secteur civil, à un rythme exponentiel. Afin de ne pas se laisser distancer dans cette course, voire dominer par des adversaires potentiels, les armées se doivent d’anticiper le développement des Sala, tout en mesurant l’ensemble des risques et en prenant les précautions nécessaires, notamment pour assurer une application optimale des principes du DIH.

Une illicéité « de principe » des Sala problématique

Les tenants d’une incompatibilité consubstantielle entre les Sala et le DIH développent, à mon sens, une vision un peu « schizophrénique » de ce dernier. En effet, il est difficile, d’une part, de soulever l’illicéité per se des Sala ⁽¹⁰⁾, d’autant que ces systèmes ne sont pas encore clairement définis ; et d’autre part, de rappeler que le DIH est un droit évolutif et pragmatique, et qu’il s’applique totalement aux nouvelles technologies, en faisant référence à l’article 36 du premier Protocole additionnel I (1977) aux Conventions de Genève de 1949 (PA I) ⁽¹¹⁾. Il est clair que les SALA répondent à la définition des armes et systèmes d’armes donnée par le DIH ⁽¹²⁾. Et bien qu’ils constituent une catégorie en devenir dont le périmètre n’est pas établi, les règles du DIH antérieures à leur apparition leur sont applicables. En conséquence, comme pour les armes cyber d’ailleurs, tout l’enjeu consiste à préparer leur développement en intégrant, dès la conception, les règles et prescriptions du DIH, et en s’assurant ensuite que les principes de distinction, proportionnalité et précaution pourront s’appliquer dans l’emploi de ces systèmes.

À partir du moment où l’on considère que les Sala sont compatibles avec le DIH, il faut alors totalement appliquer les dispositions existantes, et notamment l’article 36 du PA I, qui stipule que les États sont tenus de procéder à un examen de licéité dans l’étude, la mise au point, l’acquisition ou l’adoption de leurs nouvelles armes, nouveaux moyens et nouvelles méthodes de guerre. Pour les États qui envisagent de développer des systèmes autonomes, la mise en place d’une revue de licéité, au sens de l’article 36, est donc un prérequis indispensable ⁽¹³⁾.

La conduite d’une réflexion juridique, permettant de s’assurer que les principes du DIH pourront être appliqués, et dont découlera une doctrine d’emploi (autorisation selon tel ou tel type de milieu, chaîne de commandement et de contrôle associée, règles opérationnelles d’engagement, etc.), est la seule solution pragmatique pour encadrer la montée en puissance des Sala, au contraire d’une interdiction générale inefficace, voire contre-productive. Comme pour les autres armes et moyens de guerre, cette stratégie ne pourra jamais éviter l’emploi inapproprié par certains acteurs, ou le dévoiement des principes, mais elle permettra d’encadrer par des procédures et des pratiques consolidées l’usage de ces nouvelles technologies.

Une possible meilleure application des principes du DIH par des IA

En sus des critiques sur l’illicéité « par nature » des Sala, de nombreux arguments portent sur la difficile applicabilité des principes du DIH (humanité, distinction, proportionnalité et précaution) à ces nouvelles armes. La compatibilité des Sala avec le principe d’humanité ⁽¹⁴⁾, que j’évoquerai plus loin, se situe plus à mon sens sur les plans philosophique et éthique. En ce qui concerne les autres principes, l’analyse doit être des plus mesurée. L’application du principe de distinction, notamment en ce qui concerne les individus, est le défi majeur auquel sont confrontées les forces armées dans les conflits actuels. En effet, il est particulièrement délicat d’identifier des adversaires qui ne portent pas d’uniforme et qui se fondent, souvent sciemment, dans la population civile. Sur le plan juridique, notamment en Conflit armé non international (Cani), le seul critère qui permet de distinguer l’ennemi est la participation directe aux hostilités, qui entraîne la perte de la protection accordée par le DIH aux civils. Et malgré les éléments interprétatifs donnés par le CICR en 2009 ⁽¹⁵⁾, cette notion reste encore parfois un peu floue et sujette à débat ⁽¹⁶⁾.

En conséquence, arguer du fait que des « robots » pourraient difficilement distinguer les civils des combattants et/ou de ceux participant directement aux hostilités ⁽¹⁷⁾ est une négation de la réalité du terrain et des dilemmes auxquels sont confrontés nos soldats au quotidien. Dans leur processus, les forces armées doivent déjà définir des critères, souvent cumulatifs, d’appartenance à un groupe armé organisé et de participation directe aux hostilités (porter ouvertement de l’armement, circuler à grande vitesse dans un certain type de véhicule, disposer de moyens de communication satellitaires, etc.) pour permettre un ciblage létal. Ces critères s’apparentent à des « check-lists » qui doivent être vérifiées avant l’ouverture du feu, et l’environnement immédiat est également surveillé (notamment par des drones) pour y déceler toute présence de civils. Un « robot » devrait exactement réaliser la même analyse, qui pourrait même être facilitée par la proximité physique avec la cible. Il n’apparaît pas du tout illusoire de coder ces règles et vérifications à effectuer dans une IA qui serait en charge d’un ciblage létal, sous réserve bien sûr que la doctrine d’emploi prévoie ce type d’emploi.

En ce qui concerne le principe de proportionnalité ⁽¹⁸⁾, la minimisation des dommages collatéraux par un « robot » procède de la même analyse. Actuellement, pour y parvenir, de nombreuses forces armées mettent en œuvre une méthode d’évaluation des risques (Collateral Damage Evaluation, CDE), qui prend en compte les effets raisonnablement attendus des armements utilisés et qui assigne à chaque niveau de risque un niveau de responsabilité pour l’autorisation du tir. D’une part, l’estimation du dommage prévisible est en grande partie une analyse scientifique ⁽¹⁹⁾, dont la fiabilité ne pourrait qu’être renforcée par l’utilisation d’IA. D’autre part, le niveau d’implication humaine dans la décision est et peut être maintenu, et il est tout à fait envisageable de « retenir » la décision d’ouverture du feu à un niveau supérieur à celui du « robot », notamment en fonction de critères prédéfinis. Cette condition est d’ailleurs rendue indispensable par le principe de précaution dont une des déclinaisons est de toujours prévoir la possibilité d’interrompre une attaque ⁽²⁰⁾. Et plus le niveau technologique est élevé (cas du cyber par exemple), plus les mesures de précaution doivent être robustes. Il est donc excessif d’affirmer que l’usage de « robots tueurs » augmenterait systématiquement le risque de dommages collatéraux, car cela dénote une méconnaissance totale des processus existants déjà pour réduire ces risques ⁽²¹⁾.

Comme le suggèrent certains auteurs ⁽²²⁾, on pourrait même considérer que dans certains cas, les Sala permettraient de mieux respecter les principes du DIH, du fait de « l’insensibilité » des « robots » aux sentiments et passions humains. En effet, les combattants, sensément formés au DIH, ont toutes les peines du monde à le respecter sur les champs de bataille, comme le démontrent les violations récurrentes (non-respect des personnels sanitaires, utilisation de boucliers humains, massacres de civils, torture, etc.). Certains auteurs suggèrent alors de faire passer aux Sala un « test d’Arkin » ⁽²³⁾ : à conditions égales, si un robot démontre qu’il peut respecter le DIH aussi bien ou mieux qu’un être humain, il peut être considéré comme déployable.

Niveau de contrôle humain et responsabilité

Comme on l’a vu avec l’application du principe de proportionnalité, une des clés du débat concernant la licéité de l’emploi des Sala réside dans le niveau de contrôle humain sur la force, notamment pour pouvoir interrompre une attaque. Certains ont pu penser que la notion de « Contrôle humain significatif » (CHS) ⁽²⁴⁾ pourrait servir de curseur entre armes légales et illégales. L’absence de CHS entraînerait une dilution de la responsabilité rendant quasiment impossible les réparations pour les victimes de violation du DIH. Toutefois, la notion même de « contrôle humain » est contradictoire avec celle d’autonomie.

Ce qu’il faut comprendre, c’est qu’un Sala, avec une possible autonomie dans les fonctions critiques de sélection et d’attaque des cibles, pourra et devra être inséré dans une chaîne de Commandement et de contrôle (C2), comme n’importe quel type de système d’arme. Car il est bien évident que les forces armées n’auraient aucun intérêt à employer des armes totalement imprévisibles sur les champs de bataille. En conséquence, seront développées des procédures rigoureuses, précisant notamment les cas dans lesquels la décision est « déléguée » au plus bas niveau (donc au « robot »), et ceux dans lesquels elle doit être « réservée », avec une traçabilité permettant d’identifier les responsabilités. Cette solution n’est pas incompatible avec l’autonomie et/ou les capacités d’apprentissage du système autonome. En effet, rien n’exclut de limiter les domaines d’emploi et/ou de créer des systèmes de validation, peut-être même par d’autres IA, de la prise de décision.

Les développements futurs sur les Sala devront donc porter fortement sur l’indispensable coopération homme/machine, et sur la réduction au minimum de l’imprédictibilité qui accompagne encore pour l’instant les processus de deep learning des IA. Mais en aucun cas la technologie ne pourra « dédouaner » les différents acteurs, et en l’état actuel de la science, ce serait un mythe de considérer qu’il y a un scénario déterministe qui conduirait à une IA singulière et incontrôlable ⁽²⁵⁾.

Une réflexion éthique qui doit éclairer et non imposer

Du point de vue strictement juridique, rien ne s’oppose donc a priori au développement de nouvelles armes, même autonomes, pour autant que l’on puisse s’assurer d’un respect optimal des règles du DIH, tout en limitant les risques liés à l’imprédictibilité et aux défaillances techniques. Mais à mon sens, une grande part des préoccupations à propos des Sala concernent plus le domaine éthique que juridique. Ceci étant dit, ces réflexions éthiques ne doivent bien sûr pas être occultées.

Bien distinguer éthique et juridique

Il n’est pas inutile de rappeler que le droit définit ce qui est autorisé et ce qui est défendu aux individus composant une société, et non pas ce qui est relève du bien ou du mal, qui sont des principes posés par la morale ⁽²⁶⁾. Le droit est donc une norme posée par l’autorité publique, pour régir le comportement des hommes en société, à un moment donné mais tout en s’inscrivant dans la durée. L’éthique, quant à elle, est relative à ce qui est acceptable sur le plan social, culturel, politique voire moral, et peut donc varier grandement dans le temps. On distingue généralement deux grands courants : l’éthique peut être soit de la « conviction » (on se rapproche alors plus de la morale), soit de la « responsabilité » (ou éthique conséquentialiste) ⁽²⁷⁾. La première érige en quelque sorte des règles par nature relatives en principes absolus. La seconde essaie d’appréhender l’acceptabilité d’une décision, d’un développement scientifique, d’une évolution technologique, etc., et de leurs conséquences sur différents plans (social, culturel, politique, diplomatique, etc.). L’éthique conséquentialiste implique un processus d’analyse raisonnable, et non pas idéaliste, et donc la recherche du bien, voire du mieux, par un raisonnement concret.

C’est en ce sens que l’on peut dire que là où le droit vise à fournir un référentiel de normes, et donc de réponses, la réflexion éthique a vocation à produire un référentiel de questions. L’éthique ne se substitue pas au droit, mais a vocation à le compléter. La réflexion éthique peut également contribuer à l’évolution du droit, comme l’illustrent par exemple les travaux récents du Conseil consultatif national d’éthique (CCNE) sur la bioéthique, publiés afin d’éclairer les politiques pour la révision des lois bioéthique ⁽²⁸⁾. Mais l’éthique ne pose pas des principes généraux qui pourraient se transformer directement en normes juridiques, voire être utilisés comme des arguments « à valeur juridique ».

Or, dans le débat actuel sur l’interdiction des Sala, on peut parfois relever un certain mélange entre les arguments juridiques et éthiques. Dans la déclaration récente du CICR sur l’imposition de limites à l’autonomie des systèmes d’armes ⁽²⁹⁾, on peut déceler ce type d’amalgame : « le droit international humanitaire exige de ceux qui planifient, décident et mènent des attaques qu’ils effectuent certains jugements pour respecter les règles lors du lancement d’une attaque. Des considérations éthiques vont de pair avec cette exigence : elles requièrent ⁽³⁰⁾ le maintien d’une intervention et d’une intention humaines dans les décisions de recours à la force ». Or, à mon sens, l’éthique ne peut pas être aussi prescriptive. Elle peut certes contribuer à éclairer la réflexion sur l’évolution juridique, voire l’accélérer ⁽³¹⁾, mais ne doit pas s’ériger en norme.

La problématique de la perte de dignité humaine

Il est possible de mener une analyse éthique de certaines problématiques juridiques. Mais il faut bien se garder d’en tirer des conséquences radicales. Par exemple, les tenants de l’incompatibilité consubstantielle des Sala avec le droit mettent souvent en avant la déshumanisation de l’usage létal de la force. De nombreux universitaires et philosophes ⁽³²⁾, la plupart des ONG et certains États considèrent notamment que laisser le choix d’ouvrir le feu à une machine « enfreint » la dignité humaine. Cette position n’a rien de juridique et relève avant tout de l’éthique de conviction. En effet, rien dans le DIH positif ne proscrit l’usage de la force létale par une machine. Bien qu’il soit tout à fait utile de réfléchir à cette question, encore une fois il n’est pas possible d’en déduire une « interdiction », tant qu’elle n’a pas été intégrée dans le corpus normatif. Or, le succès des campagnes abolitionnistes actuelles provient en grande partie de ce « mélange des genres » entre juridique et éthique.

La possibilité d’accorder le droit de tuer à des robots ne serait bien sûr pas dénuée de conséquences. Par exemple, le DIH réserve le droit de tuer aux combattants et aux personnes participant directement aux hostilités, car ils peuvent eux-mêmes être tués. Or, considérer qu’ils peuvent également être tués par des machines pourrait équivaloir, selon certains auteurs, « à mettre l’homicide sur le même plan que la destruction d’une pure chose matérielle » ⁽³³⁾, et donc remettre en cause le droit positif. Ce débat peut être considéré comme strictement juridique. Mais il est différent de celui, plus large, sur le rôle des humains dans la décision de donner la mort ⁽³⁴⁾, à connotation éthique voire philosophique. À cet égard, il est intéressant de relever chez certains auteurs, voire chez de nombreux militaires, la référence à « l’éthique du combattant », qui imposerait au soldat de ne tuer que « les yeux dans les yeux », au risque de perdre son humanité. Cette vision, aussi louable soit-elle, est en total décalage avec la conduite moderne des hostilités et les nouvelles technologies que nos armées adoptent. En outre, elle est en totale opposition avec le souhait par l’opinion publique d’une « guerre propre » avec zéro mort, et donc un rejet du niveau de pertes humaines que les conflits du XX^e siècle avaient engendrées. D’ailleurs, dans de nombreux conflits récents (Libye, Syrie, etc.), le principe du « no boots on the ground » a été mis en œuvre par les puissances occidentales. Il est donc difficile dans ce contexte d’imaginer un retour en arrière et aux règles de la chevalerie…

Responsabilité vs Intentionnalité

En étudiant les problématiques de responsabilité posées par l’utilisation de « robots tueurs », on rencontre la même imbrication entre notions juridiques et éthiques. Dans le cadre d’une action menée par un matériel autonome, il faudra pouvoir tracer le rôle des multiples intervenants (décideurs politiques, industriels, concepteurs, programmeurs, individus responsables du déploiement opérationnel, etc.) et évaluer leur poids respectif. Cette distinction sera nécessaire pour pouvoir procéder à la réparation d’éventuels dommages causés, voire même pour dégager une responsabilité pénale. La notion d’intentionnalité, élément majeur pour mettre en jeu cette responsabilité pénale, devra sans doute être réexaminée voire repensée pour prendre en compte les modes de fonctionnement d’un armement autonome.

Mais peut-on aller jusqu’à affirmer qu’une IA, dépourvue de conscience, ne pourrait donc pas être responsable de ses actes, et donc être jugée ? Cette assertion dépasse à mon sens l’analyse strictement juridique. Certes, afin d’évaluer le niveau d’autonomie d’un robot, et surtout son insertion dans une chaîne de commandement, il faudra sans doute développer de nouveaux modes voire de nouveaux outils. Et il faudra également que les supérieurs hiérarchiques puissent avoir un niveau de connaissance suffisant des moyens employés, pour qu’un contrôle effectif puisse se maintenir. Mais l’absence de conscience, en soi, n’implique pas une impossibilité d’imputation de responsabilité.

De la même façon, la réflexion sur le lien « indivisible » entre l’arme et le combattant, qui rendrait impossible toute mise en cause d’une responsabilité, est plus une réflexion philosophique et éthique que juridique. Pour Grégoire Chamayou par exemple ⁽³⁵⁾, le combattant qui est une personne, donc juridiquement responsable, et l’arme, qui est une chose, ont toujours été séparés. Un « robot tueur » serait donc un nouvel objet de droit, dans lequel le combattant et l’arme seraient confondus. Mais en déduire qu’il serait donc impossible de dégager une responsabilité juridique, car le jugement d’une machine reviendrait à juger une chose qui fait « usage d’elle-même », est excessif. Cela revient également à considérer que le droit est incapable d’évoluer et de prendre en compte des situations inédites. Or, les notions actuellement existantes en matière de responsabilité civile ⁽³⁶⁾ pourraient faire l’objet d’adaptation. À plus long terme, la création d’une « personnalité juridique du robot » pourrait même être envisagée, comme l’a préconisé le Parlement européen en 2017, appelant la Commission à établir des règles sur la robotique et l’IA, proposant « la création, à terme, d’une personnalité juridique spécifique aux robots, pour qu’au moins les robots autonomes les plus sophistiqués puissent être considérés comme des personnes électroniques responsables de réparer tout dommage causé à un tiers » ⁽³⁷⁾. Dans ces débats, il faut toutefois raison garder et ne pas exagérer l’avancée réelle de l’autonomisation et de l’intelligence des robots, leur capacité à penser, sans parler de leur capacité à avoir conscience d’eux-mêmes, inexistante pour l’instant ⁽³⁸⁾.

Une structuration de la réflexion éthique dans le développement des Sala

Une fois que les arguments juridiques ont été clarifiés pour justifier le développement ou non des Sala, il est impératif d’accepter le débat éthique, et cela au sein même des forces armées. Pour ces dernières, il y a un véritable enjeu à trouver un équilibre entre le développement de ces nouvelles technologies et le respect des valeurs sociétales actuelles. Une réflexion structurée, distincte de l’analyse juridique et de la revue de licéité des nouveaux armements, doit donc être menée et intégrer la question du choix des valeurs dans l’autonomisation croissante de nos forces.

L’éthique n’est pas un domaine nouveau pour les militaires, mais elle est souvent intégrée au niveau individuel : on la retrouve par exemple dans le Code du soldat de l’armée de Terre ⁽³⁹⁾, avec une série de principes moraux, de conduite et de savoir-être. Ce qui est plus novateur, c’est d’imaginer une réflexion éthique plus structurée, au niveau du ministère des Armées, qui s’intéresserait aux sujets d’actualité, aux problématiques émergentes et sociétales, et donc au développement des nouvelles technologies comme la robotisation et l’IA. Dans ce dernier domaine, le champ du questionnement pourrait être très large : rôle de l’humain dans l’usage de la force létale, comme déjà mentionné à plusieurs reprises, mais aussi effets de la robotisation sur la manière de servir des soldats et évolution potentielle de leur ressenti vis-à-vis des machines, possibilité de « coder » des valeurs éthiques, en plus de valeurs juridiques, dans des algorithmes de systèmes d’armes, possibles détournements des technologies de l’IA ⁽⁴⁰⁾, etc.

Il est donc essentiel que les armées mettent en place des processus permettant cette analyse éthique qui, pour le développement des Sala notamment, sera une procédure distincte mais complémentaire de la revue de licéité. Cette étude sous un prisme différent permettra d’aborder des sujets plus larges, d’assurer un débat d’idées préalable et une prise en compte d’avis pouvant être divergents, permettant au final d’éclairer la prise de position, voire la décision du politique, dans un domaine sensible mais primordial pour l’efficacité future de nos forces armées. ♦

(1) Cf. la décision du II^e Concile de Latran (1139), qui prohibe l’usage, dans les guerres entre chrétiens, de l’arc et de l’arbalète, considérés comme des engins trop meurtriers : « Nous défendons sous peine d’anathème que cet art meurtrier et haï de Dieu qui est celui des arbalétriers et des archers soit exercé à l’avenir contre des chrétiens et des catholiques » (Canon 29).
(2) La « Campaign to Stop Killer Robots » (stopkillerrobots.org), lancée en 2013, rassemble notamment l’International Committee for Robots Arms Control (ICRAC), Humans Rights Watch, Article 36, PAX et une dizaine d’autres ONG.
(3) Cf. Jeangène Vilmer Jean-Baptiste, critiquant l’amalgame fait entre les Sala et les mines antipersonnel, interdites depuis 1997 : « La différence est pourtant évidente : les mines, qui avaient tué et continuent de tuer des millions de civils depuis des décennies, avaient fait la démonstration de leur illégalité au regard du DIH (violation du principe de distinction), alors que les Sala n’ont encore rien prouvé et ils ne violent a priori aucun des principes du DIH » ; dans « Terminator ethics, faut-il interdire les “robots tueurs” ? », Politique étrangère, vol. 2014/4, hiver, p. 151-167 (www.cairn.info/).
(4) Le Traité sur l’interdiction des armes nucléaires a été adopté le 7 juillet 2017 par la Conférence des Nations unies pour la négociation d’un instrument juridiquement contraignant (https://treaties.un.org/).
(5) Au sens du Traité sur la non-prolifération des armes nucléaires (TNP) de juillet 1968.
(6) Voir par exemple les M28 Davy Crockett (Tactical Nuclear Recoilless Guns) développés par les États-Unis dans les années 1960, qui étaient des canons sans recul tirant à seulement 2,72 km.
(7) Ce terme générique recouvre un très grand nombre d’armes : bombes de gros calibre et/ou non guidées, missiles, roquettes, artillerie, mortiers, lance-roquettes multiples, etc.
(8) Voir le rapport de la réunion d’experts organisée par le Comité international de la Croix-Rouge (CICR) en février 2015 : « Emploi d’armes explosives en zones peuplées. Examen de la question sous l’angle humanitaire, juridique, technique et militaire » (https://shop.icrc.org/).
(9) Cf. Durhin Nathalie, « Protecting Civilians in Urban Areas: A Military Perspective on the Application of International Humanitarian Law », International Review of the Red Cross, vol. 98, n° 901, 2016, p. 191.
(10) « Des systèmes d’armement échappant au contrôle humain seraient illicites de par leur nature même » : CICR,  « Un nouveau pas vers l’imposition de limites à l’autonomie des systèmes d’armes », 12 avril 2018 (www.icrc.org/).
(11) Article 36 du PA I : « Dans l’étude, la mise au point, l’acquisition ou l’adoption d’une nouvelle arme, de nouveaux moyens ou d’une nouvelle méthode de guerre, une Haute Partie contractante a l’obligation de déterminer si l’emploi en serait interdit, dans certaines circonstances ou en toutes circonstances, par les dispositions du présent Protocole ou par toute autre règle du droit international applicable à cette Haute Partie contractante ».
(12) Le terme « arme » de l’article 36 renvoie à tout dispositif offensif ou défensif spécialement conçu pour blesser, tuer, endommager ou neutraliser des personnes ou/et des biens.
(13) Certains contestent toutefois le fait que l’article 36 soit applicable, notamment quand un système d’arme n’est plus sous le contrôle direct et significatif d’un être humain. Voir par exemple Chengeta Thompson, « Are Autonomous Weapon Systems the Subject of Article 36 of Additional Protocol I to the Geneva Conventions? », 10 avril 2014.
(14) Ce principe vise à limiter, dans toute la mesure du possible, les effets des conflits armés, implique la règle générale de limitation des opérations militaires, et impose l’interdiction des moyens qui causent des souffrances inutiles ou des maux superflus. Voir également la Clause de Martens (1899) : « (…) dans les cas non compris dans les dispositions réglementaires adoptées par elles, les populations et les belligérants restent sous la sauvegarde et sous l’empire des principes du droit des gens, tels qu’ils résultent des usages établis entre nations civilisées, des lois de l’humanité et des exigences de la conscience publique ».
(15) Cf. Melzer Nils, Guide interprétatif sur la notion de participation directe aux hostilités en droit international humanitaire, adopté par l’Assemblée du Comité international de la Croix-Rouge le 26 février 2009  (www.icrc.org/).
(16) Il est notamment difficile de tracer une ligne claire entre participation directe et indirecte.
(17) Pour le roboticien Noel Sharkey par exemple, il est très difficile actuellement pour un robot d’identifier un soldat blessé ou un soldat qui dépose les armes. Cité par Martel Éric, « Tuer ou ne pas tuer : le dilemme moral ignoré par les robots tueurs », The Conversation, 18 octobre 2018 (http://theconversation.com/). Toutefois, il ne faut pas oublier que de façon générale, les capacités d’identification des IA s’améliorent de façon remarquable.
(18) Cf. l’article 57.2.a) du PA I : « Sont proscrites les attaques dont on peut attendre qu’elles causent incidemment des pertes en vies humaines dans la population civile, des blessures aux personnes civiles, des dommages aux biens de caractère civil, ou une combinaison de ces pertes et dommages, qui seraient excessifs par rapport à l’avantage militaire concret et direct attendu ».
(19) Cette analyse fait notamment usage d’abaques sur la résistance des matériaux, et intègre, pour renforcer la fiabilité des données, les résultats des frappes réalisées antérieurement, obtenus par le « Battle Damage Assessment » (BDA).
(20) Cf. l’article 57.2.b) du PA I : « une attaque doit être annulée ou interrompue lorsqu’il apparaît que son objectif n’est pas militaire ou qu’il bénéficie d’une protection spéciale ou que l’on peut attendre qu’elle cause incidemment des pertes en vie humaines dans la population civile, des blessures aux personnes civiles, des dommages aux biens de caractère civil, ou une combinaison de ces pertes et dommages […] ».
(21) Toutefois, ces processus perfectionnés de ciblage ne sont pas mis en œuvre par toutes les forces armées, faute de moyens, et encore moins par les groupes armés organisés de type « rebelles » ou « insurgés ».
(22) Cf. Arkin Ronald (Georgia Institute of Technology), « Lethal Autonomous Systems and the Plight of the Non-Combatant », AISB Quarterly n° 137, juillet 2013, Society for the Study of Artificial Intelligence and Simulation of Behaviour, p. 4-12 (www.aisb.org.uk/publications/aisbq/AISBQ137.pdf).
(23) Adaptation du fameux test de Turing en matière d’IA, selon lequel le comportement de la machine doit être indifférenciable du comportement humain dans un contexte donné.
(24) C’est l’ONG Article 36 qui est à l’origine de cette notion de CHS. De son côté, le CICR a pointé la nécessité du « contrôle humain » sur certaines « fonctions critiques » des systèmes d’armes. Les États-Unis, quant à eux, critiquent le concept de CHS et lui préfèrent celui de « niveau approprié de jugement humain », introduit dans leur DoD Directive 3000.09, Autonomy in Weapon Systems, 21 novembre 2012 (www.esd.whs.mil/).
(25) Cf. Ganascia Jean-Gabriel, Le mythe de la singularité, Seuil, 2017, 144 pages.
(26) Cf. Kelsen Hans, Théorie pure du droit (2^e édition), Éditions Être et penser, 1988. « Que tel comportement soit prescrit par le droit ne signifie pas qu’il le soit également par la morale, car le droit et la morale sont deux ordres normatifs distincts l’un de l’autre. Il ne s’ensuit pas qu’il faille renoncer au postulat que le droit doit être conforme à la morale, mais précisément un ordre juridique ne peut être qualifié de bon ou mauvais que s’il est distinct de la morale » (p. 57).
(27) Cf. Weber Max, Le savant et le politique, 1917.
(28) Cf. le rapport de synthèse du CCNE sur les états généraux de la bioéthique, juin 2018 (www.ccne-ethique.fr/).
(29) Cf. déclaration CICR du 12 avril 2018, ibid.
(30) Souligné par nous.
(31) Cf. l’impact de la morale chrétienne, avec notamment la notion de « guerre juste » (Thomas d’Aquin par exemple), ou de la philosophie humaniste des Lumières, sur la construction du DIH moderne.
(32) Cf. Sparrow Robert, « Robots and Respect: Assessing the Case against Autonomous Weapon Systems », Ethics and International Affairs, vol. 30, n° 1, 2016 (www.cambridge.org/).
(33) Cf. Chamayou Grégoire, Théorie du drone, La Fabrique éditions, 2013 ; cité par Martel Éric, op. cit.
(34) Cf. Scharre Paul, « The Trouble with trying to ban Killer Robots », World Economic Forum, 4 septembre 2017 (www.weforum.org/).
(35) Cf. Chamayou, op. cit.
(36) Responsabilité du fait des choses – art. 1384 du Code civil (www.legifrance.gouv.fr/) –, concept de « garde intellectuelle », règles relatives aux produits défectueux, etc.
(37) Cf. Parlement européen, Résolution contenant des recommandations à la Commission concernant des règles de droit civil sur la robotique (2015/2103(INL)) adoptée le 16 février 2017 (www.europarl.europa.eu/).
(38) Cf. La lettre ouverte adressée le 14 avril 2018 à la Commission européenne par plus de 220 experts de 14 pays, alertant sur « le risque de donner un statut juridique aux robots » (www.actuia.com/). Parmi les signataires français, on compte la chercheuse en IA Laurence Devillers, la juriste et philosophe du droit Antoinette Rouvroy, le psychiatre Serge Tisseron ou encore le philosophe Jean-Michel Besnier.
(39) Le Code du soldat de l’armée de Terre est un document constitué de 11 règles. Il représente la ligne de conduite à suivre pour respecter 4 principes majeurs : accomplir sa mission dans l’excellence professionnelle et la maîtrise de la force ; faire vivre les communautés militaires unies dans la discipline et la fraternité d’armes ; servir la France et ses valeurs et cultiver des liens forts avec la communauté nationale (www.defense.gouv.fr/).
(40) À noter que lors de la création du Conseil national consultatif pour la biosécurité (CNCB) en 2015, l’une des préoccupations principales était de réfléchir « aux détournements possibles d’usage des sciences du vivant ».