Le développement rapide des robots militaires pose la question de leur autonomie, en distinguant les niveaux techniquement accessibles et opérationnellement souhaitables. Une répartition pertinente des rôles de l’Homme et du Robot apparaît comme la voie à privilégier.
L’autonomie des robots terrestres militaires est-elle pour demain ?
Depuis la première utilisation significative de robots terrestres dans des conflits ouverts en Irak puis en Afghanistan comme réponse partielle à certaines spécificités du combat asymétrique, les progrès technologiques fulgurants accomplis semblent prédire aux robots terrestres militaires une future place dans le combat aéroterrestre bien au-delà de celle d’un simple outil, aussi polyvalent soit-il. Jusqu’où cette évolution conduira-t-elle ces systèmes et à quel horizon ? Quelle autonomie peut-on en attendre ? Pour quelles tâches ? Et quels seront alors les rôles respectifs du robot et de l’homme dans le combat de demain ? Voici quelques-unes des questions auxquels les paragraphes suivants tentent d’apporter des éléments de réponse pragmatiques, construits sur la vision réaliste d’un fabricant de robots militaires.
Quels robots et pour quelles tâches
Les robots considérés ici sont cadrés par la définition de l’édition 2010 du PP30 (1), qui propose de qualifier ainsi les systèmes présentant les trois caractéristiques fondamentales suivantes :
– le déport ou l’absence temporaire d’intervention de l’opérateur humain qui contrôle ou met en œuvre le matériel ;
– la réutilisabilité (au moins souhaitée) ;
– la mobilité.
On s’affranchit ainsi de certains débats philosophico-militaires qui sortent du cadre de la réflexion : pour nous, un missile n’est pas un robot, pas plus qu’une mine à déclenchement sélectif ou un autopilote d’avion ou encore les multiples automatismes enfouis dans les engins de combat, notamment les assistances au tir.
Pour être exhaustif dans la définition, il convient néanmoins de compléter les 3 caractéristiques précédentes par la capacité du robot à emporter et mettre en œuvre une charge utile de nature quelconque (armement compris), couplée plus ou moins étroitement au vecteur proprement dit (le porteur mobile). Cette charge utile définit la ou les missions auxquelles le robot va contribuer pour maintenir le personnel éloigné du danger ou pour le décharger des tâches sans réelle plus-value opérationnelle, mais également pour permettre de nouveaux modes d’action locaux susceptibles de créer la surprise qui permettra de l’emporter.
Figure 1 : Une segmentation des robots militaires
La figure ci-contre synthétise une segmentation des principales tâches où les robots ont un rôle à jouer en fonction de leur gabarit. Bien que les applications citées ne soient pas exhaustives et les frontières entre les classes non figées, cette classification permet de présenter une vue de l’éventail considéré.
Historiquement, les premières utilisations massives de robots visaient à préserver le personnel des Engins explosifs improvisés (EEI) ou à fournir une assistance dans la reconnaissance de lieux confinés. Il s’agissait majoritairement de petites machines télécommandées, de moins de 50 kg, équipées de caméras (reconnaissance) et/ou d’un bras manipulateur (EEI) prolongeant les capacités de perception ou d’action de l’opérateur humain. Elles ont été déployées en plusieurs milliers d’exemplaires sur les théâtres afghans et irakiens. Elles ne disposaient clairement d’aucune autonomie de quelque sorte que ce soit, tout au plus de quelques automatismes destinés à simplifier le contrôle déporté (commande coordonnée du bras manipulateur, détection d’un obstacle sur la trajectoire, etc.).
De quelle autonomie parle-t-on ?
La notion d’autonomie appliquée aux robots militaires porte à ce jour à confusion dans la mesure où ce terme est utilisé pour décrire un éventail de caractéristiques allant du simple automatisme local à une hypothétique Intelligence artificielle (IA) dotée de conscience. Difficile en effet de comparer un simple chariot filoguidé qui rejoue encore et encore une même trajectoire pour accomplir sa tâche de transport logistique, à des assistants (tels Google Assistant, Alexa d’Amazon ou encore Siri d’Apple) qui, parce qu’ils ont accès en temps réel à une somme gigantesque de connaissances, donnent l’impression de rivaliser avec l’intelligence humaine. L’ambiguïté (voire le malaise) est encore plus forte quand ces logiciels sont intégrés dans une enveloppe humanoïde, telle que Sophia en Arabie saoudite, premier robot au monde à posséder une citoyenneté, ou encore les robots policiers récemment entrés en service à Dubaï, qui associent un humanoïde REEM de chez PAL Robotics et l’IA Watson d’IBM. Si ces deux-là n’ont pas la mobilité que l’on attend d’un système de combat, rien n’empêcherait d’intégrer des IA similaires dans des machines telles qu’Atlas de Boston Dynamics (États-Unis) ou encore FEDOR (Final Experimental Demonstration Object Research) de la société Android Technics (Russie). On disposerait alors de systèmes à l’allure anthropomorphe, puissants, rapides, dotés d’une mobilité proche voire supérieure aux capacités humaines et capables d’intégrer au fil de l’eau les progrès fulgurants de l’IA. On pénètre alors dans la « vallée de l’étrange » (2), théorisée par Masahiro Mori en 1970, matérialisée par l’angoisse qui envahit l’humain quand il se trouve en contact avec un objet qui lui ressemble, que ce soit physiquement ou sur le plan comportemental. La machine initialement conçue à l’image de l’homme pour susciter de l’empathie et faciliter son acceptation, devient ainsi un objet de frayeur qui conduit à son rejet (3). Ce constat pourrait d’ailleurs à terme pousser à une approche moins anthropomorphique de la robotique afin de maintenir une « distance de confort » entre la machine et son créateur.
Pour l’heure, la tendance est d’exploiter tous les progrès technologiques récents, notamment en IA, pour passer des robots-outils de première génération utilisés en Irak ou en Afghanistan à des systèmes plus évolués.
Figure 2 : Des robots humanoïdes qui posent question (de gauche à droite et de haut en bas : Sophia, citoyen d’Arabie saoudite, Reem robot policier à Dubaï, Atlas de Boston Dynamics et FEDOR créé par Android Technics)
Pour autant, cela mènera-t-il à un robot autonome, au sens propre du terme ? Étymologiquement, autonomie signifie « capacité à être gouverné par ses propres règles ». C’est, à ce jour, techniquement inaccessible et, même si cela devenait possible à un horizon plus ou moins lointain, ce n’est certainement pas la vision que les opérationnels ont d’un robot militaire ; il convient donc de considérer des définitions alternatives mieux adaptées au domaine.
L’IEEE « Global initiative on Ethics of Autonomous and Intelligent Systems » (4) explore différentes dimensions de l’autonomie : « un agent X est autonome vis-à-vis d’une règle s’il peut violer cette règle », « un agent X est autonome vis-à-vis d’un agent Y […] si X peut refuser un ordre de Y »… ; ce n’est probablement pas non plus ce qu’on attend d’un robot militaire autonome.
Finalement, nous retiendrons plutôt la définition de la MCDC (5) qui semble l’une des plus acceptables, à savoir : « L’autonomie est la capacité d’un système ou d’une fonction à agir sous la supervision d’une programmation humaine, selon ses tâches, ses règles, ses états internes et ses connaissances, sans intervention extérieure ». Au contraire des deux autres, cette dernière formulation ne sous-entend plus à terme une opposition plus ou moins inéluctable des volontés de l’homme et du robot, qui ne pourrait conduire qu’à l’affrontement entre une conscience humaine exubérante, quelquefois imprévisible, et une logique calculatoire exclusivement rationnelle.
Cette définition d’une « autonomie sous contrôle », qui est bien ce que l’on attend d’un robot terrestre militaire, correspond en fait plutôt à un système hétéronome (inverse d’autonome dans une approche philosophique), dans le sens où le robot reste gouverné par des règles extérieures, en l’occurrence définies par l’homme. En aucun cas, le robot militaire ne sera censé interagir avec le monde selon ses propres règles, motivations, voire « morale ».
Hétéronomie globale et autonomie locale
Si l’hétéronomie doit rester la règle au niveau du comportement global du robot, une certaine autonomie peut redevenir acceptable, voire souhaitable, quand il s’agira de traiter des situations locales et ponctuelles à l’intérieur d’un cadre de délégation préétabli par l’homme.
Selon la motivation originelle de son existence, le robot est destiné à intervenir en lieu et place de l’humain, non seulement pour limiter les risques de pertes humaines mais aussi pour gagner en efficacité. Ainsi, la robotisation doit générer des capacités nouvelles, dépassant celles permises par les solutions « classiques » jusqu’alors déployées.
Si on en restait à ces finalités macroscopiques, on serait en droit de considérer que la seule télé-opération (télécommande) apporte une réponse potentiellement satisfaisante et peut de ce fait rester le mode de contrôle nécessaire et suffisant : l’opérateur reste éloigné de la menace et opère à distance un robot mobile doté de moyens de perception ou d’action divers, y compris avec des capacités nouvelles parce que l’absence locale de l’homme aura permis d’éliminer certaines limitations jusqu’alors incontournables (de taille, de protection, d’endurance, etc.). Et, en effet, la très grande majorité des robots terrestres utilisés à ce jour est encore exclusivement télé-opérée ; quelles sont alors les raisons qui poussent à rechercher une plus grande autonomie de ces machines ?
Une première motivation vise à réduire la charge de travail des opérateurs, en partant du principe que toutes les tâches que la machine peut prendre en charge efficacement, redonnent à l’homme une disponibilité qu’il va pouvoir affecter aux tâches à plus forte valeur ajoutée susceptibles d’impacter directement l’efficacité de la mission opérationnelle.
La multiplication prévisible du nombre de robots et de drones sur le champ de bataille futur ne devra pas (et ne pourra pas) s’accompagner d’une augmentation identique du nombre d’opérateurs dédiés à leur contrôle individuel ; moins d’humains pour superviser davantage de robots implique obligatoirement une « certaine » autonomie de fonctionnement de ces derniers.
Une autre raison qui pousse à confier au robot le traitement local de certaines actions, provient des limitations de la liaison, en général hertzienne, qui le relie à l’opérateur distant. Dans le cas d’une « simple télé-opération », ce lien doit offrir les performances permettant une immersion de l’homme dans l’environnement du robot afin qu’il dispose d’une conscience de la situation locale lui permettant de prendre les meilleures décisions en temps réel. Cela concerne autant le déplacement du robot dans un environnement initialement inconnu, que les aspects propres à la tâche opérationnelle, quelle qu’elle soit. La présence de deux opérateurs, l’un dédié à la mobilité, l’autre aux Modules mission, est une solution permettant de répartir la charge de travail ; acceptable dans le cas de drones Male ou Hale (Moyenne ou Haute altitude, longue endurance), elle n’est néanmoins pas envisageable dans le cas de systèmes terrestres destinés à être employés en grande quantité. Ainsi, une télé-opération robuste doit s’appuyer sur un lien radio qui doit offrir :
• Une bande passante élevée, afin de transmettre les informations acquises par les différents sous-systèmes embarqués, en particulier les X voies vidéos des caméras utilisées pour le déplacement et la mission.
• Une latence faible, notamment en cas de déplacement du robot à vitesse élevée, afin de maintenir la stabilité de la boucle de pilotage à distance.
• Une robustesse du lien face aux aléas de l’environnement (notamment en milieu urbain), au brouillage éventuel, aux tentatives d’intrusion, etc. Les aspects liés à la Sécurité des systèmes d’information (SSI) sont fondamentaux pour atteindre le niveau de crédibilité requis pour un emploi opérationnel.
Les technologies radio progressent rapidement et on voit apparaître des solutions de communication spécifiquement conçues pour répondre aux besoins des systèmes robotisés. Néanmoins, même si les performances s’améliorent, la liaison hertzienne entre l’opérateur et le robot restera encore longtemps un point de vulnérabilité du système télé-opéré.
La capacité à confier au robot certaines actions qu’il serait capable d’exécuter sans la présence permanente d’un opérateur humain dans la boucle de contrôle constitue une réponse possible aux problématiques identifiées ci-avant. Mais on considère ici une autonomie locale qui s’apparente plutôt à des assistances fournies à l’opérateur pour alléger ponctuellement sa charge de télé-opération. On parlera alors de téléopération assistée ou d’autonomie supervisée.
Il est à noter que la capacité du robot à exécuter quelques tâches en autonomie, ne dispense pas de maintenir un lien radio avec l’opérateur afin qu’il puisse « garder un œil », voire intervenir, sur les actions menées à distance ; mais il s’agit alors davantage d’une capacité à rendre compte, qui n’impose plus dans la durée le même niveau de performances au lien hertzien.
Autonomie de mobilité… avant autonomie décisionnelle
Quand on parle de robot mobile, le premier besoin d’assistance pour un premier stade d’autonomie locale, porte bien évidemment sur la mobilité. Il apparaît en effet souhaitable que le robot puisse prendre en charge une partie de son déplacement, notamment dans les phases d’approche pré-tactiques situées en dehors du cœur critique de la mission. Au-delà de la finalité visant à décharger l’opérateur, il s’agit aussi d’améliorer la performance du déplacement et d’en limiter le risque ; le déport de l’opérateur implique en effet une perte dans les informations qu’un pilote embarqué exploite habituellement (typiquement les retours kinesthésiques qui lui permettent de « sentir » les forces exercées sur son véhicule, et ainsi d’adapter en conséquence les consignes de vitesse et direction). La mise en œuvre d’automatismes et de mécanismes de sécurité locaux permet de compenser en partie cette perte induite par le déport du pilote ; l’exemple d’un tel mécanisme réflexe embarqué est constitué par le « bridage vitesse sur direction », dont le but est d’empêcher le renversement du robot si l’opérateur déporté lui demande d’exécuter un virage serré à une vitesse qui ne le permet pas. Ces mécanismes de sécurité restent au niveau d’automatismes classiques (voir Figure 3).
Figure 3 : Des boucles automatiques classiques qui concourent à l’autonomie locale
Ces mêmes principes d’asservissement bouclés sont également à la base des assistances de plus haut niveau qui vont contribuer à atteindre une autonomie de mobilité locale et ponctuelle ; des exemples de telles assistances sont :
– l’apprentissage et le rejeu de trajectoires (par exemple pour les robots rondiers) ;
– le suivi en convoi (notamment pour les applications logistiques) ;
– le suivi automatique de bords de voie (utile en Ouverture d’itinéraire piégé) ;
– le suivi de personnel, de clôture… ;
– le ralliement d’amer (6) visuel ;
– etc.
Figure 4 : Concept de convoi logistique automatisé évalué par l’Armée américaine (exercice Advanced Warfighting Assessment à Fort Bliss, 2016)
Ces capacités d’autonomie locale peuvent être activées à la demande de l’opérateur distant (ou embarqué dans l’un des véhicules proches) et enchaînées séquentiellement selon les besoins de la mission, les caractéristiques de l’environnement ou encore leurs performances intrinsèques.
Dans le domaine civil, les progrès rapides de la voiture autonome sont en partie applicables aux robots terrestres militaires et permettront de disposer à un horizon de 5 à 10 ans d’une bibliothèque d’assistances telles que décrites précédemment. L’environnement opérationnel dépasse cependant largement celui du monde structuré et normé où évoluent les véhicules civils, et il est impératif d’étendre les résultats issus du monde automobile pour amener leur exploitation opérationnelle au niveau de crédibilité requis.
L’un des enjeux majeurs pour « oser » une autonomie de mobilité en milieu ouvert non structuré commence par une gestion satisfaisante des obstacles du milieu naturel. À ce jour, il n’existe aucune solution aboutie garantissant un déplacement sécuritaire dans un tel environnement (avec des performances au moins égales à celles d’un pilote embarqué). Les conditions de perception défavorables (incidence rasante, conditions météorologiques variées, etc.) rendent notamment difficile la détection anticipée des obstacles négatifs (trous). Dans le cas d’un pilote embarqué, elles sont partiellement compensées par la gestion continue du risque qu’il fait en s’appuyant sur sa connaissance du monde (on sait qu’il peut y avoir des fossés le long des routes, alors même que la présence d’herbes hautes empêche de les percevoir), de son expérience de l’environnement et de sa maîtrise du véhicule. Les récents progrès de l’IA pourront très certainement permettre d’améliorer la prise en compte de cette dimension par les futurs systèmes robotisés. Des solutions de niveau « Architecture système » sont aussi explorées ; par exemple, l’emploi coordonné d’un microdrone à l’avant du robot, qui pourrait scruter le terrain de manière anticipée (et cette fois avec des conditions de perception favorables vis-à-vis des obstacles négatifs).
Cette brève analyse rappelle qu’il reste encore beaucoup à faire avant d’aboutir à une simple autonomie locale de déplacement sécuritaire en environnement non structuré. On n’imagine pas de solution mature « toutes conditions » avant encore plusieurs années, et il est important de traiter en priorité ces fondamentaux afin de créer le « socle de crédibilité » qui permettra de consolider les prochaines étapes vers les niveaux d’autonomie locale et d’hétéronomie globale souhaités.
Sur le plan de l’Autonomie décisionnelle, que nous n’évoquerons pas ici, les progrès de l’IA permettront également de disposer rapidement d’aides à la décision ; néanmoins, même si les capacités d’analyse sous-jacentes étaient vraisemblablement au rendez-vous, elles devront pouvoir être canalisées par l’homme afin qu’il garde la maîtrise de la mission et des effets à obtenir. Ainsi, de la même manière que pour atteindre l’autonomie de mobilité, on peut imaginer la définition d’un chenal de navigation dans lequel le robot serait autorisé à se déplacer pour choisir une trajectoire locale optimale, on peut concevoir pour l’autonomie décisionnelle un chenal de décision dans lequel la machine serait autorisée à prendre une décision locale. Les outils qui permettraient de concrétiser un tel cadre de délégation restent cependant encore à évaluer.
Par ailleurs, une véritable autonomie décisionnelle nécessiterait que le Système robotisé puisse gérer l’ensemble du processus « Perception – Analyse – Décision – Action ». Or, pour ne considérer que l’entrée de la chaîne, s’il existe des moyens de Perception et d’analyse très performants dans un domaine de fonctionnement restreint (par exemple pour de la détection d’intrusion), il reste très difficile pour un même système de percevoir et d’interpréter correctement un spectre de situations potentiellement infini.
Le système autonome (sans mobilité) Samsung Techwin SGR-A1 déployé à la frontière entre les deux Corée dispose effectivement de capacités de perception (détection d’un mouvement), d’analyse (c’est un humain non menaçant), de décision (ce n’est pas un ennemi, pas de tir) et d’action (informer le superviseur humain). Un tel emploi n’est cependant possible que parce que le système est déployé dans une zone et un contexte simplifiés ; c’est loin d’être toujours le cas et les IA ne disposent pas à ce jour de la capacité à aborder des situations complexes. Dans le cas du SGR-A1, l’action de lever les bras doit normalement conduire à l’inhibition du processus d’engagement létal automatique, mais l’analyse simplifiée de cette posture (voir Figure 5) n’analyse pas, par exemple, la présence éventuelle d’une arme entre les mains de l’intrus.
Figure 5 : Samsung Techwin Co SGR-A1 capable d’analyser une menace et d’engagement automatique, dans le no man’s land séparant la Corée du Nord et la Corée du Sud
Figure 6 : Complexité de la perception et de l’analyse de scène à la base des processus décisionnels
Il ne faut donc pas perdre de vue qu’une perception de qualité et une interprétation correcte de la scène perçue restent indispensables pour alimenter les processus décisionnels avec des données d’entrée fiables, indépendamment de l’efficacité des processus en question et des progrès de l’IA à la base de leur fonctionnement.
Normalisation de l’imperfection technique
Une autonomie locale, cadrée par une hétéronomie globale, reste indispensable pour que le robot terrestre militaire acquière la crédibilité nécessaire à une utilisation opérationnelle élargie. L’analyse précédente a cependant montré que les limitations technologiques restent nombreuses, ce qui repousse d’autant plus loin la disponibilité d’un système robotisé autonome (localement), qui offrirait le niveau de robustesse suffisant. Le robot capable de gérer toute la diversité des situations susceptibles d’être rencontrées sur le terrain, même limitées par l’aspect local et ponctuel de l’autonomie ciblée, n’est pas pour demain.
Partant de ce constat réaliste, deux attitudes sont possibles :
• Attendre pour introduire des robots autonomes que la maturité technique ait atteint le niveau suffisant : cela risque de prendre beaucoup de temps, d’autant plus qu’il paraît difficile de caractériser le seuil d’acceptabilité de la performance qui permettra de franchir le seuil.
• Accepter les limitations techniques et concevoir un système qui les intégrera de base comme des caractéristiques nominales intrinsèques à son fonctionnement.
Cette dernière approche conduit notamment à ne plus considérer le robot comme un outil parfait au service de l’homme, mais comme l’une des deux composantes du système homme-robot, dans lequel l’un et l’autre interviennent au prorata de leur position respective (l’homme reste le décideur du niveau global) et de leurs compétences locales courantes. Dans cette approche, l’homme et le robot peuvent avoir des rôles plus symétriques. C’est le concept d’« autonomie ajustable » (7), qui fait référence à un partage des tâches entre l’opérateur et le robot qui peut être variable selon un certain nombre de critères. On cherche à adapter en permanence la répartition de ces tâches afin que les performances du « couple » soient toujours proches de l’optimal ; schématiquement, l’homme gère les situations et raisonnements complexes, la machine gère les tâches nécessitant de manipuler rapidement de grandes quantités de données.
• La répartition peut être le souhait de l’opérateur et évoluer au cours d’une même mission : il peut ainsi reprendre la main (télé-opération) sur une phase de déplacement local autonome, quand il le souhaite.
• La répartition peut être un partage permanent de certaines tâches : par exemple, le robot prend en charge la mobilité autonome pendant que l’opérateur concentre son attention sur les images transmises par le module d’observation embarqué, afin de détecter un événement anormal.
• La répartition peut être le résultat d’une demande du système robotisé lorsque celui-ci estime, grâce à des processus d’autoévaluation internes, qu’il n’est plus en mesure de gérer l’autonomie du déplacement qu’il lui avait été demandé de prendre en charge. Dans ce cas, il peut solliciter l’opérateur pour reprendre le contrôle en télé-opération. Ainsi, la défaillance d’un algorithme n’est plus une cause d’échec de la mission, mais correspond à un état prévu dans le fonctionnement nominal du système ; il devient ainsi possible d’intégrer des algorithmes « non idéaux », dès l’instant où ils savent s’autoévaluer et identifier leurs propres limites. Cette approche permet de profiter au plus tôt des progrès technologiques puisqu’il n’est plus nécessaire d’attendre une perfection hypothétique pour les exploiter.
• La répartition peut enfin être ajustable sur le long terme, au fil des missions, en fonction de la maturation technologique : ainsi, certains déplacements dans un environnement complexe qui doivent à ce jour rester gérés en télé-opération pour des raisons de performances, pourront demain être assumés par les automatismes embarqués lorsque la technologie aura suffisamment progressé.
Tous ces mécanismes conduisant à l’ajustement continu des rôles entre l’homme et la machine, nécessitent aussi la prise en compte de nombreux facteurs psycho-ergonomiques. Par exemple, il n’est pas question de changer de mode de contrôle dans n’importe quelle situation, la continuité du déplacement doit être garantie, l’opérateur garde la priorité des choix, le comportement du système robotisé doit rester prévisible en toutes circonstances, etc. Un effort conséquent est donc porté sur les interactions homme-système, afin de créer le couplage étroit nécessaire à des performances optimales.
Dans le temps, cette approche s’inscrit donc dans une évolution potentiellement continue du robot purement télé-opéré vers un système localement totalement autonome ; on considère les capacités autonomes plutôt comme des assistances que l’homme est libre d’exploiter ou non lorsqu’il le souhaite. La télé-opération n’apparaît plus comme une capacité antique dont il faut absolument s’affranchir, mais reste un mode de contrôle parmi d’autres, qui pourra être celui offrant les meilleures performances dans certaines situations, notamment quand les assistances autonomes se seront déclarées défaillantes. L’autonomie n’est une finalité ni techniquement atteignable à ce jour, ni opérationnellement souhaitable à terme ; dans un objectif d’hétéronomie, le niveau d’autonomie locale doit aussi rester sous contrôle humain dans le seul but d’augmenter la performance opérationnelle globale du système homme-robot. ♦
(1) Plan prospectif à 30 ans du ministère de la Défense : DGRIS, Horizons stratégiques, janvier 2017 (www.defense.gouv.fr/).
(2) Mori Masahiro, « La vallée de l’étrange » (traduit par Isabel Yaya), Gradhiva n° 15, 2012, p. 26-33 (https://journals.openedition.org/).
(3) Emmanuel Grimaud (chercheur au CNRS, commissaire de l’exposition “Persona”) cité par Loyen Marine, « Robots humanoïdes : une inquiétante étrangeté », Inriality, 24 juin 2016 (www.inriality.fr/).
(4) A Glossary for Discussion of Ethics of Autonomous and Intelligent Systems, Version 1, octobre 2017, 111 pages (https://standards.ieee.org/).
(5) Multinational Capability Development Campaign : « A system’s capacity to act under supervision of human programming, according to desired goals, precepts, internal states, and knowledge, without outside intervention ».
(6) Point de repère fixe et identifiable sans ambiguïté pour la navigation en mer.
(7) Danet Didier, Doaré Ronan et Malis Christian, L’action militaire terrestre de A… à Z…, Économica, 2015, 612 pages.