Face à la complexité croissante des systèmes autonomes et aux inquiétudes légitimes que ces évolutions engendrent, l’acceptation de la robotique dans notre société repose sur un désir général de transparence et de contrôle sur les comportements du robot. Les organismes de certification et d’essais doivent faire face à un développement rapide de ces nouvelles technologies, et il existe un besoin nettement identifié de proposer un cadre formel et rigoureux pour l’évaluation de ces dispositifs.

Pour clarifier le discours, nous ferons tout d’abord le point sur les principes de la certification ainsi que sur les objectifs et méthodes liés à l’évaluation. Nous nous focaliserons ensuite sur les méthodes d’évaluation des systèmes robotisés. Ce tour d’horizon nous permettra enfin d’analyser la façon dont l’éthique peut être traitée du point de vue de l’évaluateur indépendant, et ce que les systèmes éthiques « by design » impliqueraient dans la réalisation d’une évaluation.

Évaluation, certifications : principes

Certification

Nous sommes tous en droit d’attendre qu’un produit mis sur le marché réponde à certaines exigences en termes de sécurité, de performance ou de qualité. Quel que soit le type d’exigence, le fabricant a à sa charge d’apporter la preuve que son produit y répond, autrement dit que celui-ci est conforme à un certain cahier des charges. Pour attester de cette conformité, le fabricant devra suivre des procédures adaptées selon le type d’exigence concerné. Il s’agira de certification volontaire ou réglementaire, ce qui signifie dans le premier cas que le fabricant engage la procédure de son propre chef afin de valoriser son produit, alors qu’il y est tenu par la loi dans le second cas. Selon l’exigence, et également selon les moyens dont dispose le fabricant, il pourra s’agir d’une procédure d’auto-certification ou de certification par un organisme tiers.

Un État peut exiger que le produit réponde à certaines exigences avant d’en autoriser la commercialisation sur son territoire. C’est le cas par exemple du marquage CE, qui garantit que le produit est conforme aux législations de l’Union européenne. Cette conformité est évaluée au regard des différentes directives s’appliquant au produit. Les exigences sont en très grande majorité relatives à la sécurité du produit, car la démarche de marquage CE vise principalement la protection du citoyen, sa sécurité et sa santé. Selon la directive applicable et les exigences réglementaires, le fabricant peut procéder à une auto-certification, ce qui signifie qu’il a procédé aux essais et validations nécessaires permettant de déclarer, sous sa propre responsabilité, que son produit est conforme aux spécifications requises. Par exemple, le marquage CE d’un robot, dont les formalités obligatoires sont définies par la directive machine (Directive européenne 2006/42/CE), nécessite que le fabricant établisse un dossier technique incluant notamment un descriptif de la machine et ses commandes, les normes appliquées et l’analyse de risque. Le fabricant rédige une déclaration CE de conformité et procède au marquage CE de son robot suivant des spécifications précises. Les documents doivent pouvoir être mis à disposition de toute autorité désirant vérifier la validité de la déclaration CE de conformité. Lorsque le processus d’auto-certification n’est pas autorisé, le fabricant se tourne vers un organisme accrédité par les pouvoirs publics pour accorder la certification.

Nous notons que la démarche de certification suppose qu’un ensemble de critères essentiels soient réunis : les spécifications de la certification (les critères de conformité) s’appuient sur un référentiel qui peut concerner tant les procédés de fabrication que les spécificités du produit ; ce référentiel peut être défini par un organisme rigoureux et indépendant, par exemple régi par un pouvoir public et en concertation avec les parties intéressées volontaires (selon le principe de normalisation par exemple) ; l’adéquation du produit à ces spécifications doit être validée par un organisme tiers agréé, ou pouvoir être vérifiée sur demande d’une autorité dans le cas de l’auto-certification.

Évaluation

Comme nous l’avons précédemment décrit, la certification peut nécessiter une évaluation de certaines caractéristiques du produit via des essais. Les essais réalisés sur un produit peuvent être effectués en interne par le fabricant ou sous-traités à un organisme tiers indépendant. La norme ISO 17025 est la référence pour les établissements accrédités pour réaliser des essais. La norme définit notamment les exigences relatives à la confidentialité et à l’impartialité de ces laboratoires, ainsi que les exigences en termes de structure et de ressource. Elle précise par exemple les besoins en termes d’étalonnage des équipements et de processus qualité.

L’évaluation n’a d’autre finalité que de montrer le niveau d’adéquation entre les spécificités d’un produit et les spécificités d’un référentiel ; notons qu’à eux seuls, les résultats d’évaluation peuvent ne pas être suffisants pour valider la conformité du produit.

Le fabricant se livre à une évaluation de son produit dans différents cas. Tout d’abord, s’il a l’objectif de prétendre à une certification de son produit. Ensuite, le fabricant peut également se livrer à une évaluation s’il désire estimer les performances, la qualité ou la fiabilité de son produit. À cet effet, le fabricant peut, par exemple, vouloir soumettre son produit à des essais afin de déterminer le comportement de son produit face à l’épreuve du temps, des utilisations répétées, ou encore s’assurer de son intégrité en conditions de transport. Ces essais n’ont pas nécessairement pour finalité d’apporter une preuve directe de qualité du produit à l’acheteur (ce qui serait par exemple apporté par un label dans le cadre d’un processus plus large), mais permettent aussi au fabricant de mieux maîtriser les éventuelles faiblesses de ses produits identifiées à l’analyse de risques, qui n’auraient pas pu être mitigés lors de la conception, et qui entraîneraient à plus long terme des problèmes de sécurité ou une perte de satisfaction du client.

Sur le principe, la réalisation d’une évaluation nécessite de sélectionner un échantillon à tester, de définir une méthode d’essai et des métriques d’évaluation, de disposer de moyens d’essais et d’un référentiel.

La sélection du produit qui sera soumis au test, appelé échantillon, s’appuie sur des méthodes d’échantillonnage statistique, qui peuvent varier selon le type de produit. La méthode d’essai définit la façon dont celui-ci doit être réalisé, à savoir, par exemple, la durée d’exposition, les fréquences de répétition, et les conditions de mise en œuvre générales de l’essai. Cette méthode est soit définie par une norme, soit proposée par le laboratoire pratiquant l’essai, en concertation avec le fabricant. L’essai est réalisé sur un banc de test existant, ou grâce à des moyens d’essai développés spécifiquement pour ce test ; les instruments de mesure liés à l’essai sont étalonnés.

Un point essentiel à prendre en compte par le fabricant réside dans le caractère potentiellement destructif de l’essai. Dans le cas de tests destructifs – c’est-à-dire où la procédure de test peut endommager, ou endommage invariablement, le produit –, le coût du produit ou son unicité peuvent notamment avoir une influence sur l’échantillonnage praticable. En effet, s’il est envisageable de réaliser des tests destructifs sur des objets bon marché produits en grande série, ceci est tout à fait inenvisageable sur des prototypes uniques ou des produits en édition limitée. Dans ce contexte, la nature des tests à réaliser doit être adaptée afin de limiter, voire éliminer, le risque de dégradation de l’objet.

L’évaluation nécessite de définir et d’appliquer des métriques permettant d’effectuer la comparaison entre les caractéristiques du produit et celles de la référence. Cette référence représente une valeur dite « vraie », une valeur à atteindre. Elle pourra être, par exemple, les caractéristiques propres à un produit intègre et l’évaluation visera à déterminer si l’échantillon testé présente les mêmes caractéristiques que ce produit intègre. Elle peut également être un comportement optimal à atteindre face à une situation, représentatif de la performance du produit.

Les méthodes et moyens d’essai peuvent présenter peu de variations d’un produit à l’autre lorsqu’il s’agit, par exemple, d’une même gamme. Toutefois, il doit être envisagé pour chaque nouveau produit à tester de juger la pertinence d’appliquer une méthode d’essai existante, ou d’en mettre au point une nouvelle.

Cas du robot

Référentiels

Au sein de l’Union européenne, la commercialisation d’un robot s’appuie sur une vérification de conformité du dispositif à un certain nombre de directives émises par la Commission européenne.

En premier lieu, la directive machine 2006/42/CE impose des exigences générales en termes de sécurité des machines, et renvoie vers les normes harmonisées proposant des méthodes et recommandations susceptibles de pouvoir répondre aux exigences de la directive. Tout type de robot est concerné par cette directive.

Outre cela, la fonction du robot, son contexte d’utilisation, ses capteurs et la nature de ses effecteurs allongent la liste des directives applicables. Nous noterons par exemple la directive basse tension pour le matériel électrique ou la directive pour la compatibilité électromagnétique des équipements. Un système destiné à l’utilisation en contexte privé, collectant et traitant des informations au domicile de l’utilisateur, sera notamment soumis aux exigences de la directive sur la protection des données à caractère personnel. La certification d’un robot requiert donc que tous ces éléments, tant mécaniques, électroniques ou logiciels, soit conformes aux exigences réglementaires.

Évaluation

Un robot dont les comportements sont dirigés par automate pourra présenter moins de difficulté en termes d’évaluation et certification qu’un robot à l’autre extrémité du continuum de l’autonomie, tel qu’un robot dit « adaptatif » apprenant de son environnement en continu. Nous trouvons par exemple les robots à automate dans l’industrie, qui représentent une partie du cheptel de systèmes automatisés actuellement en place dans les usines. L’évaluation de ces systèmes à automate ne constitue pas – généralement – de défi majeur, car leurs domaines d’intervention sont limités, de même que le nombre et la complexité de leurs capteurs.

Dans le cas d’un robot dirigé par une Intelligence artificielle (IA), nous savons tout d’abord que la complexité de ses algorithmes, voire même ses capacités à enrichir de façon autonome sa base de connaissances, compliquent l’approche traditionnelle du test en mise en situation, car les comportements du robot peuvent ne pas être bornables : il n’est pas aisé d’anticiper si le test prévu couvre bien toutes les possibilités de comportements sélectionnables par le système.

De plus, la richesse des capteurs présents sur le robot – fusion de différents types de données capturées, capacité des capteurs intelligents à réaliser un premier traitement local des informations – complexifie la modélisation de l’environnement de test nécessaire.

Il est vital de vérifier si l’IA du robot peut être détournée de son usage initial, volontairement ou involontairement. La presse a relayé par exemple en 2016 un fait divers concernant un système de dialogue autonome ayant tenu sur Twitter des propos racistes et politiquement engagés (M. Tual, 2016). Au contact des usagers, le système avait enrichi sa base et ses propos n’étaient que l’écho des informations glanées dans son environnement de déploiement. Il est alors aisé d’imaginer les conséquences dramatiques du détournement d’un Système d’armes létal autonome (Sala). L’anticipation des dérives d’un système d’IA est complexe car cela nécessiterait d’identifier tous les scénarios d’attaque volontaire, ainsi que les scénarios de détournements involontaires. Au vu de la complexité des IA et de l’environnement humain, il semble plus adéquat de recourir à des méthodes de cybersécurité plutôt qu’à tester une gamme quasiment infinie de scénarios : il s’agirait donc de prévoir, au sein du système, des solutions de mitigation en cas d’attaque identifiée, telle que l’interruption automatique de fonctionnalités critiques (par exemple, désactivation des armes, mise hors-service du robot), ou le lancement d’une alerte afin d’inviter un opérateur allié humain à reprendre le contrôle.

Il convient également de maîtriser les facteurs d’influence intervenant dans l’évaluation, qu’il s’agisse d’une évaluation ayant trait à la sécurité, à la performance ou à la qualité du robot. Par exemple, l’évaluation de la sécurité d’un robot armé devra s’appuyer sur l’identification préalable des facteurs pouvant mettre en péril la sécurité des alliés dans son environnement, tels que le poids du robot, sa stabilité, sa vitesse de déplacement, la présence d’effecteurs coupants. Afin de proposer des résultats d’évaluations explicables et de réaliser une évaluation contrôlée, l’évaluateur doit donc disposer de facteurs impérativement caractérisables, mesurables et quantifiables. La complexité de l’évaluation sera liée au nombre de facteurs identifiés et également aux possibilités d’objectivation de ces facteurs.

En effet, certains facteurs sont difficilement maîtrisables, par exemple s’ils reposent sur un modèle physique complexe, ou s’ils sont de nature subjective. Prenons le cas de la satisfaction éprouvée par un utilisateur lors de l’utilisation d’un robot. Dans ce contexte, la satisfaction est considérée comme un facteur ayant une influence sur l’évaluation de la qualité du robot. Toutefois, ce facteur n’est pas mesurable au sens métrologique du terme : en effet, il est nécessaire de s’appuyer sur différents indicateurs, ceux-ci mesurables, afin d’estimer (et non mesurer) la satisfaction, tels que la fréquence d’interaction avec le robot ou la durée d’utilisation. Notons que l’identification des indicateurs représente souvent un enjeu de recherche en lui-même.

La tâche d’évaluation de nouvelles technologies de plus en plus intelligentes et connectées au monde qui les entoure nécessite une adaptation constante du protocole d’évaluation, qu’il s’agisse des moyens d’essai, des références, des méthodes et métriques, afin de réaliser une évaluation toujours répétable et reproductible.

Boîte noire, boîte blanche

Si le fabricant d’un système (robot, logiciel…) met à la disposition de l’évaluateur son code source, ou tout du moins s’il laisse une certaine maîtrise sur les entrées et sorties des différentes briques technologiques du système et indique les procédés algorithmiques qu’il a appliqués, l’évaluateur a la possibilité de réaliser un essai de type « boîte blanche ». Ce cas de figure peut se présenter, d’une part lorsque le fabricant cherche une validation modulaire de son système, et ce à toute étape de la conception, par exemple dans un contexte de recherche scientifique. Enfin, le fabricant peut y être tenu par la réglementation ; c’est le cas par exemple des systèmes de caisse, dont le processus de certification exige une totale transparence quant au comportement du système.

Ainsi, sauf contexte de recherche ou systèmes critiques (santé, finances, etc.), il est rarement possible d’effectuer des tests en maîtrisant la totalité de la chaîne de traitement de l’information au sein du dispositif. De nombreuses évaluations sont réalisées en « boîte noire », ce qui signifie que l’évaluateur peut uniquement maîtriser l’environnement de test, c’est-à-dire les stimuli à faire parvenir au système, et observer les comportements en sortie du système. Dans cet esprit, nous pouvons citer les travaux du National Institute of Standards and Technology (NIST) ⁽¹⁾ lors de leurs campagnes d’évaluation (A. Jacoff et al., 2017), les compétitions organisées dans le cadre de la RoboCup, comme les évaluations de robots sociaux en contexte domestique (L. Iocchi et al., 2015) ou les travaux menés au cours d’une collaboration LNE (Laboratoire national de métrologie et d’essais) et LAAS (Laboratoire d’analyse et d’architecture des systèmes, CNRS) sur l’évaluation de l’impact des conditions climatiques sur la marche bipède d’un robot (O. Stasse et al., 2018).

Se pose généralement la question de la pertinence des informations soumises au système lors du test : sont-elles représentatives du phénomène que l’on souhaite évaluer ? Sont-elles représentatives des capacités du système ? Ou sont-elles au contraire hors du champ de compétences du système et une évaluation en ces termes n’a alors plus de sens ? Répondre à ces questions n’est pas aisé, voire parfois impossible, lorsque le système est évalué en « boîte noire ». Il est alors possible, a minima, de s’appuyer sur les rapports d’analyse de risque réalisés par le fabricant (si disponibles) afin de déterminer les conditions d’évaluation, et d’étudier les actions réalisées par le système en fonction de différents jeux de stimuli d’entrée.

Les Sala entrent naturellement dans la catégorie des systèmes critiques : les dommages que peut entraîner un système peu performant et peu sécurisé pourraient être dramatiques, tant d’un point de vue militaire, diplomatique ou humain. Il semble alors évident que ces systèmes doivent être évalués en « boîte blanche », afin de faciliter la tâche d’évaluation. Dans ce cas de figure, cette évaluation doit être menée par un tiers indépendant, permettant ainsi de garantir l’impartialité de l’évaluation. Il semble également essentiel qu’une certification soit imposée par la réglementation, afin de garantir que le système est performant et sûr.

Évaluation de l’éthique en robotique

Éthique « by design »

Au vu de toutes les remarques précédentes, nous comprenons que les choix de conception ne concernent l’évaluateur que si ce dernier dispose d’informations relatives à ces choix, c’est-à-dire dans le cadre d’une évaluation en « boîte blanche », ou tout au moins s’il est possible d’interroger le fabricant quant aux principes ayant dirigé la conception.

Dans le cas d’une évaluation en « boîte noire », l’évaluation de l’éthique du robot ne s’appuiera que sur la validation de la nature éthique de ses comportements. Dans ce contexte, les méthodes utilisées pour l’implémentation du système n’auront aucun impact sur le protocole d’évaluation, puisque l’évaluateur ne dispose pas des informations liées à la conception. En effet, qu’il s’agisse d’un moteur de décision ne produisant que des comportements éthiques, ou que le système se « censure » lorsque certains comportements non-éthiques risquent d’être émis, l’évaluateur ne pourra pas observer la mécanique interne et ne statuera que sur ce qu’il observe.

Référentiels éthiques

Comme nous l’avons vu, tant la certification que l’évaluation nécessitent de disposer de références – des valeurs « vraies » – auxquelles l’évaluateur peut comparer les comportements du système. Ces références peuvent être définies par les pouvoirs publics (normes, directives, textes de loi), mais elles peuvent également être élaborées en concertation avec le fabricant, qui connaît les performances ou le niveau de qualité optimal que doit atteindre son système. Toutefois, lorsqu’il s’agit d’aspects éthiques et juridiques, les exigences d’un fabricant seul et de ses acheteurs ne peuvent prévaloir pour garantir l’acceptabilité du dispositif dans la société, ni sa légalité.

Juger de l’éthique d’un système nécessite de s’appuyer sur des références, qui viseraient par exemple à affirmer que dans telle situation le système doit se comporter de telle façon ; ou que confronté à un choix entre « A » et « B », le système devra plutôt choisir « B ».

De quelles références l’évaluateur peut-il s’inspirer afin d’évaluer l’éthique d’un système ? Existe-t-il un référentiel éthique ?

Nous trouvons tout d’abord un grand nombre de communications scientifiques ou de vulgarisation (presse, littérature, etc.) traitant de ce qu’un robot doit, peut, ne peut pas faire. Les premières traitent principalement de recherches exploratoires ou de prises de position, tandis que les secondes visent le grand public. Ces communications sont plutôt de nature à informer, alerter ou initier une réflexion, mais ne peuvent pas constituer des références par manque de cadre rigoureux.

D’autre part, de nombreux rapports émis par les pouvoirs publics ou des fédérations fournissent des recommandations d’ordre général sur les comportements optimaux tant de la part des concepteurs que des systèmes développés. Il s’agira de recommandations ayant trait à la sécurité, la transparence ou à l’explicabilité des systèmes. Citons par exemple, à l’échelle nationale ou européenne, le rapport de la commission française Cerna sur l’éthique de la recherche en robotique ⁽²⁾ (R. Chatila et al., 2014), les différents rapports de l’office parlementaire d’évaluation des choix scientifiques et technologiques, tel que (C. de Ganay et D. Gillot, 2017), ou encore le rapport du Parlement européen au sujet de la régulation de la robotique (M. Delvaux, 2016). Ces rapports ne fournissent pas des consignes précises quant à une démarche d’évaluation méthodique mais des directions à suivre.

Les projets de recherche scientifique peuvent également constituer une source d’information pour l’évaluateur. Par exemple, le Livre blanc rédigé à l’issue du projet ETHICAA sur l’éthique des agents autonomes (F. Balbo et al., 2018) émet des recommandations aux chercheurs et développeurs dans la conception de leurs systèmes, et propose des approches permettant de qualifier les systèmes éthiques. Ces approches nécessitent toutefois des recherches supplémentaires afin de déterminer un cadre formel.

Comme évoqué précédemment, l’évaluateur a également à sa disposition un cadre normatif et réglementaire en matière de robotique, traitement des données, intelligence artificielle, susceptible de le diriger efficacement dans la mise en œuvre de l’évaluation. Ces recommandations et exigences traitent de questions liées à la sécurité, mais fixent également un cadre fiable et protecteur du citoyen comme dans le cas de la loi pour une République numérique, ou de l’article 36 « Armes nouvelles » du Protocole additionnel I (1977) aux Conventions de Genève de 1949. Ces textes ne fournissent cependant pas de consignes précises quant aux méthodes d’évaluation.

Il semble évident qu’il n’est pas du ressort de l’évaluateur indépendant et impartial de déterminer le référentiel éthique des Sala, car ces réflexions doivent être portées par différents acteurs de la société et amener à consensus. L’évaluateur peut cependant apporter son expertise dans l’élaboration de protocoles et de règles objectives, et dans la détermination de facteurs mesurables.

Peut-on évaluer si un Sala est éthique ?

Nous devons nous interroger en premier lieu s’il est possible d’évaluer, de façon rigoureuse, que le Sala se comporte « de façon éthique ». Au vu des référentiels actuellement à notre disposition, nous ne pouvons vraisemblablement pas estimer qu’un robot est éthique en nous appuyant sur une méthode d’évaluation rigoureuse et objective. Il existe un nombre important de recommandations et d’exigences qui sont suffisamment détaillées quant aux méthodes de validation des systèmes robotisés, et qui permettraient d’affirmer que le système répond à ces exigences. Toutefois, comme nous l’avons vu précédemment, ces références utilisables ne sont pas directement éthiques, mais de nature plutôt réglementaire, visant in fine le bien-être et la sécurité des biens et personnes. De plus, les capacités croissantes dont disposent les systèmes pour réagir à leur environnement complexifient d’autant le processus d’évaluation et de nombreuses clés nous manquent encore pour tester rigoureusement les aspects les plus complexes.

* * *

Au vu de l’engouement médiatique et des craintes associées à l’éthique de la robotique (perte de contrôle, singularité technologique, remplacement de l’être humain, etc.), souvent légitimes mais parfois mal documentées, il serait, à notre sens, indélicat d’affirmer que nous sommes en mesure de réaliser une évaluation de l’éthique avec la même rigueur et objectivité qu’une évaluation, par exemple, de sécurité ou de performance.

L’effort général en matière de définition de l’éthique de la robotique, et de l’intelligence artificielle en général, amène à des travaux extrêmement prometteurs. Nous observons que ces impulsions permettent aux pouvoirs publics de dresser les contours d’un cadre réglementaire s’affinant au gré de la compréhension générale des limites et des implications de la robotisation.

Nous avons vu que le processus d’évaluation est particulièrement complexe, et qu’il nécessite de s’appuyer sur une grande rigueur méthodologique et de disposer de référentiels objectifs. Face à des systèmes de plus en plus complexes, en interaction avec un environnement dynamique et difficilement modélisable, le travail de recherche en évaluation est mené de concert avec les chercheurs, concepteurs et développeurs de tous horizons, mais également avec les organismes de normalisation et les pouvoirs publics. C’est cette synergie des connaissances qui permettra de définir un cadre structuré pour le robot dans notre société.

Éléments de bibliographie

Association française de normalisation (Afnor) : Exigences générales concernant la compétence des laboratoires d’étalonnages et d’essais (NF EN ISO/IEC 17025), décembre 2017 (www.iso.org/fr/standard/66912.html).

Balbo Flavien, Berreby Fiona, Boissier Olivier et al., Éthique et agents autonomes (Livre blanc), Ethicaa, juillet 2018 (https://ethicaa.greyc.fr/).

Chatila Raja, Dauchet Max, Devillers Laurence, Ganascia Jean-Gabriel, Grinbaum Alexeï et Tessier Catherine, Éthique de la recherche en robotique (rapport de recherche), CERNA-ALLISTENE, novembre 2014 (http://cerna-ethics-allistene.org/).

Ganay (de) Claude et Gillot Dominique, Pour une intelligence artificielle maîtrisée, utile et démystifiée (rapport d’information n° 4594 de l’Assemblée nationale / n° 464 du Sénat), Office parlementaire d’évaluation des choix scientifiques et technologiques, 15 mars 2017 (www.senat.fr/).

Delvaux Mary, Rapport contenant des recommandations à la Commission concernant des règles de droit civil sur la robotique (2015/2103(INL)), Commission des affaires juridiques, Parlement européen, PE582. 443v01-00, 27 janvier 2017 (www.europarl.europa.eu/).

Iocchi Luca, Holz Dirk, Ruiz-del-Solar Javier, Sugiura Komei et Van Der Zant Tijn, « RoboCup@ Home: Analysis and results of evolving competitions for domestic and service robots », Artificial Intelligence n° 229, p. 258-281.

Jacoff Adam S., Candell Richard, Downs Anthony J., Huang Hui-Min, Kimble Kenneth E., Saidi Kamel S. et Virts Ann M., « Applying Measurement Science to Evaluate Ground, Aerial, and Aquatic Robots », The 15th IEEE International Symposium on Safety, Security, and Rescue Robotics 2017 (SSRR 2017), 11-13 octobre 2017, p. 131-132 (https://ws680.nist.gov/).

Loi n° 2016-1321 du 7 octobre 2016 pour une République numérique, JORF n° 0235 du 8 octobre 2016, texte n° 1 (www.legifrance.gouv.fr/).

Parlement et Conseil européens, Directive 95/46/CE du 24 octobre 1995 relative à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données, Journal officiel n° L 281 du 23 novembre 1995, p. 0031-0050 (https://eur-lex.europa.eu/).

Parlement et Conseil européens, Directive 2006/42/CE du 17 mai 2006 relative aux machines et modifiant la directive 95/16/CE (refonte), Journal officiel n° L157/24 du 9 juin 2006 (https://eur-lex.europa.eu/).

Parlement et Conseil européens, Directive 2014/30/UE du 26 février 2014 relative à l’harmonisation des législations des États membres concernant la compatibilité électromagnétique (refonte), Journal officiel n° L96/79 du 29 mars 2014 (https://eur-lex.europa.eu/).

Parlement et Conseil européens, Directive 2014/35/UE du Parlement européen et du Conseil du 26 février 2014 relative à l’harmonisation des législations des États membres concernant la mise à disposition sur le marché du matériel électrique destiné à être employé dans certaines limites de tension, Journal officiel n° L96/357 du 29 août 2014 (https://eur-lex.europa.eu/).

Stasse Olivier, Giraud-Esclasse Kévin, Brousse Édouard, Naveau Maximilien, Regnier Rémi, Avrin Guillaume et Souères Philippes, Benchmarking the HRP-2 humanoid robot during locomotion, Rapport LAAS n° 18212, 2018.

Tual Morgane, « À peine lancée, une intelligence artificielle de Microsoft dérape sur Twitter », Le Monde, 24 mars 2016 (www.lemonde.fr/).

(1) Agence du département du Commerce des États-Unis.
(2) « Commission de réflexion sur l’éthique de la recherche en sciences et technologies du numérique d’Allistene », Allistene étant l’Alliance des sciences et technologies du numérique.