Aujourd’hui, comme pour l’aviation en 1914 et comme pour les engins balistiques en 1939, la technologie pour développer des robots autonomes est disponible. C’est en particulier vrai pour les microdrones dont ma société Parrot est depuis 12 ans un des acteurs principaux développant cette technologie. Ceux-ci sont aujourd’hui couplés à de l’Intelligence artificielle (IA). De plus, pour la première fois dans l’histoire des sciences et des techniques, l’ensemble d’une technologie nouvelle est disponible en open source ⁽¹⁾, ce qui pose la question de leur dissémination et de leur utilisation par de nombreux pays et par des groupes terroristes.

Les tâches accessibles par des microdrones militarisés

L’IA fait des progrès constants depuis plusieurs décennies. Pour le jeu d’échecs, il y a maintenant vingt ans qu’un ordinateur a battu le meilleur joueur humain. C’est vrai aujourd’hui pour le jeu de Go et pour la quasi-totalité des autres jeux. Les programmes d’ordinateurs surclassent les meilleurs joueurs humains. Il y a beaucoup d’autres tâches pour lesquelles des algorithmes d’intelligence artificielle battent les meilleurs experts humains. La reconnaissance de forme est l’une d’elle : en matière d’identification de visages dans des bases de données d’images les performances des systèmes de Deep Learning dépassent aujourd’hui les meilleurs experts. Lorsqu’une tâche comme « jouer aux échecs » est bien définie, les ingénieurs sont désormais capables de concevoir des algorithmes ayant des capacités supérieures à celles des meilleurs spécialistes humains.

Toutes les tâches nécessaires à la réalisation de microdrones autonomes sont maintenant suffisamment bien définies et il existe des solutions algorithmiques pour réaliser chacune d’entre elles avec un très bon niveau de fonctionnement. C’est ce que nous allons voir.

Le drone comme éclaireur

Drone R1 de la société Skydio suivant de manière autonome un sportif dans un bois
 

Un microdrone quadricoptère d’environ 400 g peut voler devant un homme à pied ou en voiture. Le drone vole à environ 100 m devant lui. Le drone filme et transmet la vidéo des environs en temps réel avec une caméra thermique. Un logiciel de classification d’images analyse celles-ci et reconnaît des « patterns » (formes) représentant une personne, un véhicule, un animal… Le drone vole de manière autonome : aucune attention de l’opérateur n’est mobilisée pour le piloter. En temps réel, les images sont analysées et transmises aux opérateurs. La reconnaissance d’image permet d’envoyer des messages en clair comme « Détection de personne ». Ce microdrone peut évoluer dans un environnement assez obstrué comme une forêt. La société californienne Skydio commercialise son drone R1 : autonome, il peut suivre un coureur dans une forêt en évitant les arbres et en retrouvant un chemin pour rejoindre sa cible. Ce type de quadricoptère vole environ 30 minutes, et un homme peut transporter de nombreuses batteries permettant de le faire voler 30 min supplémentaires.

Le drone comme une arme

Le microdrone peut transporter une charge de 100 g d’explosifs. Grâce à ses caméras vidéo, il peut repérer des cibles et se diriger vers elles. Il peut ensuite exploser à proximité. La décision est prise par un opérateur humain. Il reçoit du drone des images vidéo et des résultats des algorithmes de reconnaissance d’image qui lui indique les cibles potentielles ainsi que l’indice de confiance de l’algorithme de reconnaissance d’image. L’opérateur peut valider ou non l’usage de l’arme par le drone. Il se fait aider pour cela par de puissants algorithmes tournant sur le « cloud » avec lequel le drone est relié en permanence.

Un jour, la tentation sera grande de retirer « l’homme dans la boucle » pour prendre la décision d’utilisation de l’arme sachant que les algorithmes d’intelligence artificielle seront très probablement considérés comme plus efficaces que les meilleurs opérateurs humains, comme le sont aujourd’hui les algorithmes pour jouer aux échecs.

Protection des sites

Pour la protection d’un site, sont déjà commercialisés des boîtiers de la taille d’un réfrigérateur contenant un quadricoptère, des moyens de recharge et de changement de batterie avec des panneaux solaires.

À partir de la base, le quadricoptère effectue des rondes en permanence. Dès qu’il y revient, un bras robotisé retire sa batterie, la met en charge et la remplace par une batterie chargée. Le drone peut alors redécoller immédiatement. Lors d’une ronde, le drone repère des tentatives d’intrusion par des personnes ou des véhicules. Il transmet en temps réel des images et des alertes qualifiées. S’il est armé, il pourrait aussi tenter d’intercepter les intrus avec ou sans opérateur humain dans la boucle.

Drones en essaim

Un essaim de petits drones peut pénétrer dans un immeuble. Les drones peuvent ouvrir les portes fermées ou les fenêtres en explosant à proximité comme le drone Loki1 de la société belge SkyHero. Les drones peuvent parcourir un immeuble sans l’assistance d’un GPS. En extérieur, ils peuvent aussi voler sans GPS lorsqu’ils disposent d’une carte 3D de la zone à survoler sur laquelle ils peuvent se repérer. En parcourant l’immeuble et tous ses différents étages, les drones constituent une carte 3D de l’immeuble en utilisant un algorithme de SLAM ⁽²⁾. En volant de pièces en pièces, ils peuvent détecter des personnes ou d’autres objets dont ils ont des références dans leur base de données. S’il est armé, le drone peut envahir l’immeuble par lui-même ; s’il n’est pas armé, il fait parvenir en temps réel des images vidéo et une carte d’occupation en 3D de l’immeuble à la force d’intervention.

En généralisant l’usage précédent, une armée de microdrones pourrait pénétrer dans une ville et inspecter les immeubles de proche en proche. Ils seraient suivis par des véhicules robotisés assurant le transport, la recharge et l’échange des batteries des drones en utilisant leur moteur thermique. Le niveau fonctionnel de ces robots est du même ordre de complexité que celui des voitures autonomes mises au point par Google par exemple. La force robotisée pourrait être larguée d’un avion dans des containers et progresser de manière autonome dans une ville. On lui enverra des renforts et du ravitaillement en carburant par parachutage.

Ces tâches sont envisageables dès aujourd’hui. Les spécialistes des drones connaissent les briques technologiques disponibles à l’heure actuelle pour réaliser leur développement. Ainsi, ces fonctions seront réalisées dans un avenir proche… Je pense que moins de 10 ans seront nécessaires pour rendre opérationnel un système complet de ce type.

La technologie disponible pour les robots autonomes

Toutes les technologies nécessaires pour réaliser les missions précédentes sont disponibles actuellement. Le hardware a fait des progrès extraordinaires grâce au développement de l’industrie des smartphones. Si les composants développés pour les smartphones permettent de concevoir, construire et fabriquer des robots très puissants, c’est principalement grâce au software – dont de nouvelles classes d’algorithmes permettent l’autonomie des robots – que les progrès récents sont les plus fascinants.

Le software

Pour réaliser un microdrone autonome, il faut disposer de 3 algorithmes : l’autopilote, l’évitement d’obstacles et l’intelligence artificielle.

Lorsqu’un microdrone peut voler avec une précision centimétrique, il peut se mouvoir dans un environnement encombré sans GPS pour suivre une mission prédéfinie. S’il peut également identifier des cibles avec un degré de certitude plus exact que les meilleurs experts humains et qu’il peut prendre la décision d’utiliser une arme, alors ce drone est autonome.

Autopilote

Les autopilotes des microdrones permettent de contrôler le vol avec une précision centimétrique. L’innovation introduite, il y a 10 ans, par Parrot par rapport aux autopilotes d’engins plus grands, est d’utiliser des données en provenance de caméras vidéo directement par le logiciel de l’autopilote. Une caméra vidéo filme le sol à 60 images par seconde. Un algorithme de flux optique effectue une mesure très précise de la vitesse par rapport au sol : de cette manière le drone reste en point fixe même par un vent de 40 km/h.

Les microdrones suivent des plans de vol grâce au GPS. Si nécessaire, on peut le remplacer par de la localisation du terrain sur une carte 3D. Avec sa caméra verticale, un drone sera capable de recaler précisément sa centrale inertielle.

Drone développé par la société Planck et sa plateforme de récupération automatique qui fonctionne même pendant la marche du véhicule

Aujourd’hui, les microdrones atterrissent avec une précision centimétrique sur leur point de décollage. Ils peuvent aussi se poser sur des véhicules en mouvement. La société Planck fournit des quadricoptères qui se posent sur des « jeeps » ou des « zodiacs » sans que ceux-ci n’aient besoin de s’arrêter pour récupérer le drone. L’atterrissage est guidé initialement par le GPS, la séquence finale est guidée par traitement d’image. Un logiciel évalue la distance et les mouvements de la plateforme d’atterrissage en temps réel grâce aux images de leur caméra verticale. Le drone est piloté de manière autonome jusqu’à se poser sur le véhicule, une pince l’amarre ensuite solidement. Un tel atterrissage est un bon exemple de séquences complexes entièrement autonomes réalisées aujourd’hui par les microdrones.

L’évitement d’obstacles

Pour que le vol autonome soit robuste, il est nécessaire que le drone qui vole à hauteur d’homme évite les obstacles qui se présentent devant lui.

Le progrès récent vient de l’intégration de caméras stéréo permettant d’obtenir la « carte de profondeur » de l’image vidéo. Avec jusqu’à 6 paires de caméras stéréo pointant dans chacune des directions, les microdrones actuels disposent d’informations de distance les séparant des objets dans toutes les directions. Un algorithme de la famille « Model Predictive Control » permet de calculer en temps réel une trajectoire optimale d’évitement d’obstacles. En cas de blocage dans une impasse, un algorithme prend la main et recherche une sortie. La sortie dans le cas d’un drone volant existe presque toujours systématiquement. On peut chercher à rebrousser chemin, on peut aussi en extérieur orienter les caméras vers le haut pour chercher une sortie au-dessus de la végétation.

Lors de la mission, le drone cherche les stratégies de vol les moins risquées. Il sélectionne le plus souvent le vol à la limite supérieure de la canopée ce qui lui permet de voler dans un espace peu encombré.

L’intelligence artificielle

Une fois le drone en vol à la fois capable d’éviter les obstacles et de déterminer des stratégies de vol efficaces, il peut utiliser tout l’arsenal des algorithmes d’IA disponibles.

Les processeurs modernes offrent des accélérateurs hardware permettant de faire tourner du code de réseaux de neurone comme « MobileNets » ou « Inception ». En vol, le drone est capable de faire tourner les algorithmes d’identification d’images pour détecter des véhicules, des personnes. Une option encore plus puissante consiste à connecter le drone à un « cloud » auquel il envoie un flux vidéo en temps réel. Notons que sur les serveurs, il n’y a plus de limites de puissance de calcul, de dimension, de confidentialité et de mise à jour des bases de données.

Le drone effectue de la classification d’images par réseau de neurones. Les algorithmes de classification d’images ont progressé considérablement ces dernières années. Ils sont maintenant suffisamment fiables pour identifier des visages lors des passages à des frontières par exemple. Ils battent les meilleurs spécialistes humains et leurs performances peuvent être mesurées très précisément.

Un drone moderne est capable de voler de manière précise et stable, d’éviter les obstacles et d’identifier des cibles dans des images vidéo en utilisant les meilleurs algorithmes d’intelligence artificielle. Il doit être déjà considéré comme étant très autonome.

Le hardware

Les drones empruntent l’essentiel de leur hardware à la banque d’organes des téléphones portables.

Les MEMS (Microsystèmes électromécaniques)

La centrale inertielle des microdrones est réalisée avec les MEMS développés pour détecter l’orientation des téléphones portables. Ces composants sont par exemple fabriqués par la société suisse ST Microelectronics. Ils permettent pour quelques dollars de disposer d’un gyroscope et d’un accéléromètre 3 axes qui ont un biais suffisamment faible de l’ordre de 0,1°/s. Leur faible coût et leur faible encombrement permettent de loger deux centrales inertielles dans un microdrone : une dans le corps du drone et la seconde dans la caméra.

Caméra stéréo

La nouveauté est la disponibilité à bas coût de caméras « Global Shutter », à savoir des caméras avec lesquelles tous les pixels sont acquis en même temps. On utilise ces caméras par paires. Un algorithme recherche les points identiques dans les deux images puis il calcule l’angle qui existe entre un même point identique dans chacune des images. Il en déduit la distance du point.

Les microdrones du commerce embarquent jusqu’à 6 caméras stéréo qui permettent d’obtenir une estimation de la distance des objets entourant le drone dans toutes les directions. Ces caméras stéréo peuvent fonctionner dans l’infrarouge, la scène peut y être éclairée, rendant possible l’utilisation des microdrones de nuit.

Caméra bifocale, zoom et guimbal

Drone Parrot Anafi2 : caméra 21Mpixels avec zoom et caméra FLIR Lepton sur la tête gyrostabilisée

L’industrie du téléphone portable a réussi un fantastique succès technologique en développant des appareils photos de grande qualité intégrés dans l’épaisseur d’un téléphone de moins d’1 cm. Les téléphones actuels disposent de caméra 20 mégapixels permettant avec deux capteurs de réaliser un zoom x 3 en vidéo 4K. Lorsqu’on se contente de la résolution HD à 720p, on obtient un zoom 12 fois.

Chez Parrot, c’est ce type de caméra que nous développons et intégrerons dans nos drones. Un des succès de notre industrie a été de développer des « Guimbals » ⁽³⁾ stabilisées pour d’aussi petites caméras. Nos « Guimbals » permettent de stabiliser l’image dans toute l’enveloppe de vol du drone.

Caméra FLIR miniature

La société américaine FLIR commercialise une caméra sensible dans l’ultrarouge lointain en une seule puce : le « Lepton » que nous avons intégré dans la tête gyrostabilisée d’un microdrone Parrot Anafi. Par traitement d’image, nous mixons l’image infrarouge basse définition avec l’image vidéo haute définition. Cela permet de visualiser dans l’image visible des points chauds comme des animaux, des personnes et des véhicules.

Processeurs de téléphones portables

Les puces les plus récentes incluent de très nombreux blocs hardware. Notamment un CPU : processeur multicœur cadencé à plus d’1 GHz, et un GPU ⁽⁴⁾, lui aussi multicœur permettant le traitement d’image 3D. Il est utile aux drones pour réaliser la stabilisation d’image. Des DSP ⁽⁵⁾ multicœur offrant une puissance de calcul supérieur aux CPU sont utilisés pour le traitement d’image. Un bloc stéréovision permet d’extraire la « carte de profondeur » d’une paire de caméras sans encombrer le CPU. Un bloc accélérateur hardware de réseau de neurones fait tourner des réseaux précédemment entraînés avec les logiciels classiques comme TensorFlow. Toutes ces fonctions sont utilisées en parallèle dans un microdrone.

Ces processeurs sont commercialisés pour quelques dizaines de dollars. Il faut leur adjoindre une radio digitale, par exemple Wifi, des caméras et un GPS pour réaliser un drone à l’état de l’art.

Liaisons numériques cryptées

Les microdrones utilisent les technologies de liaison radio grand public. Les drones grand public occupent les bandes de fréquences libres à 2,4 GHz et 5 GH. Ces fréquences sont partagées avec Wifi, Bluetooth et de nombreuses autres liaisons radio. La tendance est aussi d’intégrer une liaison 4G permettant d’utiliser le drone en dehors de la ligne de visée.

La liaison Wifi porte jusqu’à 5 km lorsque la ligne de visée est maintenue et lorsque le spectre électromagnétique n’est pas trop encombré. Les liaisons 4G ne souffrent pas de ce problème, leur débit étant malheureusement beaucoup plus faible.

La technologie pour réaliser des radios militarisées plus robustes aux brouillages existe et peut être adaptée aux microdrones.

Réseaux de neurones embarqués

Des réseaux de neurones entraînés par apprentissage profond (Deep Learning) fonctionnent sur les chipsets ⁽⁶⁾. En particulier, les réseaux de classification d’images qui permettent par exemple de reconnaître un visage parmi des centaines de milliers. Ces réseaux de neurones peuvent reconnaître une silhouette d’un humain même si celui-ci cherche à se dissimuler ; ou reconnaître des véhicules (de la bicyclette au 4x4). Ils fonctionnent à partir d’une base de données d’images. Ces réseaux de neurones peuvent être réalisés par exemple avec TensorFlow : un logiciel open source parmi les plus puissant du marché développé par Google. L’environnement de développement AutoML ⁽⁷⁾ permet de réutiliser des réseaux existants qui ont fait leurs preuves. Des accélérateurs hardware permettent de faire tourner les réseaux de neurones avec une empreinte de consommation électrique réduite et sans encombrer le processeur principal.

Une fois un seuil de confiance atteint par l’algorithme de reconnaissance d’image, le drone peut être programmé pour tenter d’intercepter une cible. Le seuil de confiance peut être vérifié en laboratoire avec des systèmes de preuves très robustes qui utilisent des simulateurs photoréalistes et d’importantes bases de données d’images de test.

Toutes les technologies citées ci-dessus existent. Elles ont été développées pour les drones grands public et professionnels actuellement sur le marché. L’enjeu du drone futur est plus spécifiquement localisé dans l’amélioration du logiciel d’intelligence artificielle et de son système de preuves de sûreté de fonctionnement associé. La qualité et la confiance dans le système dépendent des investissements que l’on est prêt à effectuer dans la constitution des bases de données d’images et des algorithmes de traitement d’images.

Inéluctable dissémination

Les éléments principaux matériels et logiciels sont déjà disponibles sur Internet. Ils sont déjà disséminés. Pour le matériel, c’est simple : les fabricants de drones grand public (comme c’est le cas pour Parrot) offrent depuis plusieurs années des quadricoptères avec toutes les fonctions nécessaires. On peut aussi trouver sur Internet les composants (moteurs, radios, caméras, caméras stéréos, processeurs) nécessaires à la fabrication de drones que l’on pourra customiser et qui ont les capacités décrites dans cet article.

En matière de logiciel, les deux éléments clef, l’autopilote pour quadricoptère (par exemple PX4 ou ArduPilot) et l’IA nécessaire pour le développement de classificateur d’image par réseaux de neurone à apprentissage profond sont disponibles en open source.

Drone Loki1 de la société Sky Hero
Le drone est piloté manuellement par des pilotes des forces spéciales qui le font exploser lorsqu’il atteint l’objectif.

Dissémination par des terroristes

Tous les niveaux de fonctionnement entre l’autonomie complète et le drone piloté manuellement permettent de concevoir des microdrones létaux.

Aujourd’hui, les forces spéciales de nombreux pays utilisent les drones Loki1 qui sont pilotés manuellement. Ils peuvent pénétrer dans des immeubles et transporter des explosifs. Les opérateurs peuvent les déclencher à distance. Des groupes terroristes au Moyen-Orient font la même chose avec des drones bricolés à partir de drones grand public et de matériel de « hobbyist » (amateur). Ils transportent des charges explosives et mènent des attaques.

Les drones grand public utilisant un code de réseau de neurones pour filmer et suivre un sportif, par exemple un skieur, sont disponibles dans le commerce. Ont-ils été déjà utilisés par des groupes terroristes ?

Dissémination par des États

Développer des essaims de drones plus au moins autonomes est à la portée des États même des plus petits. Quelques dizaines de drones, même pilotés manuellement, peuvent être transportés dans des jeeps. Ils peuvent être envoyés simultanément depuis plusieurs points différents séparés d’une distance de 2 km par exemple. Les drones peuvent avoir pour mission de converger vers les postes de garde d’un même bâtiment et exploser à proximité de tous les individus et de tous les véhicules qui s’y trouvent. Ils pourraient voler sans GPS, Google Maps offrant une résolution suffisante pour qu’un algorithme embarqué sur le drone soit capable, à partir d’une photo de sa caméra verticale prise à 100 m d’altitude, d’y trouver précisément sa position sur la carte de Google Maps préalablement chargée dans le drone.

Le développement d’un petit système d’essaim de drones est favorisé par le faible coût de la technologie à mettre en œuvre. Un drone grand public coûte entre 500 $ et 5 000 $. Consommer les drones à chaque mission n’est donc pas un obstacle. Une équipe de quelques dizaines d’ingénieurs, développeurs de logiciel pour la plupart, est suffisante pour adapter les drones actuellement vendus dans le grand public et leur donner des caractéristiques offensives. Le développement d’une telle arme est beaucoup plus rapide, moins coûteux, plus discret et beaucoup moins complexe que par exemple le développement d’un parc de centrifugeuses d’enrichissement de matières fissibles déjà réalisé par plusieurs États.

L’emploi de l’arme « essaim de microdrones » est encore nouveau. La doctrine d’utilisation d’une telle arme reste à définir. Un essaim de petits drones peut certainement saturer temporairement des défenses terrestres. Ils peuvent être déployés en mode terroriste. Ils pourraient attaquer une foule dans une ville en paix par exemple et être mis en œuvre discrètement à partir de fenêtres d’immeubles.

Un pays disposant d’une technologie plus avancée pourra opérer des essaims de microdrones à très grandes distances. Des flottes de microdrones et de véhicules d’appuis pourraient être parachutées et opérées par liaisons satellites à probablement n’importe quel point du globe. Le fait de sacrifier tous les robots à la fin de l’opération représente aussi un avantage tactique. On pourrait imaginer une opération robotisée dans un pays étranger menée par des centaines de micro-drones volants et une dizaine de véhicules autonomes d’appui capables d’ouvrir les portes d’une prison et d’en libérer les détenus. Un aspect des conflits futurs sera peut-être une sorte de guérilla urbaine robotisée. On verra aussi très probablement apparaître des algorithmes embarqués dans les drones amis destinés à intercepter les microdrones ennemis.

Le fait que les drones soient programmés pour intercepter d’autres drones incitera peut-être les concepteurs de ces systèmes à supprimer dans ce cas « l’homme dans la boucle ». Ce serait un argument très difficile à réfuter en faveur de la suppression de la décision humaine pour l’utilisation d’une arme robotisée. Il est difficile de réfuter la proposition : « Mon drone est destiné à intercepter d’autres drones, dans ce cas aucune vie humaine n’est en jeu. Mon système est efficace. J’ai simulé son logiciel sur des milliers d’attaques en laboratoire et des experts humains ont manuellement vérifié les milliers de décisions prises par les algorithmes : elles se sont révélées correctes dans l’immense majorité des cas, une majorité bien plus grande que celle obtenue par les meilleurs experts humains réalisant la même tâche. Il faut donc dans ce cas pour que le système soit efficace et protège correctement les humains, supprimer “l’homme dans la boucle” ».

Voilà un raisonnement fâcheux.

Dissémination de l’intelligence artificielle

L’IA est encore plus largement disséminée que la robotique. Les outils de développement, les bases de données et des réseaux de neurones déjà entraînés sont disponibles sur Internet. Reconnaître un visage, un véhicule, un bâtiment tout cela existe sur Internet avec un excellent niveau de fonctionnement.

Il n’est pas nécessaire d’être un ingénieur de haut niveau pour intégrer du code d’intelligence artificielle sur un drone grand public. La méthode la plus simple est d’utiliser une carte électronique standard comme le Raspberry Pi, puis d’y charger TensorFlow. La carte peut ensuite être simplement attachée sur un drone du commerce et reliée à lui par USB. La carte peut prendre le contrôle du drone, le faire décoller, voler jusqu’à un point précis – au-dessus d’une route par exemple – et dès qu’une voiture passe, le drone la détecte, se précipite dessus et explose.

« L’homme dans la boucle »

Une question se pose : dans combien de temps des organisations disposeront de microdrones capables d’embarquer de l’IA ? Dès qu’ils en disposeront, des groupes terroristes pourraient par exemple faire efficacement voler des microdrones de manière autonome sans GPS : ils pourraient les diriger vers un stade dans la foule et les faire exploser à l’endroit où les dégâts sont maximums, cela en retirant entièrement « l’homme dans la boucle ». À partir de cet instant, on pourra considérer qu’il devient dangereux de continuer à conserver coûte que coûte « l’homme dans la boucle » pour se défendre. Les concepteurs des systèmes de protection des attaques de drones pourraient alors être tentés de retirer l’étape de confirmation de l’usage d’une arme par un responsable humain, en mettant au moins en avant quatre arguments :

• Efficacité : Les réseaux de neurones sont plus fiables que les meilleurs opérateurs humains. On peut en présenter la preuve. On peut mesurer le taux de succès des décisions prises par les algorithmes d’intelligence artificielle avec une base de données d’essai préalablement « étiquetée ». On peut parfaitement mesurer le taux de décisions réussies et le taux de faux positifs pour l’algorithme d’une part, et pour les meilleurs experts humains d’autre part. Une fois que le taux de succès de l’algorithme devient franchement meilleur que celui des meilleurs opérateurs humains il sera difficile de réfuter le fait que les algorithmes sont plus dangereux que les humains (« Ils font moins d’erreurs, ils sont donc plus sûrs »).

• Urgence : Les systèmes autonomes auront un temps de réaction très rapide. Plus rapide que la vitesse à laquelle les humains peuvent prendre leurs décisions. On arrivera très probablement à une situation où l’on détecte un robot ennemi. On identifie la menace et on estime qu’elle sera effective dans par exemple 30 secondes. Dans ce cas, il paraît impossible de mettre en œuvre une boucle de commandement supervisée par un humain. À cause d’un besoin de réaction très rapide, il sera probablement demandé aux systèmes dans certains cas de prendre les décisions urgentes de manière autonome.

• Riposte matérielle : Certaines missions ne mettent pas en danger des humains. Dans le cas où la mission du drone est strictement matérielle, comme intercepter un autre drone, on peut considérer qu’aucun humain n’est affecté par une telle décision et que dans ce cas, on pourrait considérer qu’il est inutile de mettre un « homme dans la boucle » pour détruire un autre robot.

• Légitime défense : Dans le cas d’une riposte à une agression, un système sans « homme dans la boucle », en plus d’être plus réactif, est aussi plus simple. Il est plus simple à concevoir et il est aussi beaucoup plus simple à mettre en œuvre. En étant plus simple, on peut considérer qu’il est par construction plus robuste, plus sûr. Il est aussi plus fiable, il n’est pas sensible aux « erreurs humaines ». Pour toutes ces raisons, on pourrait considérer qu’il devient logique de retirer « l’homme dans la boucle » lorsqu’il s’agit d’utiliser une arme robotisée pour riposter à une agression.

Une réponse philosophique : la dialectique platonicienne

Le danger ne vient pas des algorithmes d’IA qui effectuent, ma foi, efficacement les tâches pour lesquelles ils ont été conçus. Un algorithme joueur d’échecs gagne objectivement les parties d’échecs jouées contre les meilleurs joueurs humains.

Le danger se situe dans le système de preuve de l’algorithme. Au-delà de la preuve, on doit se poser la question de la validité de celle-ci. On doit se poser les questions suivantes : « Lorsque le meilleur joueur humain confirme que la décision de l’algorithme est bonne, est-il en droit de le faire ? En connaît-il les conséquences ? Sont-elles éthiques ? Ne faut-il pas vérifier fréquemment les systèmes de preuves ? ».

Par exemple peut-être qu’il sera établi un jour qu’il est trop dangereux pour une société humaine de posséder un nombre de robots au-delà d’un certain seuil. Dans ce cas, établir la preuve de leur fonctionnement n’a pas de sens. Si on doute de la permanence de la preuve, il faudra alors à chaque nouvelle occurrence de l’usage de l’algorithme interroger le tribunal des vérificateurs humains pour qu’ils confirment à nouveau la validité de celle-ci.

Et c’est bien là le rôle de « l’homme dans la boucle » de rejouer mentalement le système de preuve. De confirmer, selon lui, que la décision de l’algorithme est fondée et qu’il est prêt à en assumer la responsabilité.

Droits humains

Il faut que la question de « l’homme dans la boucle » soit reconnue au même titre que les autres droits humains. C’est, de mon point de vue, la seule manière d’éviter que dans un avenir proche les concepteurs de systèmes à base de drones développent des robots militarisés 100 % autonomes. Même dans les États démocratiques.

Une fois « l’homme dans la boucle » supprimé pour un cas d’utilisation même marginal, il sera très difficile, à n’importe quel organisme de contrôle, de différentier les cas d’utilisation éthiques des cas non éthiques pour lesquels « l’homme dans la boucle » pourra être abandonné. En autorisant, même dans des cas marginaux, la suppression de « l’homme dans la boucle », on risque de se retrouver devant le fait accompli. Une action non éthique pourra avoir été réalisée de manière dissimulée en invoquant un cas d’utilisation éthique. Cela sera sans doute extrêmement difficile, voire impossible, à vérifier. Et ceci risque se généraliser et de proliférer.

Conserver « l’homme dans la boucle » dans toutes les situations d’utilisation de robots armés est un choix éthique qu’il faut prendre collectivement. Il faut espérer, comme c’est le cas pour les armes chimiques par exemple, qu’un consensus international permettra d’interdire sa suppression.

* * *

Pour conclure, la suppression de « l’homme dans la boucle » lors de l’utilisation de systèmes robotiques armés devrait être considérée comme un crime de guerre. ♦

(1) Ou « code source ouvert » : il est possible librement de la distribuer, d’accéder à son code source et de créer des travaux dérivés.
(2) Simultaneous Localization and Mapping : Localisation et cartographie simultanées.
(3) Cardan tournant qui permet à un objet de tourner autour d’un axe unique.
(4) De l’anglais Graphics Processing Unit, processeur graphique.
(5) Microprocesseur optimisé pour exécuter des applications de traitement numérique du signal (filtrage, extraction de signaux, etc.) le plus rapidement possible.
(6) Littéralement « jeu de puces » en anglais, c’est un jeu de composants électroniques inclus dans un circuit intégré préprogrammé permettant de gérer les flux de données numériques entre processeur(s), mémoire et périphériques.
(7) Pour Automated Machine Learning.