Daily Shaarli

All links of one day in a single page.

April 12, 2026

AI got the blame for the Iran school bombing. The truth is far more worrying

En examinant le processus de décision ayant conduit au bombardement par erreur de l'école primaire iranienne Shajareh Tayyebeh le 28 février 2026, Kevin Backer analyse la raison d'être des processus bureaucratiques, c'est-à-dire les étapes de validation, discussion, réunions qu'une organisation s'impose via des règles internes pour aboutir à une décision puis mettre en œuvre ses actions.

Quelques idées qu'il propose :

  • ces processus sont caractérisés par une certaine lenteur, et c'est une caractéristique nécessaire : cette lenteur et ces validations successives ménagent un espace permettant aux personnes de remettre les plans face à la réalité du terrain ou de la situation présente, puis faire des objections, annuler ou modifier l'action qui doit être menée (ici: la décision de bombarder telle ou telle "cible"), et ainsi éviter des erreurs.
  • en conséquence, vouloir accélérer les processus et diminuer la friction du processus de décision, c'est supprimer des garde-fous qui protègent l'organisation contre des erreurs (et protègent celles et ceux sur lesquels l'organisation a du pouvoir, ici : les êtres humains qui, s'ils reçoivent une bombe américaine sur la tête, meurent - ça fait beaucoup de monde). Clausewitz le disait déjà au XIXe siècle
  • par nature, l'institution a pour but d'éliminer le pouvoir discrétionnaire, celui des individus décidant seuls pour des raisons qui leur appartiennent. Pour ça, elle se dote de règles pour convaincre tout le monde (y compris elle-même) qu'elle obéit à des procédures objectives. Cependant, ces règles doivent en permanence être interprétées et adaptées à la situation rencontrée à l'instant t : c'est le rôle des humains à l'intérieur de faire ce travail d'interprétation, mais sans le reconnaître officiellement car ça contredit l'idée de processus régulier ne laissant pas de place à la subjectivité, donc ça contredit la raison d'être de l'institution. Il y a nécessairement un tension. Gros risque du coup: que quelqu'un dénonce l'arbitraire et la latence des processus puis les supprime au nom de l'efficacité.

En résumé, "les procédures formelles obscurcissent le travail qu'on est en train d'effectuer".

Il fait ainsi l'histoire du projet Maven de l'armée américaine :

  • but: accélérer et automatiser la désignation des "cibles" et leur élimination (la "kill chain")
  • timeline: 2017-aujourd'hui, monter à 1000 décisions par heure
  • moyens employés :
    • algorithmes de machine learning (interprétation des images et données capturées par les satellites et drones, consolidation et enrichissement des informations, classification et priorisation des "cibles") de façon à automatiser toutes les étapes.
    • nouvelles interfaces pour centraliser les informations et incarner / accélérer le workflow
  • Google cède devant ses ingénieurs en grève contre la participation à ce projet, c'est Palantir qui exécute le contrat
  • résultat notable : le bombardement d'une école primaire en Iran par erreur le 28 février 2026.

Il inscrit cette histoire dans celle de la stratégie militaire américaine.

Note plus personnelle : l'analyse est intellectuellement stimulante. Néanmoins, le point de départ choisi (la guerre) est particulièrement horrible, et ça produit des idées moralement indéfendables, par exemple quand il est met en contrepoint des bombardements irréfléchis américains en Irak (2003) qui font régulièrement des victimes civiles ou alliées ceux, plus mesurés, des britanniques au même moment : il se dégage l'impression qu'il y aurait une "meilleure" façon de mener des bombardements. Il est nécessaire de rappeler qu'aucune guerre n'est juste, qu'aucun meurtre n'est acceptable, fût-il le produit d'une armée équilibrée laissant la place à la décision humaine.