Un document confidentiel révèle un rôle humain clé dans la technologie des coups de feu

CHICAGO (AP) – Dans plus de 140 villes à travers les États-Unis, l’algorithme d’intelligence artificielle et le réseau complexe de microphones de ShotSpotter évaluent des centaines de milliers de sons par an pour déterminer s’il s’agit de coups de feu, générant des données désormais utilisées dans des affaires pénales à l’échelle nationale.

Mais un document confidentiel de ShotSpotter obtenu par l’Associated Press décrit quelque chose que l’entreprise ne vante pas toujours à propos de son « système de police de précision » – que les employés humains peuvent rapidement annuler et inverser les déterminations de l’algorithme, et ont un large pouvoir discrétionnaire pour décider si un son est un coup de feu, un feu d’artifice, le tonnerre ou autre chose.

De tels renversements se produisent 10% du temps par un compte d’entreprise de 2021, ce qui, selon les experts, pourrait apporter de la subjectivité dans des décisions de plus en plus conséquentes et entrer en conflit avec l’une des raisons pour lesquelles l’IA est utilisée dans les outils d’application de la loi en premier lieu – pour réduire le rôle de humains trop faillibles.

« J’ai écouté beaucoup d’enregistrements de coups de feu – et ce n’est pas facile à faire », a déclaré Robert Maher, une autorité nationale de premier plan en matière de détection de coups de feu à la Montana State University, qui a examiné le document ShotSpotter. « Parfois, c’est évidemment un coup de feu. Parfois, c’est juste un ping, ping, ping. … et vous pouvez vous convaincre que c’est un coup de feu.

Marqué « AVERTISSEMENT : CONFIDENTIEL », le document d’exploitation de 19 pages explique comment les employés des centres d’examen de ShotSpotter doivent écouter les enregistrements et évaluer la découverte par l’algorithme d’un coup de feu probable en fonction d’une série de facteurs qui peuvent nécessiter des appels de jugement, y compris si le son a la cadence des coups de feu, si le modèle audio ressemble à « un sapin de Noël sur le côté » et s’il y a « 100 % de certitude de coups de feu dans l’esprit du critique ».

ShotSpotter a déclaré dans une déclaration à l’AP que le rôle humain est un contrôle positif de l’algorithme et que le document « en langage clair » reflète les normes élevées de précision que ses examinateurs doivent respecter.

« Nos données, basées sur l’examen de millions d’incidents, prouvent que l’examen humain ajoute de la valeur, de la précision et de la cohérence à un processus d’examen dont nos clients et de nombreuses victimes par balle dépendent », a déclaré Tom Chittum, vice-président de l’analyse de la société. et les services médico-légaux.

Chittum a ajouté que les témoins experts de la société ont témoigné dans 250 affaires judiciaires dans 22 États et que son « taux de précision global de 97 % pour les détections en temps réel sur tous les clients » a été vérifié par une société d’analyse mandatée par la société.

Une autre partie du document souligne l’accent de longue date de ShotSpotter sur la vitesse et la décision, et son engagement à classer les sons en moins d’une minute et à alerter la police locale et les répartiteurs du 911 afin qu’ils puissent envoyer des agents sur les lieux.

Intitulé «Adopting a New York State of Mind», il fait référence à la demande du département de police de New York à ShotSpotter d’éviter de publier des alertes de sons comme «coups de feu probables» – uniquement des classifications définitives comme coups de feu ou non.

« Résultat final : Il forme l’examinateur à être décisif et précis dans sa classification et tente de supprimer une publication douteuse », indique le document.

Les experts disent que de tels conseils sous une pression de temps serrée pourraient encourager les examinateurs de ShotSpotter à se tromper en faveur de la catégorisation d’un son comme un coup de feu, même si certaines preuves en sont insuffisantes, augmentant potentiellement le nombre de faux positifs.

« Vous ne donnez pas beaucoup de temps à vos humains », a déclaré Geoffrey Morrison, un scientifique en reconnaissance vocale basé en Grande-Bretagne et spécialisé dans les processus médico-légaux. « Et lorsque les humains sont soumis à une forte pression, la possibilité d’erreurs est plus élevée. »

ShotSpotter dit avoir publié 291 726 alertes de coups de feu à ses clients en 2021. Cette même année, dans des commentaires à AP annexés à une histoire précédente, ShotSpotter a déclaré que plus de 90 % du temps, ses examinateurs humains étaient d’accord avec la classification de la machine, mais l’entreprise a investi dans son équipe. des critiques « pour les 10 % du temps où ils ne sont pas d’accord avec la machine ». ShotSpotter n’a pas répondu aux questions sur la question de savoir si ce ratio est toujours vrai.

Le document d’exploitation de ShotSpotter, dont la société a fait valoir devant le tribunal pendant plus d’un an qu’il s’agissait d’un secret commercial, a récemment été libéré d’une ordonnance de protection dans une affaire judiciaire de Chicago dans laquelle la police et les procureurs ont utilisé les données de ShotSpotter comme preuve pour inculper un grand-père de Chicago de meurtre en 2020 pour avoir prétendument tiré sur un homme à l’intérieur de sa voiture. Michael Williams a passé près d’un an en prison avant qu’un juge ne soit limogé l’affaire faute de preuves suffisantes.

Les preuves des audiences préliminaires de Williams ont montré que l’algorithme de ShotSpotter classait initialement un bruit capté par les microphones comme un pétard, ce qui rend cette détermination avec une confiance de 98 %. Mais un critique de ShotSpotter qui a évalué le son l’a rapidement qualifié de coup de feu.

Le bureau du défenseur public du comté de Cook a déclaré que le document d’exploitation était le seul document envoyé par ShotSpotter en réponse à plusieurs assignations à comparaître pour des directives, des manuels ou d’autres protocoles scientifiques. La société cotée en bourse a longtemps résisté aux appels à ouvrir ses opérations à un examen scientifique indépendant.

ShotSpotter basé à Fremont, en Californie a reconnu à AP qu’il dispose d’autres « matériels de formation et opérationnels complets » mais les considère comme « confidentiels et secrets commerciaux ».

ShotSpotter a installé ses premiers capteurs à Redwood City, en Californie, en 1996, et pendant des années s’est appuyé uniquement sur les répartiteurs locaux du 911 et la police pour examiner chaque coup de feu potentiel jusqu’à l’ajout de ses propres examinateurs humains en 2011.

Paul Greene, un employé de ShotSpotter qui témoigne fréquemment au sujet du système, a expliqué lors d’une audience de témoignages en 2013 que les examinateurs du personnel avaient abordé des problèmes avec un système qui « était connu de temps à autre pour donner de faux positifs » parce qu’il « n’a pas d’oreille ». écouter. »

« La classification est l’élément le plus difficile du processus », a déclaré Greene lors de l’audience. « Tout simplement parce que nous n’avons pas … de contrôle sur l’environnement dans lequel les coups sont tirés. »

Greene a ajouté que l’entreprise aime embaucher d’anciens militaires et anciens policiers familiarisés avec les armes à feu, ainsi que des musiciens, car ils « ont tendance à avoir une oreille plus développée ». Leur formation comprend l’écoute de centaines d’échantillons audio de coups de feu et même des visites de champs de tir pour se familiariser avec les caractéristiques des coups de feu.

Alors que les villes ont pesé la promesse du système par rapport à son prix – qui peut atteindre 95 000 $ par mile carré par an – les employés de l’entreprise ont expliqué en détail comment ses capteurs acoustiques sur les poteaux électriques et les lampadaires captent les bruits forts, les boums ou les détonations, puis filtrer les sons à travers un algorithme qui classe automatiquement s’il s’agit de coups de feu ou d’autre chose.

Mais jusqu’à présent, on savait peu de choses sur la prochaine étape : comment les examinateurs humains de ShotSpotter à Washington, DC et dans la région de la baie de San Francisco décident ce qu’est un coup de feu par rapport à tout autre bruit, 24 heures sur 24.

« L’écoute des téléchargements audio est importante », selon le document rédigé par David Valdez, ancien officier de police et superviseur maintenant à la retraite de l’un des centres d’examen de ShotSpotter. « Parfois, l’audio est convaincant pour les coups de feu qu’ils peuvent remplacer toutes les autres caractéristiques. »

Une partie de la prise de décision qui a changé depuis la rédaction du document en 2021 est de savoir si les examinateurs peuvent considérer si l’algorithme avait une « confiance élevée » que le son était un coup de feu. ShotSpotter a déclaré que la société avait cessé de montrer la cote de confiance de l’algorithme aux examinateurs en juin 2022 « pour donner la priorité à d’autres éléments qui sont plus fortement corrélés à une évaluation précise formée par l’homme ».

Le PDG de ShotSpotter, Ralph Clark, a déclaré que les classifications des machines du système sont améliorées par ses «boucles de rétroaction du monde réel provenant des humains».

Cependant, une étude récente a révélé que les humains ont tendance à surestimer leurs capacités à identifier les sons.

L’étude de 2022 publiée dans la revue à comité de lecture Forensic Science International a examiné dans quelle mesure les auditeurs humains identifiaient les voix par rapport aux outils de reconnaissance vocale. Il a révélé que tous les auditeurs humains avaient des performances inférieures à celles du système vocal seul, affirmant que les résultats devraient conduire à l’élimination des auditeurs humains dans les affaires judiciaires dans la mesure du possible.

« Serait-ce le cas avec ShotSpotter ? Le système ShotSpotter plus l’examinateur surpasseraient-ils le système seul ? » a demandé Morrison, qui était l’un des sept chercheurs qui ont mené l’étude.

« Je ne sais pas. Mais ShotSpotter devrait faire une validation pour le démontrer.

___

Burke a rapporté de San Francisco.

____

Suivez Garance Burke et Michael Tarm sur Twitter à @garanceburke et @mtarm. Contactez l’équipe d’enquête mondiale d’AP à [email protected] ou https://www.ap.org/tips/