La Cour constitutionnelle allemande invalide les algorithmes prédictifs pour la police

[ad_1]

La Cour constitutionnelle fédérale allemande a déclaré inconstitutionnelle l’utilisation du logiciel de surveillance Palantir par la police de Hesse et de Hambourg dans une décision historique rendue jeudi 16 février.

La décision met fin à une affaire intentée par la Société allemande pour les droits civils (GFF) l’année dernière, dont les audiences ont commencé en décembre. Les plaignants ont fait valoir que le logiciel pourrait être utilisé pour la police prédictive, augmentant le risque d’erreurs et de discrimination par les forces de l’ordre.

Le Land allemand de Hesse utilise le logiciel depuis 2017, bien qu’il ne soit pas encore en place à Hambourg. La technologie est fournie par Palantir, une société américaine d’analyse de données qui a reçu le soutien précoce d’agences de renseignement, notamment la CIA, le FBI et la NSA.

L’affaire a été intentée au nom de 11 plaignants et reposait sur l’argument selon lequel le logiciel – nommé «Hessendata» – facilite la police prédictive en utilisant des données pour créer des profils de suspects avant qu’un crime ne soit commis.

La base juridique des actes autorisant ces systèmes a été remise en question par le GFF, qui a déclaré que Hesse et Hambourg n’avaient pas précisé les sources que la police pouvait utiliser pour obtenir des données ni combien et sur quels motifs l’exploration de données pouvait être menée par les forces de l’ordre.

Selon le tribunal, les pouvoirs accordés à la police de Hesse sont utilisés des milliers de fois par an via la plateforme Hessendata.

Cependant, les représentants de l’État ont fait valoir que le logiciel est essentiel pour prévenir le crime et ne fait que rassembler et traiter les données collectées ailleurs.

Palantir, dont le système Gotham AI Hessendata est dérivé, a déclaré qu’il ne fournissait que le logiciel d’analyse des données plutôt que les données elles-mêmes.

« Palantir apporte le logiciel aux données, pas les données au logiciel », a déclaré Jan Hiesserich, vice-président exécutif de Palantir pour la stratégie et les communications, au journal allemand. Handelsblatt.

« Ce sont nos clients qui déterminent quelles données sont pertinentes pour l’enquête conformément aux dispositions légales applicables. »

Jeudi, cependant, la cour constitutionnelle de Karlsruhe a annulé des lois qui fournissaient une base légale à la police pour traiter les données personnelles stockées par le biais d’une analyse automatisée des données, dans le cas de Hesse, ou d’une interprétation automatisée des données, à Hambourg.

Les systèmes ont été jugés inconstitutionnels car ils violaient le droit à l’autodétermination informationnelle.

« Compte tenu de la formulation particulièrement large des pouvoirs, tant du point de vue des données que des moyens concernés, les motifs d’ingérence sont bien en deçà du seuil constitutionnellement requis d’un danger identifiable », a déclaré la Cour dans un communiqué.

L’utilisation de mesures automatisées qui interfèrent ainsi avec les droits des personnes, a-t-il ajouté, « n’est autorisée que pour protéger des intérêts juridiques particulièrement importants – tels que la vie, l’intégrité physique ou la liberté de la personne ».

La décision annule la loi de Hambourg, ce qui signifie que le système ne sera pas installé. L’État de Hesse, cependant, où la technologie est déjà utilisée, a maintenant jusqu’au 30 septembre pour réformer sa législation. En attendant, il restera en place avec des restrictions.

L’affaire aura également des implications plus larges, a déclaré Bijan Moini, chef de l’équipe juridique de GFF : « Aujourd’hui, la Cour constitutionnelle fédérale a interdit à la police de regarder dans la boule de cristal et a formulé des directives strictes pour l’utilisation de logiciels intelligents dans le travail de la police. C’était important parce que l’automatisation des services de police n’est que le début.

En décembre, un rapport de l’agence des droits fondamentaux de l’UE a appelé les décideurs politiques à veiller à ce que les algorithmes d’IA utilisés par les forces de l’ordre pour la police prédictive soient testés pour détecter des biais susceptibles d’entraîner une discrimination, en particulier dans le contexte de la loi sur l’IA, sur laquelle les législateurs sont travaille actuellement.

L’application d’outils basés sur l’IA par les forces de l’ordre est également un point controversé dans les discussions sur la loi sur l’IA, une législation européenne historique visant à réglementer l’IA. Le Conseil des ministres de l’UE a fait pression pour donner plus de latitude aux forces de police, tandis que les eurodéputés progressistes plaident pour une approche plus restrictive.

[Edited by Luca Bertuzzi/Alice Taylor]



[ad_2]

Source link -42