La technologie biaisée de Microsoft «joue avec les moyens de subsistance» des communautés, ont averti des groupes de défense des droits civiques à la Maison Blanche dans des documents récemment publiés

• La Maison Blanche a publié une « Charte des droits de l’IA », un ensemble de principes pour les entreprises traitant de l’IA.
• Lors de la rédaction du projet de loi, la Maison Blanche a demandé aux entreprises et aux groupes de défense des droits civiques de donner leur avis.
• Plusieurs groupes de défense des droits civiques ont déclaré dans leurs commentaires que les pratiques de Microsoft étaient préoccupantes.

Alors que la Maison Blanche recherchait sa déclaration des droits de l’IA, plusieurs organisations ont attiré l’attention sur les préoccupations concernant l’intérêt de Microsoft pour la reconnaissance faciale, la détection des émotions et la collecte de données, montrent des documents récemment publiés.

Le Bureau de la politique scientifique et technologique de la Maison Blanche a publié mardi sa Déclaration des droits sur l’IA. Il ne s’agit pas d’une loi exécutoire, mais d’un appel aux entreprises et aux institutions à établir des règles éthiques pour l’utilisation des systèmes automatisés.

L’OSTP a rédigé le projet de loi après avoir demandé aux chercheurs, aux entreprises et aux organisations de défense des droits civils leurs commentaires plus tôt cette année. De nombreux groupes ont souligné le système de reconnaissance faciale historiquement biaisé de Microsoft, les collaborations basées sur les données avec la police et l’intérêt pour les données de santé et la détection des émotions.

La déclaration des droits de l’IA – qui s’applique à des technologies telles que la reconnaissance faciale et vocale sur les assistants à domicile, les résultats des moteurs de recherche, la publicité en ligne ciblée, les logiciels anti-triche pour les étudiants et les outils automatisés de souscription de prêts – a un ensemble de principes directeurs pour l’utilisation cette technologie.

Les principaux objectifs du projet de loi sont de garantir le droit des individus de savoir quand des systèmes automatisés sont utilisés, de parler à un être humain, d’accepter ou de refuser, d’avoir le contrôle de leurs données et d’être protégés contre la discrimination réelle de ces systèmes. .

Les commentaires de 130 personnes interrogées, qui ont été publiés mardi, montrent une nette division.

Des organisations de défense des droits civils telles que l’American Civil Liberties Union, la National Association for the Advancement of Coloured People et l’Electronic Frontier Foundation ont fait part de leurs inquiétudes concernant la collecte de données par les entreprises, l’utilisation opaque de ces données et le potentiel de préjudice.

Pendant ce temps, des entreprises comme Google, Microsoft et Palantir, et des entreprises de reconnaissance faciale comme Clearview AI et CLEAR, ont déclaré à la Maison Blanche qu’elles appréciaient l’utilisation responsable de l’IA et qu’elles fonctionnaient déjà de manière éthique. (Plusieurs grandes entreprises, dont Apple et Amazon, n’ont pas soumis de réponses.)

Microsoft a déclaré dans ses commentaires que depuis 2018, il s’est efforcé de mieux comprendre les implications sociales des logiciels de reconnaissance faciale, de se prémunir contre certains risques et d’adopter des politiques internes telles que ses principes de reconnaissance faciale et sa norme d’IA responsable. De même, son outil de reconnaissance faciale Face API a une note de transparence qui mentionne « l’importance de garder un humain au courant des déploiements » de la reconnaissance faciale.

Il a également réitéré sa position de 2020 de ne pas vendre la reconnaissance faciale aux services de police américains « jusqu’à ce qu’une loi forte, fondée sur les droits de l’homme, soit promulguée ».

Pourtant, des groupes de défense des droits civiques et des chercheurs ont exprimé leurs inquiétudes concernant la technologie de détection des émotions de Microsoft et la manière dont la police peut utiliser ses systèmes de reconnaissance faciale. Microsoft n’a pas répondu à la demande de commentaire d’Insider.

Utilisation par la police des données de reconnaissance faciale

Brooklyn Defender Services a attiré l’attention sur le Domain Awareness System du NYPD, un programme créé par Microsoft et le NYPD qui regroupe la vidéosurveillance, les profils des détenus et d’autres données.

Plus de 10 organisations, dont l’ACLU et la National Fair Housing Alliance, ont également souligné Gender Shades, un projet de recherche Microsoft de 2018 qui a analysé différents systèmes de reconnaissance faciale pour en vérifier la précision en fonction de la race et du sexe. L’étude a révélé que la reconnaissance faciale de Microsoft avait des taux d’erreur plus élevés chez les femmes à la peau plus foncée que chez les hommes à la peau plus claire.

Ces groupes affirment que cette étude prouve le risque que la reconnaissance faciale puisse créer des résultats très disparates sur la base de la race et du sexe, entraînant éventuellement des violations des libertés civiles, de la violence ou de la discrimination.

Une grande coalition qui comprenait le Comité des avocats pour les droits civils en vertu de la loi et la faculté de droit de la NYU a noté que Microsoft n’a cessé de vendre la technologie de reconnaissance faciale aux services de police qu’en 2020 « après un contrecoup public » au milieu du mouvement Black Lives Matter.

Danger de la détection des émotions et des données biométriques

Plusieurs groupes ont exprimé leur inquiétude quant à l’intérêt de Microsoft pour la détection des émotions et la technologie biométrique.

Le NAACP Legal Defence & Educational Fund a déclaré que l’intérêt de Microsoft pour les outils de détection des émotions pourrait signifier des risques spécifiques pour les Noirs. L’API Face de Microsoft, selon les recherches de 2018 citées par le groupe, a confondu la colère avec le mépris dans une collection de photos de joueurs de basket-ball. Cela « joue avec les moyens de subsistance, la sécurité et la sûreté de communautés entières », a fait valoir la NAACP.

Coworker.org s’est dit préoccupé par un brevet reçu en 2020 par Microsoft pour avoir utilisé « des données audio et visuelles de travailleurs lors de réunions » pour évaluer si les travailleurs semblaient « préoccupés, ambivalents, semblaient distraits, ennuyés, etc. »

 » recommandations de bien-être. » Le Center on Privacy and Technology de Georgetown Law affirme que l’outil a un impact particulier sur les travailleurs à bas salaire.