Panel : Le Connecticut a besoin de garanties pour les algorithmes des agences

HARTFORD, Conn. (AP) – Le Connecticut a besoin de garanties sur l’utilisation de l’intelligence artificielle par le gouvernement de l’État, y compris des algorithmes de protection de l’enfance et d’autres agences pour prévenir la discrimination et accroître la transparence, a déclaré jeudi un groupe consultatif de la Commission américaine des droits civils.

Le comité consultatif du Connecticut auprès de la commission fédérale a appelé les législateurs des États à adopter des lois réglementant ces systèmes, ce qui a suscité des inquiétudes dans d’autres parties du pays.

Le problème, selon les critiques, est que les algorithmes peuvent utiliser des données erronées qui peuvent identifier de manière disproportionnée les minorités, les familles à faible revenu, les personnes handicapées et d’autres groupes lorsque les agences prennent des décisions sur le retrait des enfants des maisons, l’approbation de la santé, du logement et d’autres avantages, où concentrer la loi l’application de la loi et l’affectation des enfants à l’école, entre autres utilisations.

« L’État du Connecticut prend chaque jour des milliers de décisions qui ont un impact sur la vie et les droits civils des résidents », a déclaré David McGuire, président du comité consultatif du Connecticut. « Lorsque l’État utilise un algorithme, les résidents doivent savoir quelle agence utilise l’algorithme, la raison pour laquelle il est utilisé et l’assurance que l’algorithme est équitable. »

Le comité n’a identifié aucun cas spécifique de discrimination et de partialité dans l’utilisation des algorithmes par le Connecticut, mais a déclaré qu’il publierait un rapport plus complet dans les prochains mois. Le panel a également souligné une étude selon laquelle certaines agences du Connecticut n’ont pas publié d’informations complètes sur leur utilisation des algorithmes lorsqu’on leur a demandé en vertu des lois sur les archives publiques.

Les inquiétudes suscitées par une telle utilisation de l’intelligence artificielle, ou IA, ont conduit l’administration Biden en octobre à publier son Plan directeur pour une déclaration des droits de l’IA exhortant le gouvernement à agir pour protéger les droits numériques et civils. Plusieurs États ont adopté leurs propres lois sur l’IA.

Une enquête de l’Associated Press l’année dernière a révélé des problèmes de partialité et de transparence dans l’utilisation croissante d’algorithmes au sein du système de protection de l’enfance du pays.

McGuire a déclaré que l’examen de la question par le panel du Connecticut est le premier de la Commission américaine des droits civils ou de l’un de ses 56 comités consultatifs. La commission a été créée par la loi sur les droits civils de 1957 en tant qu’agence d’enquête fédérale bipartite indépendante.

Les partisans de l’utilisation d’algorithmes affirment qu’ils rendent les systèmes gouvernementaux plus complets et plus efficaces grâce à l’utilisation des données.

Le comité consultatif du Connecticut exhorte les législateurs des États à adopter des lois qui exigeraient des audits indépendants des algorithmes, y compris des évaluations des biais potentiels, et à imposer en vertu des lois sur les archives de l’État que les informations sur l’utilisation des algorithmes par les agences soient accessibles au public.

Le bureau du gouverneur démocrate Ned Lamont n’a pas immédiatement répondu à une demande de commentaire. Les démocrates contrôlent les deux chambres de l’Assemblée générale.

Il y aura un projet de loi sur la confidentialité des données lors de la session législative de cette année traitant de l’utilisation des algorithmes par le gouvernement, a déclaré le sénateur James Maroney, démocrate de Milford et coprésident du Comité des lois générales.

« Les algorithmes peuvent avoir un impact négatif sur nous tous », a-t-il déclaré. « Il existe différents cas de conséquences imprévues, qu’il s’agisse parfois de discrimination à l’embauche. Il peut être discriminatoire en fonction de l’âge. Nous avons vu d’autres exemples de discrimination fondée sur le fait qu’ils sont essentiellement pauvres. … Et puis il y a aussi malheureusement des disparités raciales dans certaines des décisions prises lors de l’utilisation de processus décisionnels automatisés.»

Le chef républicain du Sénat Kevin Kelly et le chef républicain de la Chambre Vincent Candelora ont salué un examen de la façon dont l’État utilise les algorithmes.

« Les gens pourraient être surpris de réaliser que ce ne sont pas des êtres humains derrière un bureau qui prennent certaines de ces décisions, mais cela pourrait être généré par ordinateur », a déclaré Candelora. « Nous devons savoir ce qui se passe dans ces programmes qui prennent ces décisions, car je pense que cela a un impact sur la politique. »

Le comité consultatif du Connecticut a souligné un rapport de la Yale Law School publié l’année dernière qui a déclaré que certaines agences du Connecticut n’avaient pas publié d’informations complètes sur leur utilisation d’algorithmes en réponse à ses demandes en vertu de la loi sur la liberté d’information de l’État.

« Les réponses aux demandes d’accès à l’information (FOI) ont confirmé à la fois que les exigences de divulgation existantes sont insuffisantes pour permettre une surveillance publique significative de l’utilisation des algorithmes, et que les agences n’évaluent pas de manière adéquate l’efficacité et la fiabilité des algorithmes », indique le rapport.

« Les réponses de la FOIA ont généralement révélé que les agences ne sont pas suffisamment conscientes des problèmes potentiels posés par leurs algorithmes et ne se soucient pas du manque de transparence », a-t-il déclaré.

La faculté de droit a déclaré avoir demandé des informations sur les algorithmes aux départements d’État des enfants et des familles, de l’éducation et des services administratifs.

Le ministère de l’Enfance et de la Famille a fourni la seule réponse complète de la FOIA à la faculté de droit sur l’utilisation d’algorithmes pour identifier les enfants à risque, a déclaré la faculté de droit. L’agence a divulgué des informations de base mais pas son code source, que l’agence a déclaré ne pas avoir et a affirmé être protégé en tant que secret commercial, a déclaré la faculté de droit.

Le département de l’éducation n’a produit que des informations partielles sur un algorithme qu’il utilise pour affecter les élèves aux écoles, tandis que le département des services administratifs n’a fourni aucune information sur un algorithme utilisé pour embaucher des employés et des sous-traitants de l’État, selon la faculté de droit.

Un porte-parole du ministère de l’Enfance et de la Famille a déclaré que l’agence avait été interrogée en 2021 sur un algorithme qu’elle avait cessé d’utiliser en 2019 en raison d’un manque de personnel. L’algorithme n’était pas destiné à protéger les enfants ou à empêcher une intervention inappropriée de l’agence, selon le DCF.

Le ministère des Services administratifs a déclaré qu’il travaillait sur une réponse, et les responsables du ministère de l’Éducation n’ont pas immédiatement renvoyé de message.