PITTSBURGH (AP) – Le ministère de la Justice a examiné un outil d’intelligence artificielle controversé utilisé par une agence de services de protection de l’enfance de la région de Pittsburgh, craignant qu’il n’entraîne une discrimination à l’égard des familles handicapées, a appris l’Associated Press.
L’intérêt des avocats fédéraux des droits civils survient après une enquête de l’AP a révélé des problèmes potentiels de biais et de transparence concernant l’algorithme opaque conçu pour évaluer le niveau de risque d’une famille lorsqu’elle est signalée pour des problèmes de protection de l’enfance dans le comté d’Allegheny.
Plusieurs plaintes relatives aux droits civiques ont été déposées à l’automne concernant l’outil de dépistage familial Allegheny, qui est utilisé pour aider les travailleurs sociaux à décider sur quelles familles enquêter, a appris AP.
Deux sources ont déclaré que les avocats de la division des droits civils du ministère de la Justice ont cité l’enquête de l’AP lorsqu’ils les ont exhortés à déposer des plaintes officielles détaillant leurs préoccupations quant à la façon dont l’algorithme pourrait renforcer les préjugés contre les personnes handicapées, y compris les familles ayant des problèmes de santé mentale.
Une troisième personne a déclaré à AP que le même groupe d’avocats fédéraux des droits civiques s’était également entretenu avec eux en novembre dans le cadre d’une large conversation sur la façon dont les outils algorithmiques pourraient potentiellement exacerber les disparités, y compris pour les personnes handicapées. Cette conversation a exploré la conception et la construction de l’algorithme influent d’Allegheny, bien que toute l’étendue de l’intérêt du ministère de la Justice soit inconnue.
Les trois sources ont parlé à AP sous couvert d’anonymat, affirmant que le ministère de la Justice leur avait demandé de ne pas discuter des conversations confidentielles, et deux ont déclaré qu’elles craignaient également des représailles professionnelles.
Wyn Hornbuckle, porte-parole du ministère de la Justice, a refusé de commenter.
Les algorithmes utilisent des pools d’informations pour transformer les points de données en prédictions, que ce soit pour les achats en ligne, l’identification des points chauds de la criminalité ou l’embauche de travailleurs. De nombreuses agences de protection de l’enfance aux États-Unis envisagent d’adopter de tels outils dans le cadre de leur travail avec les enfants et les familles.
Bien qu’il y ait eu un large débat sur les conséquences morales de l’utilisation de l’intelligence artificielle dans les services de protection de l’enfance, l’intérêt du ministère de la Justice pour l’algorithme pionnier d’Allegheny marque un virage significatif vers d’éventuelles implications juridiques.
Les partisans voient les algorithmes comme un moyen prometteur de rendre un système de services de protection de l’enfance tendu à la fois plus complet et plus efficace, affirmant que les responsables de la protection de l’enfance devraient utiliser tous les outils à leur disposition pour s’assurer que les enfants ne sont pas maltraités. Mais les critiques craignent que l’inclusion de points de données collectés en grande partie auprès de personnes pauvres puisse automatiser la discrimination contre les familles en fonction de la race, du revenu, des handicaps ou d’autres caractéristiques externes.
Robin Frank, avocate chevronnée en droit de la famille à Pittsburgh et critique virulente de l’algorithme d’Allegheny, a déclaré qu’elle avait également déposé une plainte auprès du ministère de la Justice en octobre au nom d’un client ayant une déficience intellectuelle qui se bat pour récupérer sa fille de famille d’accueil. . L’AP a obtenu une copie de la plainte, qui a soulevé des inquiétudes quant à la façon dont l’outil de dépistage familial Allegheny évalue le risque d’une famille.
« Je pense qu’il est important que les gens sachent quels sont leurs droits et dans la mesure où nous n’avons pas beaucoup d’informations alors qu’il y a apparemment des questions valables sur l’algorithme, il est important d’avoir une certaine surveillance », a déclaré Frank.
Mark Bertolet, porte-parole du département des services sociaux du comté d’Allegheny, a déclaré par e-mail que l’agence n’avait pas eu de nouvelles du ministère de la Justice et avait refusé les demandes d’entretien.
« Nous n’avons connaissance d’aucune inquiétude concernant l’inclusion de ces variables dans l’évaluation antérieure des groupes de recherche ou les commentaires de la communauté sur (l’outil de dépistage familial d’Allegheny) », a déclaré le comté, décrivant les études précédentes et la sensibilisation concernant l’outil.
Le comté d’Allegheny a déclaré que son algorithme a utilisé des points de données liés aux handicaps chez les enfants, les parents et d’autres membres des ménages locaux, car ils peuvent aider à prédire le risque qu’un enfant soit retiré de son domicile après un rapport de maltraitance. Le comté a ajouté qu’il avait mis à jour son algorithme à plusieurs reprises et avait parfois supprimé des points de données liés aux handicaps.
L’outil de dépistage familial d’Allegheny a été spécialement conçu pour prédire le risque qu’un enfant soit placé en famille d’accueil dans les deux ans suivant l’enquête sur la famille. Il a utilisé une mine de données personnelles détaillées recueillies à partir des antécédents de protection de l’enfance, ainsi que des dossiers de naissance, de Medicaid, de toxicomanie, de santé mentale, de prison et de probation, entre autres ensembles de données gouvernementales. Lorsque l’algorithme calcule un score de risque de 1 à 20, plus le nombre est élevé, plus le risque est grand. Le score de risque seul ne détermine pas ce qui se passe dans le cas.
L’AP a révélé pour la première fois des préjugés raciaux et des problèmes de transparence dans une histoire en avril dernier qui portait sur l’outil Allegheny et sur la façon dont ses calculs statistiques aidaient les travailleurs sociaux à décider quelles familles devraient faire l’objet d’une enquête pour négligence – un terme nuancé qui peut tout inclure, du logement inadéquat au manque d’hygiène. , mais il s’agit d’une catégorie différente des abus physiques ou sexuels, qui fait l’objet d’une enquête distincte en Pennsylvanie et n’est pas soumise à l’algorithme.
Une enquête sur la protection de l’enfance peut permettre aux familles vulnérables de recevoir plus de soutien et de services, mais elle peut également entraîner le retrait des enfants pour les placer en famille d’accueil et, en fin de compte, la résiliation des droits parentaux.
Le comté a dit que les travailleurs de la ligne d’assistance déterminent ce qui se passe avec le cas d’une famille et peuvent toujours passer outre les recommandations de l’outil. Il a également souligné que l’outil n’est appliqué qu’au début de l’implication potentielle d’une famille dans le processus de protection de l’enfance. Un autre travailleur social qui mène plus tard les enquêtes, ainsi que les familles et leurs avocats, ne sont pas autorisés à connaître les scores.
L’algorithme d’Allegheny, utilisé depuis 2016, s’est parfois inspiré de données liées au revenu de sécurité supplémentaire, un programme de l’administration de la sécurité sociale qui fournit des paiements mensuels aux adultes et aux enfants handicapés ; ainsi que des diagnostics de troubles mentaux, comportementaux et neurodéveloppementaux, y compris la schizophrénie ou les troubles de l’humeur, a constaté AP.
Le comté a déclaré que lorsque les données sur les handicaps sont incluses, elles « sont prédictives des résultats » et « il ne faut pas s’étonner que les parents handicapés… puissent également avoir besoin de soutiens et de services supplémentaires ». Le comté a ajouté qu’il existe d’autres programmes d’évaluation des risques qui utilisent des données sur la santé mentale et d’autres conditions qui peuvent affecter la capacité d’un parent à s’occuper d’un enfant.
L’AP a obtenu des enregistrements montrant des centaines de variables spécifiques qui sont utilisées pour calculer les scores de risque pour les familles qui sont signalées aux services de protection de l’enfance, y compris les données publiques qui alimentent l’algorithme Allegheny et des outils similaires déployés dans les systèmes de protection de l’enfance ailleurs aux États-Unis.
L’analyse par l’AP de l’algorithme d’Allegheny et de ceux qui s’en inspirent dans le comté de Los Angeles, en Californie, dans le comté de Douglas, au Colorado et dans l’Oregon, révèle une série de points de données controversés qui ont mesuré les personnes à faible revenu et d’autres groupes démographiques défavorisés, mesurant parfois les familles sur la race, le code postal, les handicaps et leur utilisation des prestations sociales.
Depuis la publication de l’enquête de l’AP, l’Oregon a abandonné son algorithme en raison de problèmes d’équité raciale et le Bureau de la politique scientifique et technologique de la Maison Blanche a souligné que les parents et les travailleurs sociaux avaient besoin de plus de transparence sur la façon dont les agences gouvernementales déployaient des algorithmes dans le cadre de la première «Déclaration des droits de l’IA» du pays.
Le ministère de la Justice a montré un large intérêt pour les enquêtes sur les algorithmes ces dernières années, a déclaré Christy Lopez, professeur de droit à l’Université de Georgetown qui a précédemment dirigé certains des litiges et enquêtes de la division des droits civils du ministère de la Justice.
Dans un discours liminaire il y a environ un an, la procureure générale adjointe Kristen Clarke a averti que les technologies de l’IA avaient «de graves implications pour les droits des personnes handicapées», et sa division a plus récemment publié des directives aux employeurs disant que l’utilisation d’outils d’IA dans l’embauche pourrait violer les Américains avec Loi sur les personnes handicapées.
« Ils font leur travail d’enquêteurs sur les droits civiques pour aller au fond de ce qui se passe », a déclaré Lopez à propos de l’examen minutieux de l’outil d’Allegheny par le ministère de la Justice. « Il me semble que c’est une priorité pour la division, enquêter sur la mesure dans laquelle les algorithmes perpétuent des pratiques discriminatoires. »
Traci LaLiberte, spécialiste de la protection de l’enfance et des handicaps à l’Université du Minnesota, a déclaré que l’enquête du ministère de la Justice l’avait marquée, car les autorités fédérales s’en sont largement remises aux agences locales de protection de l’enfance.
« Le ministère de la Justice est assez loin de la protection de l’enfance », a déclaré LaLiberte. « Il faut vraiment atteindre un niveau de préoccupation assez important pour consacrer du temps et s’impliquer. »
Emily Putnam-Hornstein et Rhema Vaithianathan, les deux développeurs de l’algorithme d’Allegheny et d’autres outils similaires, se sont reportées aux réponses du comté d’Allegheny sur le fonctionnement interne de l’algorithme. Ils ont déclaré dans un e-mail qu’ils n’étaient au courant d’aucun examen minutieux du ministère de la Justice concernant l’algorithme.
Les chercheurs et les membres de la communauté craignent depuis longtemps que certaines des données alimentant les algorithmes de protection de l’enfance ne renforcent les préjugés historiques contre les personnes marginalisées au sein des services de protection de l’enfance. Cela inclut les parents handicapés, une communauté qui est une classe protégée en vertu de la loi fédérale sur les droits civils.
L’Americans with Disabilities Act interdit la discrimination fondée sur le handicap, qui peut inclure un large éventail de conditions, du diabète, du cancer et de la perte auditive aux déficiences intellectuelles et aux diagnostics de santé mentale et comportementale comme le TDAH, la dépression et la schizophrénie.
LaLiberte a publié des recherches détaillant comment les parents handicapés sont touchés de manière disproportionnée par le système de protection de l’enfance. Elle a contesté l’idée d’utiliser des points de données liés aux handicaps dans tout algorithme car, a-t-elle dit, cela évalue les caractéristiques que les gens ne peuvent pas changer, plutôt que leur comportement.
« Si cela ne fait pas partie du comportement, alors l’avoir dans (l’algorithme) le biaise », a déclaré LaLiberte.
___
Burke a rapporté de San Francisco.
____
Suivez Sally Ho et Garance Burke sur Twitter à @_sallyho et @garanceburke. Contactez l’équipe d’enquête mondiale d’AP à [email protected] ou https://www.ap.org/tips/