Molly Russell a été piégée par les algorithmes cruels de Pinterest et Instagram

UNAlors que l’enquête sur la mort de Molly Russell s’achevait vendredi, ce qui clignotait comme une enseigne au néon défectueuse dans l’esprit était une question rhétorique posée par Alexander Pope en 1735 : « Qui casse un papillon sur une roue ? » Pour Pope, il s’agissait d’une référence au « casser sur la roue », une forme médiévale de torture dans laquelle les victimes se faisaient briser les os longs par une barre de fer alors qu’elles étaient attachées à une roue Catherine, du nom de Sainte Catherine qui a été exécutée de cette manière.

Pour les personnes présentes à l’enquête, la signification de la métaphore devait être sans équivoque, car elles écoutaient le récit de la façon dont une jeune fille innocente et déprimée de 14 ans a été brisée par une roue Catherine contemporaine et sans remords – les moteurs de recommandation alimentés par l’IA de deux sociétés de médias sociaux, Instagram et Pinterest.

Ceux-ci l’ont aspirée dans un vortex, comme l’a dit le coroner, « d’images, de clips vidéo et de textes concernant ou concernant l’automutilation, le suicide ou qui étaient autrement de nature négative ou déprimante… dont certains ont été sélectionnés et fournis sans Molly les demande ». Certains de ces contenus ont idéalisé les actes d’automutilation des jeunes sur eux-mêmes, tandis que « d’autres contenus ont cherché à isoler et à décourager la discussion avec ceux qui auraient pu aider ». Son verdict était ne pas suicide mais que « Molly Rose Russell est morte d’un acte d’automutilation alors qu’elle souffrait de dépression et des effets négatifs du contenu en ligne ».

Cette enquête avait une signification plus large que celle d’une reconnaissance tardive – Molly est décédée en novembre 2017 – d’une injustice déchirante. En premier lieu, le verdict du coroner était une première mondiale, en ce sens qu’il associait explicitement les moteurs de recommandation des médias sociaux à un facteur causal d’un décès. Deuxièmement, son enquête a ouvert une nouvelle voie procédurale en obligeant les représentants des deux sociétés américaines impliquées (Meta, propriétaire d’Instagram, et Pinterest) à témoigner en personne sous serment. Bien sûr, les deux qui ont fait le voyage transatlantique – Elizabeth Lagone de Meta et Jud Hoffman de Pinterest – n’étaient essentiellement que des singes représentant leurs orgue-broyeurs respectifs dans la Silicon Valley ; mais quand même, ils étaient là à Londres, frappant sur un guichet très collant.

Troisièmement, les horribles preuves des choses auxquelles Molly avait été exposée ont été présentées dans le cadre d’une procédure judiciaire ouverte. Et cela a été horrible – à tel point qu’un pédopsychiatre qui a témoigné a déclaré que lui-même avait trouvé cela dérangeant et bouleversant. Après, il a dit : « Il y a eu des périodes où je n’ai pas pu bien dormir pendant quelques semaines, donc en gardant à l’esprit que l’enfant a vu cela sur une période de plusieurs mois, je peux seulement dire qu’elle était [affected] – surtout en gardant à l’esprit qu’elle était une adolescente déprimée de 14 ans.

Le contre-interrogatoire des deux représentants de l’entreprise est également révélateur. Le gars de Pinterest a cédé tôt. L’avocat de la famille Russell (Oliver Sanders KC) lui a expliqué les 100 derniers messages que Molly avait vus avant de mourir. Hoffman a exprimé son « profond regret d’avoir pu accéder à une partie du contenu qui a été montré ». Il a admis que les e-mails de recommandation envoyés par Pinterest à l’adolescent, tels que « 10 épingles de dépression que vous pourriez aimer », contenaient « le type de contenu avec lequel nous n’aimerions pas que quelqu’un passe beaucoup de temps », et que certaines des images on lui avait montré celles qu’il ne montrerait pas à ses propres enfants. Comme on pouvait s’y attendre, le représentant de Meta était un écrou plus difficile à casser. Après que des preuves aient été fournies que sur les 16 300 messages que Molly a enregistrés, partagés ou aimés sur Instagram au cours des six mois précédant sa mort, 2 100 étaient liés à la dépression, à l’automutilation ou au suicide, Sanders lui a demandé: «Êtes-vous d’accord avec nous que ce type de matériel n’est pas sans danger pour les enfants ? »

Lagone a répondu que des politiques étaient en place pour tous les utilisateurs et a décrit les publications considérées par le tribunal comme un « appel à l’aide ».

« Pensez-vous que ce type de matériel est sans danger pour les enfants ? » Sanders a continué.

« Je pense qu’il est sûr que les gens puissent s’exprimer », a-t-elle répondu. Après que Sanders ait de nouveau posé la même question, Lagone a déclaré: « Respectueusement, je ne trouve pas que c’est une question binaire. »

Ici, le coroner est intervenu et a demandé: « Alors vous dites oui, c’est sûr ou non, ce n’est pas sûr? »

« Oui, c’est sûr », a répondu Lagone.

D’une certaine manière, c’était un moment de « gotcha », mettant à nu la réalité qu’aucun dirigeant de Meta ne peut admettre en public ce que l’entreprise sait en privé (comme l’a révélé la lanceuse d’alerte Frances Haugen), à savoir que son moteur de recommandation peut avoir des effets toxiques, et en Le cas de Molly Russell, effets potentiellement mortels.

Tout revient, en fin de compte, au modèle économique des entreprises comme Instagram. Ils prospèrent et monétisent l’engagement des utilisateurs – combien d’attention est recueillie par chaque élément de contenu, à quel point il est partagé, combien de temps il est visualisé, etc. Le moteur de recommandation est programmé pour surveiller ce que chaque utilisateur aime et suggérer d’autres contenus susceptibles de lui plaire. Donc, si vous êtes déprimé et que vous avez des pensées suicidaires, la machine vous en donnera de plus en plus.

Après la mort de Molly, sa famille a découvert qu’elle envoyait toujours ces choses sur son compte. La roue a continué à tourner, même après l’avoir brisée.

John Naughton préside le conseil consultatif du Minderoo Center for Technology and Democracy de l’Université de Cambridge

• Avez-vous une opinion sur les questions soulevées dans cet article? Si vous souhaitez soumettre une lettre de 250 mots maximum pour être considérée pour publication, envoyez-la nous par e-mail à [email protected]