De nouveaux systèmes d’IA tels que ChatGPT, le moteur de recherche Microsoft Bing remanié et le GPT-4, qui devrait bientôt arriver, ont complètement captivé l’imagination du public. ChatGPT est l’application en ligne qui connaît la croissance la plus rapide, et ce n’est pas étonnant. Tapez du texte et au lieu de récupérer des liens Web, vous obtenez des réponses conversationnelles bien formées sur le sujet que vous avez sélectionné – une vision indéniablement séduisante.
Mais le public et les géants de la technologie ne sont pas les seuls à être fascinés par la technologie axée sur les mégadonnées connue sous le nom de grand modèle de langage. Les mauvais acteurs ont également pris note de la technologie. À l’extrême, il y a Andrew Torba, le PDG du réseau social d’extrême droite Gab, qui a récemment déclaré que son entreprise développait activement des outils d’IA pour « soutenir une vision chrétienne du monde » et combattre « les outils de censure du régime ». Mais même les utilisateurs qui ne sont pas motivés par une idéologie auront leur impact. Clarkesworldun éditeur de nouvelles de science-fiction, a temporairement cessé de recevoir des soumissions le mois dernier, car il était spammé par des histoires générées par l’IA – le résultat d’influenceurs faisant la promotion de façons d’utiliser la technologie pour « devenir riche rapidement », a déclaré le rédacteur en chef du magazine. Le gardien.
C’est un moment d’immense péril : les entreprises technologiques se précipitent pour déployer de nouveaux produits d’IA à la mode, même après que les problèmes avec ces produits ont été bien documentés pendant des années et des années. Je suis un scientifique cognitif concentré sur l’application de ce que j’ai appris sur l’esprit humain à l’étude de l’intelligence artificielle. En 2001, j’ai écrit un livre intitulé L’esprit algébrique dans lequel j’ai ensuite détaillé comment les réseaux de neurones, une sorte de technologie vaguement cérébrale qui sous-tend certains produits d’IA, avaient tendance à trop généraliser, en appliquant des caractéristiques individuelles à des groupes plus larges. Si j’avais dit à une IA à l’époque que ma tante Esther avait gagné à la loterie, elle aurait pu en conclure que toutes les tantes, ou toutes les Esthers, avaient également gagné à la loterie.
Par Gary F. Marcus
La technologie a beaucoup avancé depuis, mais le problème général persiste. En fait, l’intégration de la technologie et l’ampleur des données sur lesquelles elle s’appuie ont aggravé la situation à bien des égards. Oubliez tante Esther : en novembre, Galactica, un grand modèle de langage publié par Meta – et rapidement mis hors ligne – aurait été revendiqué qu’Elon Musk était mort dans un accident de voiture Tesla en 2018. Une fois de plus, l’IA semble avoir généralisé à l’excès un concept qui était vrai au niveau individuel (quelqu’un est décédé dans un accident de voiture Tesla en 2018) et l’a appliqué par erreur à une autre personne qui partage certains attributs personnels, tels que le sexe, l’état de résidence à l’époque et un lien avec le constructeur automobile.
Ce genre d’erreur, connue sous le nom d’« hallucination », est endémique. Quelle que soit la raison pour laquelle l’IA a commis cette erreur particulière, c’est une démonstration claire de la capacité de ces systèmes à écrire une prose fluide qui est clairement en contradiction avec la réalité. Vous n’avez pas à imaginer ce qui se passe lorsque de telles associations erronées et problématiques sont établies dans des contextes réels : Meredith Broussard de NYU et Safiya Noble de UCLA font partie des chercheurs qui ont montré à plusieurs reprises comment différents types d’IA reproduisent et renforcent les préjugés raciaux dans un éventail de situations réelles, y compris les soins de santé. Il a été démontré que de grands modèles de langage comme ChatGPT présentent des biais similaires dans certains cas.
Néanmoins, les entreprises continuent de développer et de publier de nouveaux systèmes d’IA sans grande transparence et, dans de nombreux cas, sans vérification suffisante. Les chercheurs fouillant ces nouveaux modèles ont découvert toutes sortes de choses troublantes. Avant que Galactica ne soit retiré, le journaliste Tristan Green a découvert qu’il pouvait être utilisé pour créer des articles détaillés de style scientifique sur des sujets tels que les avantages de l’antisémitisme et la consommation de verre pilé, avec des références à des études fabriquées. D’autres ont constaté que le programme générait des réponses racistes et inexactes. (Yann LeCun, scientifique en chef de l’IA chez Meta, a argumenté que Galactica ne faciliterait pas la propagation en ligne de la désinformation qu’elle ne l’est déjà ; un porte-parole de Meta a déclaré à CNET en novembre : « Galactica n’est pas une source de vérité, c’est une expérience de recherche utilisant [machine learning] systèmes pour apprendre et résumer les informations. »)
Plus récemment, le professeur Wharton Ethan Mollick a réussi à faire écrire au nouveau Bing cinq paragraphes détaillés et totalement faux sur la « civilisation avancée » des dinosaures, remplis de morceaux faisant autorité, notamment « Par exemple, certains chercheurs ont affirmé que les pyramides d’Égypte, les lignes de Nazca au Pérou, et les statues de l’île de Pâques au Chili ont en fait été construites par des dinosaures, ou par leurs descendants ou alliés. Pas plus tard que ce week-end, Dileep George, chercheur en intelligence artificielle chez DeepMind, a déclaré qu’il avait réussi à amener Bing à créer un paragraphe de faux texte déclarant qu’OpenAI et un GPT-5 inexistant ont joué un rôle dans l’effondrement de la Silicon Valley Bank. Microsoft n’a pas immédiatement répondu aux questions sur ces réponses lorsqu’il a été contacté pour commenter ; le mois dernier, un porte-parole de la société a déclaré: « Étant donné qu’il s’agit d’un aperçu précoce, [the new Bing] peut parfois montrer des réponses inattendues ou inexactes… nous ajustons ses réponses pour créer des réponses cohérentes, pertinentes et positives.
Certains observateurs, comme LeCun, disent que ces exemples isolés ne sont ni surprenants ni inquiétants : Donnez à une machine une mauvaise entrée et vous recevrez une mauvaise sortie. Mais l’exemple de l’accident de voiture d’Elon Musk montre clairement que ces systèmes peuvent créer des hallucinations qui n’apparaissent nulle part dans les données d’entraînement. De plus, l’ampleur potentielle de ce problème est préoccupante. Nous ne pouvons que commencer à imaginer ce que pourraient accomplir des fermes de trolls parrainées par l’État, dotées de gros budgets et de grands modèles de langage personnalisés. Les acteurs malveillants pourraient facilement utiliser ces outils, ou des outils similaires, pour générer des informations erronées nuisibles, à une échelle sans précédent et énorme. En 2020, Renée DiResta, directrice de recherche de l’Observatoire Internet de Stanford, a averti que « l’offre de désinformation sera bientôt infinie ». Ce moment est arrivé.
Chaque jour nous rapproche un peu plus d’une sorte de catastrophe de la sphère de l’information, dans laquelle de mauvais acteurs militarisent de grands modèles de langage, distribuant leurs gains mal acquis à travers des armées de bots toujours plus sophistiqués. GPT-3 produit des sorties plus plausibles que GPT-2, et GPT-4 sera plus puissant que GPT-3. Et aucun des systèmes automatisés conçus pour distinguer le texte généré par l’homme du texte généré par la machine ne s’est avéré particulièrement efficace.
Nous sommes déjà confrontés à un problème de chambres d’écho qui polarisent nos esprits. La production automatisée à grande échelle de désinformation contribuera à la militarisation de ces chambres d’écho et nous conduira probablement encore plus loin dans les extrêmes. L’objectif du modèle russe « Firehose of Falsehood » est de créer une atmosphère de méfiance, permettant aux autoritaires d’intervenir ; c’est dans ce sens que le stratège politique Steve Bannon visait, sous l’administration Trump, à « inonder la zone de merde ». Il est urgent que nous découvrions comment la démocratie peut être préservée dans un monde où la désinformation peut être créée si rapidement et à une telle échelle.
Une suggestion, qui mérite d’être explorée mais probablement insuffisante, consiste à « filigraner » ou à suivre autrement le contenu produit par de grands modèles de langage. OpenAI pourrait par exemple filigraner tout ce qui est généré par GPT-4, la version de nouvelle génération de la technologie qui alimente ChatGPT ; le problème est que les mauvais acteurs pourraient simplement utiliser d’autres grands modèles de langage pour créer ce qu’ils veulent, sans filigrane.
Une deuxième approche consiste à pénaliser la désinformation lorsqu’elle est produite à grande échelle. Actuellement, la plupart des gens sont libres de mentir la plupart du temps sans conséquence, à moins qu’ils ne parlent, par exemple, sous serment. Les fondateurs de l’Amérique n’avaient tout simplement pas imaginé un monde dans lequel quelqu’un pourrait créer une ferme de trolls et diffuser un milliard de mensonges en une seule journée, diffusés avec une armée de bots, sur Internet. Nous pourrions avoir besoin de nouvelles lois pour faire face à de tels scénarios.
Une troisième approche serait de construire une nouvelle forme d’IA qui puisse détecter désinformation, plutôt que de simplement en générer. Les grands modèles de langage ne sont pas intrinsèquement bien adaptés à cela; ils perdent la trace des sources d’information qu’ils utilisent et n’ont pas les moyens de valider directement ce qu’ils disent. Même dans un système comme celui de Bing, où les informations proviennent du Web, des faussetés peuvent émerger une fois que les données sont transmises à la machine. Validation la sortie de grands modèles de langage nécessitera de développer de nouvelles approches de l’IA qui centrent le raisonnement et la connaissance, des idées qui étaient autrefois populaires mais qui sont actuellement démodées.
Ce sera une course aux armements en mouvement et en contre-mouvement à partir d’ici; tout comme les spammeurs changent de tactique lorsque les anti-spammeurs changent les leurs, nous pouvons nous attendre à une bataille constante entre les mauvais acteurs s’efforçant d’utiliser de grands modèles de langage pour produire des quantités massives de désinformation et les gouvernements et les entreprises privées essayant de riposter. Si nous ne commençons pas à nous battre maintenant, la démocratie pourrait bien être submergée par la désinformation et la polarisation qui en résulterait, et peut-être bientôt. Les élections de 2024 pourraient être différentes de tout ce que nous avons vu auparavant.
Lorsque vous achetez un livre en utilisant un lien sur cette page, nous recevons une commission. Merci de votre soutient L’Atlantique.