So le modèle de traitement du langage ChatGPT a éclaté sur un monde étonné et l’air a été déchiré par des cris de joie et des cris d’indignation ou de lamentation. Les plus ravis étaient ceux qui étaient transpercés en découvrant qu’une machine pouvait apparemment exécuter avec compétence une commande écrite. L’indignation a été déclenchée par les craintes de licenciement de la part de personnes dont l’emploi exige la capacité d’écrire une prose professionnelle. Et les lamentations provenaient de gens sérieux (dont beaucoup étaient des enseignants à différents niveaux) dont les tâches quotidiennes consistaient à noter des dissertations jusque-là écrites par des étudiants.
Jusqu’ici, si prévisible. Si nous savons quelque chose de l’histoire, c’est que nous surestimons généralement l’impact à court terme des nouvelles technologies de communication, tout en sous-estimant grossièrement leurs implications à long terme. Il en a été de même pour la presse écrite, les films, la radio et la télévision et Internet. Et je soupçonne que nous venons de sauter sur le même manège cognitif.
Avant d’appuyer sur le bouton de panique, cependant, il vaut la peine d’examiner la nature de la bête. C’est ce que la foule de l’apprentissage automatique appelle un grand modèle de langage (LLM) qui a été complété par une interface conversationnelle. Le modèle sous-jacent a été entraîné sur des centaines de téraoctets de texte, dont la plupart ont probablement été récupérés sur le Web. Vous pouvez donc dire qu’il a « lu » (ou en tout cas ingéré) presque tout ce qui a déjà été publié en ligne. En conséquence, ChatGPT est assez apte à imiter le langage humain, une fonctionnalité qui a encouragé nombre de ses utilisateurs à l’anthropomorphisme, c’est-à-dire à considérer le système comme plus humain que machine. D’où les cris de joie susmentionnés – et aussi l’étrange utilisateur égaré croyant apparemment que la machine est en quelque sorte « sensible ».
L’antidote le plus connu à cette tendance à anthropomorphiser des systèmes tels que ChatGPT est Talking About Large Language Models, un article récent de l’éminent spécialiste de l’IA Murray Shanahan, disponible sur arXiv. Il y explique que les LLM sont des modèles mathématiques de la distribution statistique de « tokens » (mots, parties de mots ou caractères individuels, y compris les signes de ponctuation) dans un vaste corpus de texte généré par l’homme. Donc, si vous donnez au modèle une invite telle que « La première personne à marcher sur la lune était … » et qu’il répond par « Neil Armstrong », ce n’est pas parce que le modèle sait quoi que ce soit sur la lune ou la mission Apollo mais parce que nous lui posent en fait la question suivante : « Compte tenu de la répartition statistique des mots dans le vaste corpus public de [English] texte, quels mots sont les plus susceptibles de suivre la séquence « La première personne à avoir marché sur la lune était » ? Une bonne réponse à cette question est « Neil Armstrong ».
Donc, ce qui se passe, c’est la « prédiction du jeton suivant », qui se trouve être ce que de nombreuses tâches que nous associons à l’intelligence humaine impliquent également. Cela peut expliquer pourquoi tant de personnes sont si impressionnées par les performances de ChatGPT. Il s’avère utile dans de nombreuses applications : résumer de longs articles, par exemple, ou produire une première ébauche d’une présentation qui peut ensuite être peaufinée. L’une de ses capacités les plus inattendues est d’être un outil d’aide à l’écriture de code informatique. Dan Shipper, un informaticien expérimenté, rapporte que il a passé Noël à l’expérimenter en tant qu’assistant de programmation, concluant que : « C’est incroyablement bon pour vous aider à vous lancer dans un nouveau projet. Cela prend toutes les recherches, la réflexion et l’examen des choses et les élimine… En 5 minutes, vous pouvez avoir le bout de quelque chose qui fonctionnait et qui auparavant aurait mis quelques heures à se mettre en place et à fonctionner. Sa mise en garde, cependant, était que vous deviez d’abord connaître la programmation.
Cela me semble être le début de la sagesse sur ChatGPT : au mieux, c’est un assistant, un outil qui augmente les capacités humaines. Et il est là pour rester. En ce sens, cela me rappelle, assez curieusement, le logiciel de tableur, qui a frappé le monde des affaires comme un coup de foudre en 1979 lorsque Dan Bricklin et Bob Frankston ont écrit VisiCalc, le premier programme de tableur, pour l’ordinateur Apple II, qui était alors principalement vendu dans les magasins de loisirs. Un jour, Steve Jobs et Steve Wozniak se sont réveillés en réalisant que de nombreuses personnes achetant leur ordinateur n’avaient pas de barbe ni de queue de cheval mais portaient des costumes. Et ce logiciel vend du matériel, et non l’inverse.
La nouvelle n’a pas été perdue pour IBM et a incité l’entreprise à créer le PC et Mitch Kapor à écrire le tableur Lotus 1-2-3 pour celui-ci. Finalement, Microsoft a écrit sa propre version et l’a appelée Excel, qui fonctionne désormais sur toutes les machines de tous les bureaux du monde développé. Il est passé d’une augmentation intrigante mais utile des capacités humaines à un accessoire banal – sans parler de la raison pour laquelle Kat Norton (alias « Miss Excel ») tirerait des sommes à six chiffres par jour en enseignant des astuces Excel sur TikTok. Il y a de fortes chances que quelqu’un, quelque part, envisage de le faire avec ChatGPT. Et utiliser le bot pour écrire les scripts.
Ce que j’ai lu
Triple menace
The Third Magic est une méditation de Noah Smith sur l’histoire, la science et l’IA.
Ne regarde pas en arrière
Nostalgia for Decline in Deconvergent Britain est le long article de blog d’Adam Tooze sur la longue histoire du déclin économique britannique.
Les impacts des inégalités
Qui a brisé la démocratie américaine ? est un essai perspicace sur le site Project Syndicate par le lauréat du prix Nobel Angus Deaton.