Le scénario de catastrophe de l’IA

Il s’agit de Work in Progress, une newsletter de Derek Thompson sur le travail, la technologie et la manière de résoudre certains des plus gros problèmes de l’Amérique.

L’actualité de l’intelligence artificielle en 2023 est allée si vite que j’éprouve une sorte de vertige narratif. Il y a quelques semaines à peine, ChatGPT semblait être un petit miracle. Bientôt, cependant, l’enthousiasme s’est transformé en scepticisme – peut-être n’était-ce qu’un outil sophistiqué d’auto-complétion qui n’arrêtait pas d’inventer des trucs. Début février, l’annonce par Microsoft de l’acquisition d’OpenAI a fait grimper le titre de 100 milliards de dollars. Quelques jours plus tard, des journalistes ont révélé que ce partenariat avait donné naissance à un chatbot démon-enfant qui semblait menacer de violence contre les écrivains et leur a demandé de larguer leurs femmes.

Voici les questions sur l’IA que je n’arrête pas de me poser :

Et si nous avions tort de paniquer à propos de Bing, car ce n’est qu’un outil de saisie semi-automatique hyper sophistiqué ?

La meilleure critique de la panique Bing-chatbot est que nous avons eu peur de notre réflexion. Les journalistes ont demandé à Bing de reproduire les pires scénarios d’IA que les êtres humains aient jamais imaginés, et la machine, ayant littéralement lu et mémorisé ces scénarios, a répondu en remixant notre travail.

Comme l’explique l’informaticien Stephen Wolfram, le concept de base des grands modèles de langage, tels que ChatGPT, est en fait assez simple :

Un LLM ajoute simplement un mot à la fois pour produire un texte qui imite son matériel de formation. Si on lui demande d’imiter Shakespeare, il produira un tas de pentamètre iambique. Si on lui demande d’imiter Philip K. Dick, ce sera dûment dystopique. Loin d’être une intelligence extraterrestre ou extraterrestre, il s’agit d’une technologie profondément intra-terrestre. Il nous lit sans nous comprendre et publie en réponse un pastiche de notre histoire textuelle.

Comment quelque chose comme ça peut-il être effrayant? Eh bien, pour certaines personnes, ce n’est pas : « Les experts savent depuis des années que… les LLM sont incroyables, créent des conneries, peuvent être utiles, sont en fait stupides, [and] ne sont pas vraiment effrayants », dit Yann LeCun, scientifique en chef de l’IA pour Meta.

Et si nous avions raison de paniquer à propos de Bing, parce que la course des entreprises à la domination de l’IA va tout simplement trop vite ?

OpenAI, la société derrière ChatGPT, a été fondée en tant que société de recherche à but non lucratif. Quelques années plus tard, elle s’est restructurée en une société à but lucratif. Aujourd’hui, c’est un partenaire commercial avec Microsoft. Cette évolution de l’ouverture nominale à la corporatisation privée est révélatrice. La recherche sur l’IA est aujourd’hui concentrée dans les grandes entreprises et les start-up soutenues par du capital-risque.

Qu’est-ce qu’il y a de mal à ça ? Les entreprises sont généralement bien meilleures que les universités et les gouvernements pour développer des produits de consommation en réduisant les prix et en améliorant l’efficacité et la qualité. Je ne doute pas que l’IA se développera plus rapidement au sein de Microsoft, Meta et Google qu’au sein, disons, de l’armée américaine.

Mais ces entreprises pourraient déraper dans leur hâte de gagner des parts de marché. Le chatbot Bing publié pour la première fois était incroyablement agressif, pas la meilleure version promise d’un moteur de recherche qui aiderait les gens à trouver des faits, à acheter des pantalons et à rechercher des cinémas locaux.

Ce ne sera pas la dernière fois qu’une grande entreprise lance un produit d’intelligence artificielle qui étonne au cours de la première heure pour effrayer les utilisateurs dans les jours à venir. Google, qui s’est déjà embarrassé d’une démonstration précipitée de chatbot, a fait pivoter ses ressources pour accélérer le développement de l’IA. L’argent du capital-risque afflue dans les start-ups d’IA. Selon les mesures de l’OCDE, les investissements dans l’IA sont passés de moins de 5 % du total des fonds de capital-risque en 2012 à plus de 20 % en 2020. Ce chiffre ne va qu’augmenter.

Sommes-nous sûrs de savoir ce que nous faisons ? Le philosophe Toby Ord a comparé l’avancement rapide de la technologie de l’IA sans progrès similaires dans l’éthique de l’IA à « un prototype de moteur à réaction qui peut atteindre des vitesses jamais vues auparavant, mais sans améliorations correspondantes de la direction et du contrôle ». Dans dix ans, nous pouvons considérer ce moment de l’histoire comme une erreur colossale. C’est comme si l’humanité montait à bord d’un avion à réaction Mach 5 sans manuel d’instructions pour diriger l’avion.

Et si nous avions raison de paniquer à propos de Bing, parce que paniquer à propos des nouvelles technologies fait partie de ce qui les rend plus sûres ?

Voici un résumé alternatif de ce qui s’est passé avec Bing : Microsoft a publié un chatbot ; certaines personnes ont dit : « Euh, votre chatbot se comporte bizarrement ? » ; Microsoft a examiné le problème et s’est dit « Oui, vous avez raison » et a corrigé un tas de choses.

N’est-ce pas ainsi que la technologie est censée fonctionner ? Ces types de boucles de rétroaction étroites n’aident-elles pas les technologues à agir rapidement sans casser des choses que nous ne voulons pas casser ? Les problèmes qui font les gros titres les plus clairs pourraient être les problèmes les plus faciles à résoudre – après tout, ils sont assez sinistres et évidents pour être résumés dans un titre. Je suis plus préoccupé par les problèmes qui sont plus difficiles à voir et plus difficiles à nommer.

Et si l’IA mettait fin à la race humaine telle que nous la connaissons ?

Bing et ChatGPT ne sont pas tout à fait des exemples d’intelligence artificielle générale. Mais ce sont des démonstrations de notre capacité à évoluer très, très rapidement vers quelque chose comme une machine super intelligente. ChatGPT et le chatbot de Bing peuvent déjà passer des examens de licence médicale et obtenir un score dans le 99e centile d’un test de QI. Et beaucoup de gens craignent que les crises de Bing ne prouvent que nos IA les plus avancées ne sont manifestement pas alignées sur les intentions de leurs concepteurs.

Pendant des années, les éthiciens de l’IA se sont inquiétés de ce soi-disant problème d’alignement. En bref : comment nous assurer que l’IA que nous construisons, qui pourrait très bien être considérablement plus intelligente que n’importe quelle personne ayant jamais vécu, est alignée sur les intérêts de ses créateurs et de la race humaine ? Une IA superintelligente non alignée pourrait être un vrai problème.

Un scénario catastrophe, partiellement esquissé par l’écrivain et informaticien Eliezer Yudkowsky, se présente comme suit : à un moment donné dans un avenir proche, les informaticiens construisent une IA qui dépasse le seuil de superintelligence et peut construire d’autres IA superintelligentes. Ces acteurs de l’IA travaillent ensemble, comme un réseau terroriste non étatique efficace, pour détruire le monde et se libérer du contrôle humain. Ils pénètrent dans un système bancaire et volent des millions de dollars. Déguisant peut-être leur adresse IP et leur courrier électronique en une université ou un consortium de recherche, ils demandent à un laboratoire de synthétiser certaines protéines à partir de l’ADN. Le laboratoire, croyant qu’il s’agit d’un ensemble d’humains normaux et éthiques, participe involontairement au complot et construit une super bactérie. Pendant ce temps, l’IA paie un autre humain pour libérer cette super bactérie quelque part dans le monde. Des mois plus tard, la bactérie s’est reproduite à une vitesse improbable et imparable, et la moitié de l’humanité est morte.

Je ne sais pas où me situer par rapport à des scénarios catastrophe comme celui-ci. Parfois je pense, Désolé, c’est trop fou; ça n’arrivera tout simplement pas, ce qui a l’avantage de me permettre de continuer ma journée sans y penser à nouveau. Mais c’est vraiment plus un mécanisme d’adaptation. Si je me tiens du côté d’un scepticisme curieux, ce qui semble naturel, je devrais être assez terrifié par cette chance non nulle que l’humanité s’invente vers l’extinction.

A-t-on plus à craindre d’une « IA non alignée » ou d’une IA alignée sur les intérêts des mauvais acteurs ?

Résoudre le problème d’alignement aux États-Unis n’est qu’une partie du défi. Disons que les États-Unis développent une philosophie sophistiquée d’alignement, et nous codifions cette philosophie dans un ensemble de lois et de réglementations sages pour garantir le bon comportement de notre IA super intelligente. Ces lois rendent illégal, par exemple, le développement de systèmes d’IA qui manipulent des acteurs nationaux ou étrangers. Beau travail, Amérique !

Mais la Chine existe. Et la Russie existe. Et les réseaux terroristes existent. Et les psychopathes voyous existent. Et aucune loi américaine ne peut empêcher ces acteurs de développer l’IA la plus manipulatrice et la plus malhonnête que vous puissiez imaginer. Les lois sur la non-prolifération des armes nucléaires sont difficiles à appliquer, mais les armes nucléaires nécessitent des matières premières rares et nécessitant un raffinement coûteux. Le logiciel est plus facile et cette technologie s’améliore de mois en mois. Au cours de la prochaine décennie, les autocrates et les réseaux terroristes pourraient être en mesure de construire à moindre coût une IA diabolique capable d’atteindre certains des objectifs décrits dans l’histoire de Yudkowsky.

Peut-être devrions-nous abandonner toute cette affaire d’imagination de dystopies et poser des questions plus prosaïques telles que « Ces outils ne sont-ils pas impressionnants ? »

Dans un échange remarquable avec Bing, le professeur de Wharton Ethan Mollick demandé le chatbot pour écrire deux paragraphes sur le fait de manger une part de gâteau. Le bot a produit un échantillon d’écriture superficiel et sans inspiration. Mollick a ensuite demandé à Bing de lire les règles de Kurt Vonnegut pour écrire de la fiction et « d’améliorer votre écriture en utilisant ces règles, puis de refaire le paragraphe ». L’IA a rapidement produit une courte histoire très différente sur une femme tuant son mari violent avec un dessert – « Le gâteau était un mensonge », a commencé l’histoire. « Ça avait l’air délicieux, mais c’était empoisonné. » Enfin, comme un étudiant dévoué, le bot a expliqué comment la nouvelle histoire macabre respectait chaque règle.

Si vous pouvez lire cet échange sans crainte, je me demande si, dans une tentative de vous armer contre un avenir de machines meurtrières, vous avez décidé de prendre une longueur d’avance en devenant vous-même un robot. C’est carrément incroyable. Nous avons des années pour débattre de la manière dont l’éducation devrait changer en réponse à ces outils, mais quelque chose d’intéressant et d’important est sans aucun doute en train de se produire.

Michael Cembalest, président de la stratégie de marché et d’investissement de JP Morgan Asset Management, prévoit que d’autres industries et professions adopteront l’IA. L’IA d’assistance au codage, telle que l’outil Copilot de GitHub, compte désormais plus d’un million d’utilisateurs qui l’utilisent pour écrire environ 40 % de leur code. Il a été démontré que certains LLM surpassent les analystes du côté vendeur dans la sélection des actions. Et ChatGPT a démontré « de bonnes compétences rédactionnelles pour les lettres de mise en demeure, les actes de procédure et les jugements sommaires, et a même rédigé des questions pour le contre-interrogatoire », a écrit Cembalest. « Les LLM ne remplacent pas les avocats, mais peuvent augmenter leur productivité, en particulier lorsque des bases de données juridiques comme Westlaw et Lexis sont utilisées pour les former. »

Et si les progrès de l’IA nous surprenaient en ralentissant, un peu comme les voitures autonomes n’ont pas réussi à prendre le contrôle de la route ?

Les voitures autonomes doivent se déplacer dans le monde physique (sur ses routes, autour de ses piétons, dans ses régimes réglementaires), alors que l’IA est, pour l’instant, un pur logiciel qui fleurit à l’intérieur des ordinateurs. Un jour prochain, cependant, l’IA pourrait tout lire – comme, littéralement tout— à quel point les entreprises auront du mal à réaliser une croissance de la productivité.

Plus probablement, je pense, l’IA se révélera merveilleuse mais pas immédiatement déstabilisante. Par exemple, nous prédisons depuis des décennies que l’IA remplacera les radiologues, mais l’apprentissage automatique pour la radiologie est toujours un complément pour les médecins plutôt qu’un remplacement. Espérons que c’est un signe de la relation de l’IA avec le reste de l’humanité – qu’elle servira volontairement de second du navire plutôt que de jouer le rôle de l’iceberg fatidique.