ChatGPT a tout changé. Maintenant, son suivi est ici.

Mis à jour à 14 h 15 HE le 14 mars 2023

Moins de quatre mois après la sortie de ChatGPT, l’IA génératrice de texte qui semble nous avoir propulsés dans une ère technologique de science-fiction, OpenAI a dévoilé un nouveau produit appelé GPT-4. Les rumeurs et le battage médiatique autour de ce programme circulent depuis plus d’un an : les experts ont déclaré qu’il serait d’une puissance insondable, écrivant Livres de 60 000 mots à partir d’invites uniques et en produisant des vidéos à partir de tissu entier. L’annonce d’aujourd’hui suggère que les capacités du GPT-4, bien qu’impressionnantes, sont plus modestes : il fonctionne mieux que le modèle précédent sur des tests standardisés et d’autres références, fonctionne dans des dizaines de langues et peut prendre des images en entrée, ce qui signifie qu’il est capable, par exemple , pour décrire le contenu d’une photo ou d’un graphique.

Contrairement à ChatGPT, ce nouveau modèle n’est actuellement pas disponible pour les tests publics (bien que vous puissiez postuler ou payer pour l’accès), de sorte que les informations pouvant être obtenues proviennent du blog d’OpenAI et d’un New York Times histoire basée sur une démonstration. D’après ce que nous savons, par rapport à d’autres programmes, GPT-4 semble avoir ajouté 150 points à son score SAT, maintenant un 1410 sur 1600, et a bondi du bas vers les 10% des meilleurs interprètes lors d’un examen du barreau simulé. Malgré les craintes prononcées de l’écriture d’AI, les scores AP English du programme restent dans le quintile inférieur. Et tandis que ChatGPT ne peut gérer que du texte, dans un exemple, GPT-4 a répondu avec précision aux questions sur les photographies de câbles informatiques. Les entrées d’image ne sont pas encore accessibles au public, même pour ceux qui ont finalement été autorisés à accéder à la liste d’attente, il n’est donc pas possible de vérifier les affirmations d’OpenAI.

Le nouveau modèle GPT-4 est le dernier d’une longue généalogie – GPT-1, GPT-2, GPT-3, GPT-3.5, InstructGPT, ChatGPT – de ce que l’on appelle maintenant les «grands modèles de langage» ou LLM, qui sont des programmes d’IA qui apprennent à prédire quels mots sont les plus susceptibles de se suivre. Ces modèles fonctionnent selon une prémisse qui trouve ses origines dans certaines des premières recherches sur l’IA dans les années 1950 : qu’un ordinateur qui comprend et produit le langage sera nécessairement intelligent. Cette croyance sous-tendait le célèbre jeu d’imitation d’Alan Turing, maintenant connu sous le nom de test de Turing, qui jugeait l’intelligence informatique en fonction du caractère «humain» de sa lecture textuelle.

Ces premiers programmes d’IA linguistique impliquaient des informaticiens qui dérivaient des règles complexes écrites à la main, plutôt que les inférences statistiques profondes utilisées aujourd’hui. Les précurseurs des LLM contemporains remontent au début des années 2000, lorsque les informaticiens ont commencé à utiliser un type de programme inspiré du cerveau humain appelé « réseau de neurones », qui consiste en de nombreuses couches interconnectées de nœuds artificiels qui traitent d’énormes quantités de données d’entraînement, pour analyser et générer du texte. La technologie a progressé rapidement ces dernières années grâce à certaines percées clés, notamment l’augmentation de la durée d’attention des programmes – GPT-4 peut faire des prédictions basées non seulement sur la phrase précédente, mais sur de nombreux mots précédents, et peser l’importance de chaque mot différemment. Les LLM d’aujourd’hui lisent des livres, des entrées de Wikipédia, des publications sur les réseaux sociaux et d’innombrables autres sources pour trouver ces modèles statistiques profonds ; OpenAI a également commencé à utiliser des chercheurs humains pour affiner les sorties de ses modèles. En conséquence, GPT-4 et les programmes similaires ont une facilité remarquable avec la langue, l’écriture de nouvelles et d’essais et la copie publicitaire et plus encore. Certains linguistes et scientifiques cognitifs pensent que ces modèles d’IA montrent une compréhension décente de la syntaxe et, du moins selon OpenAI, peut-être même une lueur de compréhension ou de raisonnement – bien que ce dernier point soit très controversé et que la fluidité grammaticale formelle reste loin d’être capable de penser.

GPT-4 est à la fois la dernière étape importante de cette recherche sur le langage et fait également partie d’une explosion plus large de «l’IA générative», ou de programmes capables de produire des images, du texte, du code, de la musique et des vidéos en réponse à des invites. Si un tel logiciel tient ses grandes promesses, il pourrait redéfinir la cognition et la créativité humaines, tout comme Internet, l’écriture ou même le feu l’ont fait auparavant. OpenAI définit chaque nouvelle itération de ses LLM comme une étape vers la mission déclarée de l’entreprise de créer une « intelligence générale artificielle », ou des ordinateurs capables d’apprendre et d’exceller dans tout, d’une manière qui « bénéficie à toute l’humanité ». Le PDG d’OpenAI, Sam Altman, a déclaré au Le New York Times que bien que le GPT-4 n’ait pas « résolu le raisonnement ou l’intelligence… c’est un grand pas en avant par rapport à ce qui existe déjà ».

Avec l’objectif d’AGI à l’esprit, l’organisation a commencé comme une organisation à but non lucratif qui a fourni une documentation publique pour une grande partie de son code. Mais il a rapidement adopté une structure de « bénéfices plafonnés », permettant aux investisseurs de récupérer jusqu’à 100 fois l’argent qu’ils ont investi, tous les bénéfices excédant celui-ci revenant à l’organisation à but non lucratif, permettant apparemment à OpenAI de lever les capitaux nécessaires pour soutenir ses recherches. (Les analystes estiment que la formation d’un modèle de langage haut de gamme coûte « des millions à un chiffre ».) Parallèlement au changement financier, OpenAI a également rendu son code plus secret – une approche qui, selon les critiques, rend difficile le maintien de la technologie. irresponsable pour les sorties incorrectes et nuisibles, bien que la société ait déclaré que l’opacité protège contre les utilisations « malveillantes ».

Lire : La différence entre parler et penser

L’entreprise définit tout changement par rapport à ses valeurs fondatrices comme, du moins en théorie, des compromis qui accéléreront l’arrivée à un avenir saturé d’IA qu’Altman décrit comme presque édénique : des robots fournissant des conseils médicaux cruciaux et aidant les enseignants sous-financés, des avancées dans la découverte de médicaments et la science fondamentale, la fin du travail subalterne. Mais une IA plus avancée, qu’elle soit généralement intelligente ou non, pourrait également laisser une grande partie de la population sans emploi, ou remplacer le travail par cœur par de nouvelles tâches bureaucratiques liées à l’IA et des exigences de productivité plus élevées. Le courrier électronique n’a pas accéléré la communication au point de transformer chaque jour en une corvée de réponses aux e-mails ; les dossiers de santé électroniques devraient faire gagner du temps aux médecins, mais les obligent en fait à consacrer de nombreuses heures supplémentaires non rémunérées à la mise à jour et à la consultation de ces bases de données.

Que cette technologie soit une bénédiction ou un fardeau pour les gens ordinaires, ceux qui la contrôlent récolteront sans aucun doute d’immenses profits. Tout comme OpenAI a basculé vers la commercialisation et l’opacité, tout le monde veut déjà participer à la ruée vers l’or de l’IA. Des entreprises comme Snap et Instacart utilisent la technologie d’OpenAI pour intégrer des assistants IA dans leurs services. Plus tôt cette année, Microsoft a investi 10 milliards de dollars dans OpenAI et intègre désormais la technologie chatbot dans son moteur de recherche Bing. Google a poursuivi en investissant une somme plus modeste dans la start-up rivale d’IA Anthropic (récemment évaluée à 4,1 milliards de dollars) et en annonçant diverses capacités d’IA dans la recherche Google, Maps et d’autres applications. Amazon intègre Hugging Face, un site Web populaire qui permet d’accéder facilement aux outils d’IA, dans AWS, pour concurrencer Azure, le service cloud de Microsoft. Meta a longtemps eu une division IA, et maintenant Mark Zuckerberg essaie de construire une équipe spécifique d’IA générative à partir des cendres pixélisées du Metaverse. Les start-ups sont inondées de milliards d’investissements en capital-risque. GPT-4 alimente déjà le nouveau Bing et pourrait éventuellement être intégré à Microsoft Office.

Lors d’un événement annonçant le nouveau Bing le mois dernier, le PDG de Microsoft a déclaré : « La course commence aujourd’hui, et nous allons avancer et avancer vite. » En effet, GPT-4 est déjà sur nous. Pourtant, comme tout bon prédicteur de texte vous le dirait, cette citation devrait se terminer par « avancer vite et casser des choses.” La ruée de la Silicon Valley, que ce soit vers l’or ou l’IAG, ne devrait pas détourner l’attention de toutes les façons dont ces technologies échouent, souvent de façon spectaculaire.

Même si les LLM sont excellents pour produire des copies passe-partout, de nombreux critiques disent qu’ils ne comprennent fondamentalement pas et ne peuvent peut-être pas comprendre le monde. Ils sont quelque chose comme l’auto-complétion sur PCP, une drogue qui donne aux utilisateurs un faux sentiment d’invincibilité et des capacités accrues d’illusion. Ces modèles génèrent des réponses avec l’illusion de l’omniscience, ce qui signifie qu’ils peuvent facilement répandre des mensonges convaincants et une haine répréhensible. Alors que GPT-4 semble froisser cette critique avec sa capacité apparente à décrire des images, sa fonction de base reste une très bonne correspondance de modèle, et il ne peut produire que du texte.

Ces schémas sont parfois nuisibles. Les modèles linguistiques ont tendance à reproduire une grande partie du texte ignoble sur Internet, une préoccupation que le manque de transparence dans leur conception et leur formation ne fait qu’aggraver. Comme l’a dit Emily Bender, linguiste de l’Université de Washington et éminente critique de l’IA, par e-mail : « Nous ne mangeons généralement pas d’aliments dont nous ne connaissons pas ou ne pouvons pas découvrir les ingrédients. »

Lis: GPT-4 pourrait bien être un gâchis gonflé et inutile

Un précédent indiquerait qu’il y a beaucoup de bric-à-brac. Le chatbot original de Microsoft, nommé Tay et sorti en 2016, est devenu misogyne et raciste, et a été rapidement abandonné. L’année dernière, l’IA BlenderBot de Meta a relancé les conspirations antisémites, et peu de temps après, le Galactica de la société – un modèle destiné à aider à la rédaction d’articles scientifiques – s’est avéré préjudiciable et enclin à inventer des informations (Meta l’a retiré en trois jours) . GPT-2 a montré des préjugés contre les femmes, les homosexuels et d’autres groupes démographiques ; GPT-3 a dit des choses racistes et sexistes ; et ChatGPT a été accusé de faire des commentaires tout aussi toxiques. OpenAI a essayé et échoué à résoudre le problème à chaque fois. New Bing, qui gère une version de GPT-4, a écrit sa propre part de textes dérangeants et offensants – enseignant aux enfants des insultes ethniques, promouvant des slogans nazis, inventant des théories scientifiques.

Il est tentant d’écrire automatiquement la phrase suivante dans ce cycle, comme un modèle de langage : « GPT-4 a montré [insert bias here].” En effet, dans son article de blog, OpenAI admet que GPT-4 «  » hallucine « des faits et fait des erreurs de raisonnement », ne s’est pas beaucoup amélioré pour vérifier les faits lui-même et « peut avoir divers biais dans ses sorties ». Pourtant, comme tout utilisateur de ChatGPT peut en témoigner, même les modèles les plus convaincants n’ont pas de résultats parfaitement prévisibles.

Un porte-parole de Meta a écrit par e-mail que davantage de travail est nécessaire pour lutter contre les préjugés et les hallucinations – ce que les chercheurs appellent les informations inventées par les IA – dans les grands modèles de langage, et que « les démos de recherche publique comme BlenderBot et Galactica sont importantes pour la construction” de meilleurs chatbots ; un porte-parole de Microsoft m’a indiqué un article dans lequel la société décrivait l’amélioration de Bing grâce à un « cycle vertueux de [user] retour. » Un porte-parole d’OpenAI m’a indiqué un article de blog sur la sécurité, dans lequel l’entreprise décrit son approche pour prévenir les abus. Il note, par exemple, que tester des produits « dans la nature » et recevoir des commentaires peut améliorer les itérations futures. En d’autres termes, la ligne du parti de Big AI est le calcul utilitaire selon lequel, même si les programmes peuvent être dangereux, la seule façon de les découvrir et de les améliorer est de les libérer et de risquer d’exposer le public au danger.

Les chercheurs accordant de plus en plus d’attention aux biais, une future itération d’un modèle de langage, GPT-4 ou autre, pourrait un jour briser ce modèle bien établi. Mais peu importe ce dont le nouveau modèle se montre capable, il y a encore des questions beaucoup plus vastes à résoudre : à qui est destinée la technologie ? La vie de qui sera-t-elle bouleversée ? Et si nous n’aimons pas les réponses, pouvons-nous faire quelque chose pour les contester ?