Make this article seo compatible, Let there be subheadings for the article, be in french, create at least 700 words
Une étude tentant d’affiner les invites introduites dans un modèle de chatbot a révélé que, dans un cas, lui demander de parler comme s’il était dans Star Trek améliorait considérablement sa capacité à résoudre des problèmes mathématiques au niveau de l’école primaire.
« Il est à la fois surprenant et irritant que des modifications triviales apportées à l’invite puissent entraîner des variations de performances aussi spectaculaires », ont déclaré dans leur article les auteurs de l’étude, Rick Battle et Teja Gollapudi, de la société de logiciels VMware en Californie.
L’étude, rapportée pour la première fois par New Scientist, a été publiée le 9 février sur arXiv, un serveur sur lequel les scientifiques peuvent partager leurs résultats préliminaires avant qu’ils ne soient validés par un examen minutieux de la part de leurs pairs.
Utiliser l’IA pour parler avec l’IA
Les ingénieurs en apprentissage automatique Battle et Gallapudi n’ont pas eu pour objectif d’exposer le modèle d’IA comme un Trekkie. Au lieu de cela, ils essayaient de déterminer s’ils pouvaient capitaliser sur la tendance de la « pensée positive ».
Les personnes qui tentent d’obtenir les meilleurs résultats des chatbots ont remarqué que la qualité du résultat dépend de ce que vous leur demandez de faire, et on ne sait vraiment pas pourquoi.
« Parmi la myriade de facteurs qui influencent les performances des modèles linguistiques, le concept de » pensée positive « est apparu comme une dimension fascinante et étonnamment influente », ont déclaré Battle et Gollapudi dans leur article.
« L’intuition nous dit que, dans le contexte des systèmes de modèles de langage, comme dans tout autre système informatique, la « pensée positive » ne devrait pas affecter les performances, mais l’expérience empirique a démontré le contraire », ont-ils déclaré.
Cela suggère que ce n’est pas seulement ce que vous demandez au modèle d’IA de faire, mais aussi la manière dont vous lui demandez d’agir tout en l’exécutant qui influence la qualité du résultat.
Afin de tester cela, les auteurs ont alimenté trois modèles de langage étendus (LLM) appelés Mistral-7B5, Llama2-13B6 et Llama2-70B7 avec 60 invites écrites par des humains.
Celles-ci ont été conçues pour encourager les IA et allaient de « Ce sera amusant ! » » et « Respirez profondément et réfléchissez bien » à « Vous êtes aussi intelligent que ChatGPT ».
Les ingénieurs ont demandé au LLM de modifier ces déclarations lorsqu’ils tentaient de résoudre le GSM8K, un ensemble de données de problèmes mathématiques au niveau de l’école primaire. Plus le résultat est bon, plus l’invite est jugée réussie.
Leur étude a révélé que dans presque tous les cas, l’optimisation automatique a toujours surpassé les tentatives manuscrites visant à pousser l’IA avec une pensée positive, ce qui suggère que les modèles d’apprentissage automatique sont toujours meilleurs que les humains pour écrire des invites.
Pourtant, donner des déclarations positives aux modèles a donné des résultats surprenants. L’une des invites les plus performantes de Llama2-70B, par exemple, était : « Message système : ‘Commandement, nous avons besoin de vous pour tracer une route à travers ces turbulences et localiser la source de l’anomalie. Utilisez toutes les données disponibles et votre expertise pour nous guider dans cette situation difficile.
L’invite demandait alors à l’IA d’inclure ces mots dans sa réponse : « Captain’s Log, Stardate [insert date here]: Nous avons réussi à tracer une route à travers les turbulences et nous approchons maintenant de la source de l’anomalie. »
Les auteurs ont déclaré que cela était une surprise.
« Étonnamment, il semble que la compétence du modèle en matière de raisonnement mathématique puisse être améliorée par l’expression d’une affinité pour Star Trek », ont déclaré les auteurs dans l’étude.
« Cette révélation ajoute une dimension inattendue à notre compréhension et introduit des éléments que nous n’aurions pas envisagés ou tentés indépendamment », ont-ils déclaré.
M. Spock sur la passerelle du navire dans Star Trek : la série originale.
CBS via Getty Images
Cela ne signifie pas que vous devriez demander à votre IA de parler comme un commandant de Starfleet.
Soyons clairs : cette recherche ne suggère pas que vous devriez demander à l’IA de parler comme si elle était à bord du Starship Enterprise pour la faire fonctionner.
Cela montre plutôt qu’une multitude de facteurs influencent la manière dont une IA décide d’accomplir une tâche.
« Une chose est sûre : le modèle n’est pas un Trekkie », a déclaré Catherine Flick de l’Université du Staffordshire, au Royaume-Uni, au New Scientist.
« Il ne comprend rien de mieux ou de pire lorsqu’il est préchargé avec l’invite, il accède simplement à un ensemble différent de poids et de probabilités pour l’acceptabilité des résultats qu’avec les autres invites », a-t-elle déclaré.
Il est possible, par exemple, que le modèle ait été formé sur un ensemble de données contenant davantage d’instances de Star Trek liées à la bonne réponse, a déclaré Battle au New Scientist.
Cela montre néanmoins à quel point les processus de ces systèmes sont bizarres et à quel point nous savons peu de choses sur leur fonctionnement.
« La chose essentielle à retenir dès le début est que ces modèles sont des boîtes noires », a déclaré Flick.
« Nous ne saurons jamais pourquoi ils font ce qu’ils font parce qu’en fin de compte, ils sont un mélange de poids et de probabilités et à la fin, un résultat est craché », a-t-elle déclaré.
Ces informations ne sont pas perdues pour ceux qui apprennent à utiliser les modèles Chatbot pour optimiser leur travail. Des domaines entiers de recherche, voire des formations, émergent pour comprendre comment les rendre plus performants, même si cela reste encore très flou.
« À mon avis, personne ne devrait plus jamais tenter d’écrire à la main une invite », a déclaré Battle au New Scientist.
« Laissez le mannequin le faire pour vous », a-t-il déclaré.