Customize this title in frenchUbisoft dévoile des « NEO NPC » à IA générative, et l’esprit de Milo de Peter Molyneux perdure

Tout comme l’année dernière, l’IA reste le sujet de conversation à la GDC 2024. Roblox Studio a annoncé un nouveau créateur de personnages génératif basé sur l’IA. Le fabricant de cartes graphiques Nvidia a dévoilé une nouvelle puce alimentée par l’IA, faisant monter en flèche le cours de ses actions. Et à huis clos, Ubisoft a démontré quelque chose qui lui est propre à une petite partie de la presse : un partenariat avec Inworld AI pour créer un prototype de « Newly Evolving NPCs », ou NEO NPC comme les appelle Ubisoft.

Il est important de souligner ici le facteur « prototype ». Lors de l’événement, Ubisoft a fait une brève présentation expliquant les origines de son équipe de recherche – dirigée par Ubisoft Paris et une équipe de soutien d’Ubisoft Production Technology – et ses objectifs, faisant souvent référence au projet comme à une « expérience ». Après cela, j’ai eu l’occasion de m’asseoir et de « jouer » à trois démonstrations d’environ 10 minutes de la technologie en action dans un scénario de jeu hypothétique. Mais même si ces démos étaient techniquement jouables, elles étaient pour l’instant explicitement décrites comme une « preuve de concept indépendante ». Lors d’une brève table ronde après la période pratique, Mélanie Lopez Malet, data scientist senior de l’équipe R&D, a déclaré qu’ils ne faisaient qu’effleurer la surface… la mise en œuvre [in a real game] pour moi, ce n’est même pas sur mon radar.

Pourtant, il s’agit de l’un des premiers exemples concrets d’IA générative utilisée dans un rôle réel face au joueur dans un grand studio – et cela fonctionne. Sorte de.

Le principe est que, selon les mots d’Ubisoft, l’approche typique de l’utilisation de l’IA générative avec les PNJ – comme les mods LLM (Large Language Model) pour les jeux standard qui intègrent des fonctionnalités de style ChatGPT dans les options de dialogue – était souvent quelque peu « vide » ou « superficielle ».  » en pratique. Bien qu’ils puissent techniquement dire n’importe quoi, ce que disent ces PNJ n’a pas d’impact sur le jeu lui-même, et donc ce que vous obtenez, comme l’a dit le directeur scientifique David Louapre, c’est « un jeu de rôle, pas un gameplay ». Le but des PNJ NEO est de faire quelque chose qui fusionne les deux.

Les démos ont été utilisées comme exemples de l’utilisation pratique de cette technologie. Le premier impliquait une conversation avec un personnage appelé Bloom dans un résumé légèrement caricatural d’un hypothétique jeu Ubisoft. Bloom, un homme sans âge vêtu d’une chemise en jean et d’un bonnet tombant, est membre de la Résistance et souhaite apprendre à vous connaître pour « vérifier si nous avons une ambiance compatible ». Vous avez quelques objectifs – se lier d’amitié avec lui, en savoir plus sur certains sujets, etc. – qui sont liés à la conversation. Et la conversation elle-même se fait via la synthèse vocale : vous maintenez LT enfoncé et parlez dans un microphone, et Bloom réagit en conséquence.

Dans le deuxième scénario, Bloom discute à nouveau avec vous, cette équipe réagissant en temps réel à un écran de télévision du jeu montrant un drone se faufilant autour d’un lieu ennemi, contrôlé par un troisième personnage hors écran. Bloom réagit en criant « soldat ennemi repéré » lorsqu’il apparaît sur le moniteur, tout en discutant avec vous et en vous proposant des invites de conversation liées à la mission.

Dans le troisième scénario, nous discutons avec un autre personnage appelé Iron. Dans une configuration de type braquage GTA, nous examinons un tableau de planification qui affiche le plan d’étage d’une base ennemie que nous espérons infiltrer. Iron nous demande comment nous voulons l’aborder et réagit en conséquence à tout ce que nous disons, pour finalement se mettre d’accord sur l’une des options réellement jouables – par exemple, utiliser l’arbre près de la fenêtre pour s’accrocher au bâtiment, ou utiliser le des grenades fumigènes pour se couvrir, que nous avons remarquées traînaient dans la pièce et qui étaient proposées à titre de suggestion.

La première impression de tout cela – et qui est revenue dans quelques conversations avec plus d’un autre journaliste qui a vu la démo – est que cela est un peu familier. Peter Molyneux, si vous vous souvenez de ce moment infâme sur la scène de l’E3 2009, a promis quelque chose d’assez similaire à son ami maudit, l’intelligence artificielle, Milo.

Condamné ou pas, comme tout mammifère qui se respecte, ma première réaction lorsque j’ai engagé une conversation avec une entité artificielle prétendant être un membre de mon espèce a été de m’en moquer sans relâche – ou à tout le moins, de tester les limites de sa logique. et voyez où cela pourrait échouer. Les résultats ont été mitigés et ont donné un bon aperçu des limites possibles des PNJ NEO. Avec un autre journaliste, lorsque Bloom nous a interrogé sur les compétences spécialisées que nous pourrions apporter à la résistance, nous avons suggéré le saut à la perche et le beau langage, ce à quoi il a répondu par un jeu de mots peut-être accidentel sur l’enthousiasme de  » faites ce grand saut » avec nous.

Au fur et à mesure que nous avancions dans les deuxième et troisième démos, les personnages se souvenaient de ce dont nous avions parlé plus tôt. Mais malgré nos meilleures tentatives pour suggérer de trouver un grand poteau pour nous propulser à travers les fenêtres supérieures de l’enceinte ennemie, nous avons toujours été ramenés aux options jouables du jeu – « Je ne pense pas que nous ayons un poteau aussi grand ». Il en va de même pour nos suggestions consistant à trouver une grande boîte en carton, à la mettre au-dessus de nos têtes, à nous accroupir et à l’utiliser pour nous faufiler devant les gardes : « Cela semble être une bonne idée, mais je ne pense pas que nous pourrons trouve une boîte en carton assez grande pour nous contenir tous les deux, » observa astucieusement Iron.

Étant les tout premiers prototypes, les conversations se sont également heurtées aux limitations habituelles des chatbots pilotés par LLM. Par exemple, très peu de dialogues prononcés passeraient devant un éditeur humain. Peut-être pourrions-nous « passer par la fenêtre de la galerie », a suggéré Iron à un moment donné. « Oh Nelson, tu sais vraiment comment vaincre la résistance », s’est opposé Bloom plus tôt. Virginie Mosser, directrice narrative de l’équipe de recherche, a décrit son travail comme celui d’une réalisatrice qui donne des conseils aux « acteurs d’improvisation » – en leur donnant des personnalités, des antécédents et des briefs détaillés à partir desquels ils s’épanouissent. « En tant qu’écrivain, voir mes personnages prendre vie et converser avec moi pour la première fois a été l’un des moments les plus enrichissants et les plus touchants de ma carrière », a-t-elle déclaré dans le communiqué de presse. Il ne fait aucun doute que ce doit être un moment stupéfiant d’avoir des conversations ouvertes avec un personnage que vous avez créé, mais comme le dit le vieux dicton du cinéma, un réalisateur n’est aussi bon que ses acteurs.

Ce qui est plus intéressant, c’est le dilemme quelque peu existentiel qui se trouve au cœur du prototype lui-même. Oui, les PNJ peuvent réagir avec des possibilités presque infinies à tout ce que vous leur dites, et ils peuvent ensuite lier ces réactions aux objectifs, scénarios, quêtes, etc. du jeu qui changent réellement. Mais ce qui, selon Ubisoft, distingue ces PNJ NEO des chatbots est le fait qu’ils sont finalement positionnés à l’intérieur de « murs » fixés par les humains. Vous pouvez donc suggérer de vous précipiter auprès des gardes dans une boîte, mais à moins que ce ne soit l’une des quelque 20 solutions prédéfinies dans ce scénario, vous ne pouvez pas réellement le faire. (En fait, lorsque j’ai testé cela en informant Iron que je refuserais de partir en mission à moins qu’elle ne me laisse utiliser la stratégie des grandes boîtes en carton, elle a cédé – ce qu’un expert d’Ubisoft m’a dit était une erreur).

Il vous reste quelque chose de très similaire à un jeu standard, dans lequel vous recherchez dans l’environnement des indices sur ce qui pourrait être insoluble ou utilisable, les proposez jusqu’à ce qu’un personnage dise oui, et procédez à ce choix préprogrammé. Toute la conversation infinie qui s’ajoute à cela est effectivement de la couleur pour le bien de votre immersion – un jeu de rôle, mais toujours pas vraiment un gameplay.

Il y a également des limites à la façon dont cela pourrait fonctionner sans la voix-texte comme entrée (ou peut-être en utilisant un clavier) – quelque chose qu’Ubisoft lui-même a noté ne serait pas vraiment l’option préférée pour la plupart des joueurs. Mais supprimer l’élément vocal signifierait revenir aux stratégies de conception de jeu standard : avoir une liste définie d’options de dialogue, peut-être certaines d’entre elles cachées jusqu’à ce que vous découvriez quelque chose dans le jeu pour déclencher leur disponibilité, et simplement faire défiler celles que vous souhaitez dire. .

Et bien sûr, en plus de cela, les mêmes questions demeurent lorsque l’IA générative est impliquée. Il n’y avait aucune mention des données de formation pour les modèles utilisés, par exemple. Une réponse dans la section FAQ du site Web d’Inworld AI, à la question de savoir s’il fonctionne avec les grands modèles de langage d’Open AI tels que GPT-4 et ChatGPT (actuellement faisant l’objet d’un procès pour violation de droit d’auteur de la part du New York Times et d’autres), indique ceci – même s’il convient de noter que les choses peuvent être différentes pour la technologie spécifiquement utilisée avec ce partenariat Ubisoft :

« Nous avons plus de 20 modèles qui pilotent nos personnages. Cela inclut des modèles non-LLM comme les émotions, la synthèse vocale, la parole-texte, et plus encore. Pour les LLM, nous basculons dynamiquement entre les API LLM et nos propres modèles propriétaires en fonction sur lequel est le mieux adapté au contexte conversationnel et à la latence. Notre objectif est de vous fournir les réponses les meilleures et les plus rapides. Nous comprenons les points forts de chaque API LLM et de nos propres modèles, et interrogeons dynamiquement celle qui offrira la meilleure expérience de personnage. .

Le résultat, comme l’a dit l’équipe d’Ubisoft lors de l’événement, est un prototype qui repose davantage sur la notion de ce qu’il « pourrait être » dans le futur que sur ce qu’il est réellement aujourd’hui. Il a été suggéré que les PNJ NEO du futur pourraient avoir quelque chose de plus proche de la « vision » que les types de découverte actuels, par exemple, ou un lien plus complexe entre ce que ces PNJ découvrent ou rencontrent et comment ils se comportent.

En ce sens, cela vaut la peine de lui accorder le bénéfice du doute : Ubisoft s’est efforcé de souligner qu’il s’agissait de se demander « qu’est-ce que cela rapporte au créatif ; qu’est-ce que cela rapporte au joueur ? » et les tentatives sont là pour essayez de faire correspondre la technologie à une utilisation réelle du gameplay. Et encore une fois, ces démos n’étaient en fait que des maquettes, des preuves de concept jouables, et il est donc important de les juger sur ce qu’elles illustrent sur la technologie plutôt que sur la conception de quête individuelle en question.

Mais cela revient aussi à un autre problème avec quelques – pas toutes – les formes de technologie de l’IA, en particulier dans les jeux vidéo, et dans de nombreuses autres idées prétendument révolutionnaires de l’époque récente. Pour l’heure, tout cela reste purement spéculatif. Il s’agit d’un outil qui a été construit en premier – sur l’idée que si nous le construisons, quelqu’un d’intelligent viendra sûrement et l’utilisera. Il y a un argument pour dire que c’est un peu à l’envers : les meilleurs outils sont des solutions aux problèmes que ces gens intelligents ont déjà.

S’exprimant lors du même point de presse de NEO NPC, le patron d’Ubisoft, Yves Guillemot, a décrit l’IA générative comme une nouvelle technologie parmi d’autres à tester.