Meta réchauffe la course aux armements de l’IA de Big Tech avec un nouveau modèle de langage

Par Yuvraj Malik et Katie Paul

(Reuters) – Meta Platforms Inc (NASDAQ 🙂 a annoncé vendredi qu’il publiait aux chercheurs un nouveau grand modèle de langage, le logiciel de base d’un nouveau système d’intelligence artificielle, alimentant une course aux armements en IA alors que les grandes entreprises de technologie se précipitent pour intégrer la technologie dans leurs produits et impressionner les investisseurs.

La bataille publique pour dominer l’espace technologique de l’IA a débuté à la fin de l’année dernière avec le lancement de ChatGPT d’OpenAI soutenu par Microsoft et a incité les poids lourds de la technologie d’Alphabet (NASDAQ 🙂 Inc à Baidu Inc (NASDAQ 🙂 en Chine à claironner leurs propres offres.

Le LLaMA de Meta, abréviation de Large Language Model Meta AI, sera disponible sous licence non commerciale pour les chercheurs et les entités affiliées au gouvernement, à la société civile et au milieu universitaire, a-t-il déclaré dans un blog.

Les grands modèles de langage exploitent de grandes quantités de texte afin de résumer les informations et de générer du contenu. Ils peuvent répondre à des questions, par exemple, avec des phrases qui peuvent se lire comme si elles avaient été écrites par des humains.

Le modèle, qui, selon Meta, nécessite « beaucoup moins » de puissance de calcul que les offres précédentes, est formé sur 20 langues, en mettant l’accent sur celles avec des alphabets latin et cyrillique.

« L’annonce de Meta aujourd’hui semble être une étape dans le test de leurs capacités d’IA générative afin qu’ils puissent les implémenter dans leurs produits à l’avenir », a déclaré Gil Luria, analyste logiciel senior chez DA Davidson.

« L’IA générative est une nouvelle application de l’IA avec laquelle Meta a moins d’expérience, mais qui est clairement importante pour l’avenir de son entreprise. »

L’IA est devenue un point positif pour les investissements dans l’industrie technologique, dont le ralentissement de la croissance a entraîné des licenciements généralisés et une réduction des paris expérimentaux.

Meta a déclaré que LLaMA pourrait surpasser les concurrents qui examinent plus de paramètres ou de variables que l’algorithme prend en compte.

Plus précisément, il a déclaré qu’une version de LLaMA avec 13 milliards de paramètres peut surpasser GPT-3, un prédécesseur récent du modèle sur lequel ChatGPT est construit.

Il a décrit son modèle LLaMA à 65 milliards de paramètres comme « compétitif » avec les Chinchilla70B et PaLM-540B de Google, qui sont encore plus grands que le modèle que Google a utilisé pour montrer sa recherche par chat Bard.

Une porte-parole de Meta a attribué la performance à une plus grande quantité de données « plus propres » et à des « améliorations architecturales » dans le modèle qui ont amélioré la stabilité de l’entraînement.

Meta en mai de l’année dernière a publié le grand modèle de langage OPT-175B, également destiné aux chercheurs, qui a constitué la base d’une nouvelle itération de son chatbot BlenderBot.

Il a ensuite introduit un modèle appelé Galactica, qui pouvait écrire des articles scientifiques et résoudre des problèmes mathématiques, mais a rapidement abandonné la démo après avoir généré de fausses réponses faisant autorité.