Make this article seo compatible,Let there be subheadings for the article, be in french, create at least 700 words
Open Source GPT Chat a fait un autre pas en avant avec la sortie du Dolly Large Language Model (DLL) créé par la société de logiciels d’entreprise Databricks.
Le nouveau clone de ChatGPT s’appelle Dolly, du nom du célèbre mouton de ce nom, le premier mammifère à être cloné.
Modèles de grands langages open source
Le Dolly LLM est la dernière manifestation du mouvement croissant de l’IA open source qui cherche à offrir un meilleur accès à la technologie afin qu’elle ne soit pas monopolisée et contrôlée par de grandes entreprises.
L’une des préoccupations à l’origine du mouvement de l’IA open source est que les entreprises peuvent être réticentes à transmettre des données sensibles à un tiers qui contrôle la technologie de l’IA.
Basé sur l’Open Source
Dolly a été créé à partir d’un modèle open source créé par l’institut de recherche à but non lucratif EleutherAI et le modèle Alpaca de l’Université de Stanford, lui-même créé à partir du modèle LLaMA open source à 65 milliards de paramètres créé par Meta.
LLaMA, qui signifie Large Language Model Meta AI, est un modèle de langage formé sur des données accessibles au public.
Selon un article de Weights & Biases, LLaMA peut surpasser la plupart des meilleurs modèles de langage (OpenAI GPT-3, Gopher de Deep Mind et Chinchilla de DeepMind) malgré sa petite taille.
Créer un meilleur ensemble de données
Une autre inspiration est venue d’un document de recherche universitaire (SELF-INSTRUCT : Aligning Language Model with Self Generated Instructions PDF) qui décrivait un moyen de créer des données de formation de questions et réponses auto-générées de haute qualité qui sont meilleures que les données publiques limitées.
Le document de recherche Self-Instruct explique:
« … nous organisons un ensemble d’instructions rédigées par des experts pour de nouvelles tâches et montrons par une évaluation humaine que le réglage de GPT3 avec SELF-INSTRUCT surpasse largement l’utilisation des ensembles de données d’instructions publiques existants, ne laissant qu’un écart absolu de 5 % derrière InstructGPT…
… En appliquant notre méthode à la vanille GPT3, nous démontrons une amélioration absolue de 33% par rapport au modèle original sur SUPERNATURALINSTRUCTIONS, à égalité avec les performances de InstructGPT… qui est formé avec des données d’utilisateurs privés et des annotations humaines.
L’importance de Dolly est qu’il démontre qu’un grand modèle de langage utile peut être créé avec un ensemble de données plus petit mais de haute qualité.
Databricks observe :
«Dolly fonctionne en prenant un modèle de paramètres open source existant de 6 milliards d’EleutherAI et en le modifiant légèrement pour obtenir des instructions suivant des capacités telles que le brainstorming et la génération de texte non présentes dans le modèle d’origine, en utilisant les données d’Alpaca.
… Nous montrons que n’importe qui peut prendre un grand modèle de langage (LLM) open source prêt à l’emploi et lui donner une capacité magique de suivi d’instructions de type ChatGPT en l’entraînant en 30 minutes sur une machine, en utilisant des données d’entraînement de haute qualité.
Étonnamment, le suivi des instructions ne semble pas nécessiter les modèles les plus récents ou les plus grands : notre modèle ne comporte que 6 milliards de paramètres, contre 175 milliards pour le GPT-3. »
IA open source Databricks
On dit que Dolly démocratise l’IA. Cela fait partie d’un mouvement d’habillage qui a récemment été rejoint par l’organisation à but non lucratif Mozilla avec la fondation de Mozilla.ai. Mozilla est l’éditeur du navigateur Firefox et d’autres logiciels open source.
Lisez l’annonce complète de Databricks :
Hello Dolly : Démocratiser la magie de ChatGPT avec des modèles ouverts