Doug Eadline, un expert en informatique, remet en question la validité des termes « Zettascale » et « Exascale-class » pour les supercalculateurs d’IA. Il souligne que ces termes sont souvent mal utilisés en raison de mesures spéculatives plutôt que de résultats concrets. Eadline clarifie la distinction entre les performances en virgule flottante à faible et haute précision, affirmant que seul un système vérifié par des benchmarks comme HPLinpack peut véritablement prétendre à des capacités exascale ou zettascale.
Un important expert a exprimé des doutes sur la crédibilité des affirmations concernant les supercalculateurs d’IA de classe « Zettascale » et « Exascale ».
Dans une analyse approfondie, Doug Eadline de HPCWire détaille comment des termes comme exascale, qui se réfèrent habituellement à des ordinateurs capables d’atteindre un quintillion d’opérations par seconde (FLOPS), sont souvent mal interprétés ou employés de manière erronée, notamment en ce qui concerne les exigences des charges de travail d’IA. Eadline note que de nombreuses annonces récentes vantant des performances « exascale » ou même « zettascale » sont fondées sur des estimations théoriques plutôt que sur des données vérifiées. Il pose la question : « Comment ces chiffres proviennent-ils de systèmes encore en développement ? » Cette interrogation souligne la disparité entre les performances maximales théoriques et les résultats effectifs mesurés dans le secteur de l’informatique de haute performance. Le terme exascale devrait traditionnellement désigner les systèmes atteignant au moins 10^18 FLOPS dans des calculs d’une précision double soutenue (64 bits), une norme validée par des tests comme le High-Performance LINPACK (HPLinpack).
Comparaison Auto
Eadline explique que la distinction entre les FLOPS dans l’IA et ceux en calcul haute performance (HPC) est fondamentale. Les charges de l’IA utilisent fréquemment des formats de virgule flottante à faible précision tels que FP16, FP8 ou même FP4, tandis que les systèmes HPC traditionnels nécessitent une précision plus élevée pour garantir des résultats fiables.
L’usage de nombres à faible précision contribue à une surestimation des performances en exaFLOPS ou même en zettaFLOPS. Selon Eadline, il est absurde de parler de « zetaFLOPS pour l’IA » lorsque la machine en question n’a même pas fonctionné avec des applications d’IA. Il souligne également l’importance de s’appuyer sur des benchmarks éprouvés comme HPLinpack, qui sert de référence pour les performances HPC depuis 1993, et met en garde contre l’interprétation des pics théoriques qui peuvent induire en erreur.
Les deux superordinateurs actuels du club exascale – Frontier à l’Oak Ridge National Laboratory et Aurora à l’Argonne National Laboratory – ont été évalués avec des applications réelles, contrairement à de nombreux systèmes d’IA qui prétendent atteindre l’exascale.
Pour illustrer la différence entre les formats de virgule flottante, Eadline fait une analogie avec une voiture : « Une voiture standard utilisant FP64 pèse environ 1 814 kg (soit 4 000 livres) et peut transporter confortablement quatre personnes tout en atteignant une vitesse de 30 miles par heure. Maintenant, envisagez une voiture FP4, allégée à 113 kg, capable d’une incroyable vitesse de 480 miles par heure. Cela semble fantastique, mais il est important de noter qu’elle est dépouillée de nombreux éléments essentiels, à l’exception d’un petit moteur et d’un siège minimal. De plus, ses roues sont à 16 côtés (2^4), rendant la conduite moins agréable par rapport à celle de la berline FP64 qui possède des roues à environ 2^64 côtés. Si votre FP4 fonctionne bien sur un chemin d’inférence, elle rencontre des limitations sur l’autoroute HPC FP64.
L’analyse d’Eadline souligne que, bien que l’IA et le HPC convergent, les standards de performance pour chaque domaine demeurent distincts. Comme il le souligne, « ajouter des FLOPS d’IA ne sert à rien », insistant sur le fait que seuls les systèmes authentifiés, répondant aux exigences strictes des calculs en double précision, devraient être valorisés comme de vrais systèmes exascale ou zettascale.