AMD a présenté au CES son nouvel accélérateur Instinct MI325X, le premier GPU au monde avec 256 Go de mémoire HBM3E, visant les applications d’intelligence artificielle et de calcul haute performance. Avec une bande passante de 6 To/s et une architecture similaire à l’Instinct MI300X, il surpasse les modèles concurrents, comme le Nvidia H200. Toutefois, des tests révèlent que le MI300X n’a pas encore atteint son potentiel, laissant planer des doutes sur l’efficacité du MI325X face à la concurrence.
Présentation de l’AMD Instinct MI325X au CES
Lors de sa participation au CES, AMD a dévoilé son dernier accélérateur, l’Instinct MI325X, conçu pour les applications d’intelligence artificielle (IA) et de calcul haute performance (HPC). Ce modèle se distingue comme le premier processeur au monde à intégrer 256 Go de mémoire HBM3E, promettant de devenir l’un des GPU les plus performants pour l’inférence.
Caractéristiques techniques de l’Instinct MI325X
Bien que le Consumer Electronics Show soit principalement axé sur les nouvelles technologies destinées aux consommateurs, les entreprises de semi-conducteurs en profitent souvent pour mettre en avant des innovations adaptées à l’événement. Nvidia a consacré une grande partie de son discours d’ouverture à l’IA, tandis qu’AMD a également présenté plusieurs processeurs pour PC, tout en dévoilant son nouvel Instinct MI325X.
Ce nouvel accélérateur est doté du même GPU à double puce que celui de l’Instinct MI300X, intégrant 19 456 processeurs de flux (304 unités de calcul) avec une fréquence maximale de 2,10 GHz. L’Instinct MI325X se différencie par sa mémoire HBM3E de 256 Go, offrant une bande passante impressionnante de 6 To/s, contre 192 Go de mémoire HBM3 avec 5,3 To/s pour le modèle précédent.
En comparaison, le modèle H200 de Nvidia est limité à 141 Go de mémoire HBM3E et une bande passante de 4,8 To/s, plaçant ainsi l’Instinct MI325X en tête du marché en ce qui concerne la capacité de mémoire HBM3E intégrée. Initialement, AMD avait prévu d’équiper le MI325X de 288 Go de HBM3E, mais a finalement réduit cette capacité à 256 Go sans explication précise.
Une mémoire plus importante à bord est essentielle pour les accélérateurs d’IA, tant pour l’entraînement que pour l’inférence, car les modèles modernes nécessitent de gérer des milliards de paramètres, ce qui requiert une quantité significative de mémoire pour stocker les données intermédiaires. L’augmentation de la mémoire GPU peut réduire le nombre de GPU nécessaires pour l’entraînement, allégeant ainsi la charge de travail.
De surcroît, les accélérateurs d’IA traitent les données par lots. Une capacité de mémoire accrue permet de travailler avec des tailles de lot plus importantes, entraînant un débit supérieur et des temps de traitement plus rapides. En revanche, une mémoire limitée contraint le modèle à utiliser des tailles de lot réduites, ce qui peut diminuer son efficacité.
Dans la pratique, la situation est quelque peu différente. Des tests ont montré qu’un système équipé de huit GPU Nvidia H100 de 80 Go obtient des résultats similaires en termes de jetons par seconde par rapport à une machine dotée de huit GPU AMD Instinct MI300X de 192 Go dans le cadre du benchmark MLPerf 4.1 sur le modèle Llama 2 70B. Cependant, un serveur de 8 voies avec des GPU H200 de 141 Go a surpassé une machine MI300X de 192 Go en produisant plus de 30 % de jetons par seconde.
Actuellement, il semblerait que l’Instinct MI300X n’ait pas pleinement exploité ses capacités matérielles, probablement à cause de limitations dans la pile logicielle. Il reste à déterminer si l’Instinct MI325X pourra surmonter ces obstacles et rivaliser efficacement avec ses concurrents.