Introduction
Le groupe d'intelligence artificielle MLCommons a présenté deux nouveaux critères d'évaluation qui, selon lui, peuvent aider à déterminer la rapidité avec laquelle du matériel et des logiciels de pointe peuvent exécuter des applications d'IA.
Contexte
Depuis le lancement de ChatGPT par OpenAI il y a plus de deux ans, les entreprises de puces ont commencé à réorienter leurs efforts vers la création de matériel capable de faire fonctionner efficacement le code qui permet à des millions de personnes d'utiliser des outils d'IA. Étant donné que les modèles sous-jacents doivent répondre à un nombre beaucoup plus élevé de requêtes pour alimenter des applications d'IA telles que les chatbots et les moteurs de recherche, MLCommons a développé deux nouvelles versions de ses critères d'évaluation MLPerf pour mesurer la vitesse.
Développements
Critères d'Évaluation
- Un des nouveaux critères d'évaluation est basé sur le modèle d'IA de Meta, le Llama 3.1 à 405 milliards de paramètres, et le test cible la réponse à des questions générales, la mathématique et la génération de code. Le nouveau format teste la capacité d'un système à traiter de grandes requêtes et à synthétiser des données provenant de plusieurs sources.
- Nvidia a soumis plusieurs de ses puces pour le critère d'évaluation, tout comme des constructeurs de systèmes tels que Dell Technologies. Il n'y avait aucune soumission d'Advanced Micro Devices pour le critère d'évaluation volumineux de 405 milliards de paramètres, selon les données fournies par MLCommons.
- Pour le nouveau test, la dernière génération de serveurs d'intelligence artificielle de Nvidia - appelée Grace Blackwell, qui intègre 72 unités de traitement graphique (GPUs) - était de 2.8 à 3.4 fois plus rapide que la génération précédente, même en n'utilisant que huit GPUs dans le nouveau serveur pour établir une comparaison directe avec le modèle ancien, a déclaré l'entreprise lors d'un briefing mardi.
- Nvidia a travaillé pour accélérer les connexions des puces à l'intérieur de ses serveurs, ce qui est important dans le travail d'IA où un chatbot fonctionne simultanément sur plusieurs puces.
- Le second critère d'évaluation est également basé sur un modèle d'IA open-source construit par Meta et vise à simuler plus étroitement les attentes de performance fixées par des applications d'IA grand public comme ChatGPT.
- L'objectif est de raccourcir le temps de réponse pour le critère d'évaluation et de le rapprocher d'une réponse instantanée.
Conclusion
Ces nouveaux benchmarks définis par MLCommons pourraient transformer la manière dont les performances des applications d'IA sont mesurées et optimisées, tout en soulignant l'évolution constante du matériel et des logiciels dans ce domaine en rapide expansion.