Meta a construit un supercalculateur d'IA qui, selon lui, sera le plus rapide au monde d'ici la fin de 2022

Le conglomérat de médias sociaux Meta est la dernière entreprise technologique à avoir construit un “supercalculateur d'IA”, un ordinateur à grande vitesse conçu spécifiquement pour former des systèmes d'apprentissage automatique. La société affirme que son nouveau AI Research SuperCluster, ou RSC, fait déjà partie des machines les plus rapides de ce type et, une fois terminé à la mi-2022, sera le plus rapide au monde.

“Meta a développé ce que nous pensons être le supercalculateur d'IA le plus rapide au monde”, a déclaré le PDG de Meta, Mark Zuckerberg, dans un communiqué. “Nous l'appelons RSC pour AI Research SuperCluster et il sera terminé plus tard cette année.”

La nouvelle démontre la centralité absolue de la recherche en IA pour des entreprises comme Meta. Des rivaux comme Microsoft et Nvidia ont déjà annoncé leurs propres “supercalculateurs IA”, qui sont légèrement différents de ce que nous considérons comme des supercalculateurs ordinaires. RSC sera utilisé pour former une gamme de systèmes dans les activités de Meta : des algorithmes de modération de contenu utilisés pour détecter les discours de haine sur Facebook et Instagram aux fonctionnalités de réalité augmentée qui seront un jour disponibles dans le futur matériel AR de l'entreprise. Et, oui, Meta dit que RSC sera utilisé pour concevoir des expériences pour le métaverse – la marque insistante de l'entreprise pour une série interconnectée d'espaces virtuels, des bureaux aux arènes en ligne.

“RSC aidera les chercheurs en IA de Meta à créer de nouveaux et meilleurs Modèles d'IA”

« RSC aidera les chercheurs en IA de Meta à créer de nouveaux et meilleurs modèles d'IA capables d'apprendre à partir de milliers de milliards d'exemples ; travailler dans des centaines de langues différentes ; analysez en toute transparence le texte, les images et la vidéo ensemble ; développer de nouveaux outils de réalité augmentée ; et bien plus encore », écrivent les ingénieurs Meta Kevin Lee et Shubho Sengupta dans un article de blog décrivant les nouvelles.

“Nous espérons que RSC nous aidera à construire des systèmes d'IA entièrement nouveaux qui peuvent, par exemple, fournir des traductions vocales en temps réel à de grands groupes de personnes, chacun parlant une langue différente, afin qu'ils peuvent collaborer de manière transparente sur un projet de recherche ou jouer ensemble à un jeu AR. »

Le supercalculateur d'IA de Meta devrait être terminé d'ici la mi-2022. Image : Méta

Les travaux sur RSC ont commencé il y a un an et demi, les ingénieurs de Meta concevant les différents systèmes de la machine – refroidissement, alimentation, réseau et câblage – entièrement à partir de zéro. La première phase de RSC est déjà opérationnelle et se compose de 760 systèmes Nvidia GGX A100 contenant 6 080 GPU connectés (un type de processeur particulièrement efficace pour résoudre les problèmes d'apprentissage automatique). Meta dit qu'il fournit déjà des performances jusqu'à 20 fois améliorées sur ses tâches de recherche standard en vision industrielle.

Avant la fin de 2022, cependant, la phase deux de RSC sera terminée. À ce stade, il contiendra quelque 16 000 GPU au total et pourra former des systèmes d'IA “avec plus d'un billion de paramètres sur des ensembles de données aussi volumineux qu'un exaoctet”. (Ce nombre brut de GPU ne fournit qu'une mesure étroite des performances globales d'un système, mais, à titre de comparaison, le supercalculateur d'IA de Microsoft construit avec le laboratoire de recherche OpenAI est construit à partir de 10 000 GPU.)

Ces chiffres sont tous très impressionnants, mais ils invitent à se poser la question : qu'est-ce qu'un supercalculateur IA de toute façon ? Et comment se compare-t-il à ce que nous considérons habituellement comme des superordinateurs – de vastes machines déployées par les universités et les gouvernements pour calculer des chiffres dans des domaines complexes comme l'espace, la physique nucléaire et le changement climatique ?

Les deux types de systèmes, connus sous le nom d'ordinateurs hautes performances ou HPC, sont certainement plus similaires que différents. Les deux sont plus proches des centres de données que les ordinateurs individuels en termes de taille et d'apparence et s'appuient sur un grand nombre de processeurs interconnectés pour échanger des données à des vitesses extrêmement rapides. Mais il existe des différences essentielles entre les deux, comme l'explique l'analyste HPC Bob Sorensen d'Hyperion Research à The Verge. “Les HPC basés sur l'IA vivent dans un monde quelque peu différent de leurs homologues HPC traditionnels”, déclare Sorensen, et la grande distinction réside dans la précision.

Les supercalculateurs IA et les supercalculateurs ordinaires ne peuvent pas nécessairement être comparés à des pommes

La brève explication est que l'apprentissage automatique nécessite moins de précision que les tâches confiées aux superordinateurs traditionnels, et donc les “superordinateurs IA” (un peu de marque récente) peuvent effectuer plus de calculs par seconde que leurs frères habituels utilisant le même matériel. Cela signifie que lorsque Meta dit qu'il a construit le “supercalculateur d'IA le plus rapide au monde”, ce n'est pas nécessairement une comparaison directe avec les supercalculateurs que vous voyez souvent dans les actualités (dont les classements sont compilés par le Top500.org indépendant et publiés deux fois par an).

Pour expliquer cela un peu plus, vous devez savoir que les supercalculateurs et les supercalculateurs IA effectuent des calculs en utilisant ce qu'on appelle l'arithmétique à virgule flottante – un raccourci mathématique extrêmement utile pour effectuer des calculs à l'aide de très grands et de très petits nombres (la “virgule flottante ” en question est le point décimal, qui “flotte” entre les chiffres significatifs). Le degré de précision déployé dans les calculs en virgule flottante peut être ajusté en fonction de différents formats, et la vitesse de la plupart des supercalculateurs est calculée à l'aide de ce que l'on appelle des opérations en virgule flottante 64 bits par seconde, ou FLOP. Cependant, comme les calculs d'IA nécessitent moins de précision, les supercalculateurs d'IA sont souvent mesurés en FLOP 32 bits ou même 16 bits. C'est pourquoi comparer les deux types de systèmes n'est pas nécessairement des pommes avec des pommes, bien que cette mise en garde ne diminue pas la puissance et la capacité incroyables des supercalculateurs IA.

Sorensen offre également une mise en garde supplémentaire. Comme c'est souvent le cas avec l'approche « vitesses et flux » pour évaluer le matériel, les vitesses maximales vantées ne sont pas toujours représentatives. « Les fournisseurs de HPC citent généralement des chiffres de performances qui indiquent la vitesse absolue de fonctionnement de leur machine. Nous appelons cela la performance de pointe théorique », explique Sorensen. « Cependant, la véritable mesure d'une bonne conception de système est celle qui peut fonctionner rapidement sur les tâches pour lesquelles ils sont conçus. En effet, il n'est pas rare que certains HPC atteignent moins de 25 % de leurs soi-disant performances de pointe lors de l'exécution d'applications réelles.

En d'autres termes : la véritable utilité des supercalculateurs réside dans le travail qu'ils effectuent, et non dans leurs performances de pointe théoriques. Pour Meta, ce travail signifie construire des systèmes de modération à un moment où la confiance dans l'entreprise est au plus bas et signifie créer une nouvelle plate-forme informatique – qu'elle soit basée sur des lunettes de réalité augmentée ou le métaverse – qu'elle peut dominer face à rivaux comme Google, Microsoft et Apple. Un supercalculateur IA offre à l'entreprise une puissance brute, mais Meta doit encore trouver par lui-même la stratégie gagnante.