Meta hat einen KI-Supercomputer gebaut, von dem es sagt, dass er bis Ende 2022 der schnellste der Welt sein wird

Der Social-Media-Konglomerat Meta ist das jüngste Technologieunternehmen, das einen „KI-Supercomputer“ gebaut hat – einen Hochgeschwindigkeitscomputer, der speziell zum Trainieren von maschinellen Lernsystemen entwickelt wurde. Das Unternehmen sagt, dass sein neuer AI Research SuperCluster oder RSC bereits zu den schnellsten Maschinen seiner Art gehört und nach seiner Fertigstellung Mitte 2022 der schnellste der Welt sein wird.

„Meta hat den unserer Meinung nach schnellsten KI-Supercomputer der Welt entwickelt“, sagte Mark Zuckerberg, CEO von Meta, in einer Erklärung. „Wir nennen es RSC for AI Research SuperCluster und es wird noch in diesem Jahr fertiggestellt.“

Die Nachricht zeigt die absolute Zentralität der KI-Forschung für Unternehmen wie Meta. Konkurrenten wie Microsoft und Nvidia haben bereits ihre eigenen „KI-Supercomputer“ angekündigt, die sich geringfügig von dem unterscheiden, was wir unter normalen Supercomputern verstehen. RSC wird verwendet, um eine Reihe von Systemen in den Geschäftsbereichen von Meta zu trainieren: von Inhaltsmoderationsalgorithmen zur Erkennung von Hassreden auf Facebook und Instagram bis hin zu Augmented-Reality-Funktionen, die eines Tages in der zukünftigen AR-Hardware des Unternehmens verfügbar sein werden. Und ja, laut Meta wird RSC verwendet, um Erfahrungen für das Metaverse zu entwerfen – das beharrliche Branding des Unternehmens für eine Reihe miteinander verbundener virtueller Räume, von Büros bis hin zu Online-Arenen.

„RSC wird den KI-Forschern von Meta helfen, neue und bessere zu bauen KI-Modelle“

„RSC wird den KI-Forschern von Meta dabei helfen, neue und bessere KI-Modelle zu entwickeln, die aus Billionen von Beispielen lernen können; Arbeiten Sie in Hunderten von verschiedenen Sprachen; Text, Bilder und Videos nahtlos zusammen analysieren; Entwicklung neuer Augmented-Reality-Tools; und vieles mehr“, schreiben die Meta-Ingenieure Kevin Lee und Shubho Sengupta in einem Blogbeitrag, in dem sie die Neuigkeiten skizzieren.

„Wir hoffen, dass RSC uns dabei helfen wird, völlig neue KI-Systeme zu entwickeln, die beispielsweise Sprachübersetzungen in Echtzeit für große Gruppen von Menschen ermöglichen, von denen jeder eine andere Sprache spricht, also sie nahtlos an einem Forschungsprojekt zusammenarbeiten oder gemeinsam ein AR-Spiel spielen.“

Der KI-Supercomputer von Meta soll bis Mitte 2022 fertig sein. Bild: Meta

Die Arbeit an RSC begann vor anderthalb Jahren, als die Ingenieure von Meta die verschiedenen Systeme der Maschine – Kühlung, Stromversorgung, Netzwerk und Verkabelung – komplett von Grund auf neu entwickelten. Phase eins von RSC ist bereits in Betrieb und besteht aus 760 Nvidia GGX A100-Systemen mit 6.080 angeschlossenen GPUs (ein Prozessortyp, der sich besonders gut für die Bewältigung von Problemen mit maschinellem Lernen eignet). Meta sagt, dass es bereits eine bis zu 20-mal verbesserte Leistung bei seinen Standardforschungsaufgaben für die Bildverarbeitung bietet.

Vor Ende 2022 wird die zweite Phase von RSC jedoch abgeschlossen sein. Zu diesem Zeitpunkt wird es insgesamt rund 16.000 GPUs enthalten und in der Lage sein, KI-Systeme „mit mehr als einer Billion Parametern auf Datensätzen von bis zu einem Exabyte“ zu trainieren. (Diese rohe Anzahl von GPUs liefert nur eine knappe Metrik für die Gesamtleistung eines Systems, aber zum Vergleich: Microsofts KI-Supercomputer, der mit dem Forschungslabor OpenAI gebaut wurde, besteht aus 10.000 GPUs.)

Diese Zahlen sind alle sehr beeindruckend, aber sie werfen die Frage auf: Was ist überhaupt ein KI-Supercomputer? Und wie sieht es im Vergleich zu dem aus, was wir normalerweise als Supercomputer betrachten – riesige Maschinen, die von Universitäten und Regierungen eingesetzt werden, um Zahlen in komplexen Bereichen wie Weltraum, Kernphysik und Klimawandel zu ermitteln?

Die beiden als Hochleistungsrechner oder HPCs bezeichneten Systemtypen sind sich sicherlich eher ähnlich als unterschiedlich. Beide sind in Größe und Aussehen näher an Rechenzentren als einzelne Computer und verlassen sich auf eine große Anzahl miteinander verbundener Prozessoren, um Daten mit rasender Geschwindigkeit auszutauschen. Aber es gibt entscheidende Unterschiede zwischen den beiden, wie HPC-Analyst Bob Sorensen von Hyperion Research gegenüber The Verge erklärt. „KI-basierte HPCs leben in einer etwas anderen Welt als ihre traditionellen HPC-Pendants“, sagt Sorensen, und der große Unterschied liegt in der Genauigkeit.

KI-Supercomputer und normale Supercomputer können nicht unbedingt Äpfel mit Äpfeln verglichen werden

Die kurze Erklärung ist, dass maschinelles Lernen weniger Genauigkeit erfordert als die Aufgaben, die herkömmlichen Supercomputern auferlegt werden, und daher können „KI-Supercomputer“ (ein bisschen neueres Branding) mehr Berechnungen pro Sekunde durchführen als ihre normalen Brüder, die dieselbe Hardware verwenden. Das heißt, wenn Meta sagt, dass es den „schnellsten KI-Supercomputer der Welt“ gebaut hat, ist das nicht unbedingt ein direkter Vergleich mit den Supercomputern, die Sie oft in den Nachrichten sehen (deren Ranglisten von der unabhängigen Top500.org zusammengestellt und zweimal im Jahr veröffentlicht werden).

Um dies ein wenig näher zu erklären, müssen Sie wissen, dass sowohl Supercomputer als auch KI-Supercomputer Berechnungen mit der sogenannten Gleitkommaarithmetik durchführen – einer mathematischen Abkürzung, die äußerst nützlich ist, um Berechnungen mit sehr großen und sehr kleinen Zahlen durchzuführen (die „Gleitkommazahlen“) “ handelt es sich um den Dezimalpunkt, der zwischen signifikanten Stellen „schwebt“). Die Genauigkeit von Fließkommaberechnungen lässt sich anhand verschiedener Formate anpassen, und die Geschwindigkeit der meisten Supercomputer wird mit sogenannten 64-Bit-Fließkommaoperationen pro Sekunde oder FLOPs berechnet. Da KI-Berechnungen jedoch weniger Genauigkeit erfordern, werden KI-Supercomputer oft in 32-Bit- oder sogar 16-Bit-FLOPs gemessen. Aus diesem Grund ist der Vergleich der beiden Systemtypen nicht unbedingt Äpfel mit Äpfeln, obwohl dieser Vorbehalt die unglaubliche Leistung und Kapazität von KI-Supercomputern nicht schmälert.

Sorensen bietet auch ein zusätzliches Wort der Vorsicht an. Wie so oft beim Ansatz „Geschwindigkeiten und Vorschübe“ zur Bewertung von Hardware sind die gepriesenen Höchstgeschwindigkeiten nicht immer repräsentativ. „HPC-Anbieter geben normalerweise Leistungszahlen an, die die absolute Höchstgeschwindigkeit angeben, die ihre Maschine ausführen kann. Wir nennen das die theoretische Spitzenleistung“, sagt Sorensen. „Der eigentliche Maßstab für ein gutes Systemdesign ist jedoch eines, das die Aufgaben, für die es ausgelegt ist, schnell ausführen kann. Tatsächlich ist es nicht ungewöhnlich, dass einige HPCs weniger als 25 Prozent ihrer sogenannten Spitzenleistung erreichen, wenn reale Anwendungen ausgeführt werden.“

Mit anderen Worten: Der wahre Nutzen von Supercomputern liegt in ihrer Arbeit, nicht in ihrer theoretischen Höchstleistung. Für Meta bedeutet diese Arbeit den Aufbau von Moderationssystemen in einer Zeit, in der das Vertrauen in das Unternehmen auf einem Allzeittief ist, und die Schaffung einer neuen Computerplattform – ob auf der Grundlage von Augmented-Reality-Brillen oder des Metaversums – die es angesichts dessen dominieren kann Konkurrenten wie Google, Microsoft und Apple. Ein KI-Supercomputer bietet dem Unternehmen rohe Kraft, aber Meta muss immer noch selbst die Erfolgsstrategie finden.