Meta har bygget en AI-supercomputer, som den siger vil være verdens hurtigste ved udgangen af ​​2022

Sociale medier-konglomeratet Meta er den seneste teknologivirksomhed, der har bygget en “AI-supercomputer” – en højhastighedscomputer designet specifikt til at træne maskinlæringssystemer. Virksomheden siger, at dets nye AI Research SuperCluster, eller RSC, allerede er blandt de hurtigste maskiner af sin type, og når de er færdige i midten af ​​2022, vil de være verdens hurtigste.

“Meta har udviklet, hvad vi mener er verdens hurtigste AI-supercomputer,” sagde Meta CEO Mark Zuckerberg i en erklæring. “Vi kalder det RSC for AI Research SuperCluster, og det vil være færdigt senere i år.”

Nyhederne viser den absolutte centralitet af AI-forskning for virksomheder som Meta. Rivaler som Microsoft og Nvidia har allerede annonceret deres egne “AI-supercomputere”, som er lidt anderledes end hvad vi tænker på som almindelige supercomputere. RSC vil blive brugt til at træne en række systemer på tværs af Metas virksomheder: fra indholdsmodereringsalgoritmer, der bruges til at opdage hadefulde ytringer på Facebook og Instagram til augmented reality-funktioner, der en dag vil være tilgængelige i virksomhedens fremtidige AR-hardware. Og ja, Meta siger, at RSC vil blive brugt til at designe oplevelser til metaverset – virksomhedens insisterende branding for en indbyrdes forbundne række virtuelle rum, fra kontorer til online arenaer.

“RSC vil hjælpe Metas AI-forskere med at bygge nyt og bedre AI-modeller”

“RSC vil hjælpe Metas AI-forskere med at bygge nye og bedre AI-modeller, der kan lære af billioner af eksempler; arbejde på tværs af hundredvis af forskellige sprog; analysere tekst, billeder og video problemfrit sammen; udvikle nye augmented reality-værktøjer; og meget mere,” skriver Meta-ingeniørerne Kevin Lee og Shubho Sengupta i et blogindlæg, der beskriver nyhederne.

“Vi håber, at RSC vil hjælpe os med at bygge helt nye AI-systemer, der f.eks. kan drive stemmeoversættelser i realtid til store grupper af mennesker, der hver taler et andet sprog, så de kan problemfrit samarbejde om et forskningsprojekt eller spille et AR-spil sammen.”

Metas AI-supercomputer skal være færdig i midten af ​​2022. Billede: Meta

Arbejdet med RSC begyndte for halvandet år siden, hvor Metas ingeniører designet maskinens forskellige systemer – køling, strøm, netværk og kabler – helt fra bunden. Fase et af RSC er allerede oppe og køre og består af 760 Nvidia GGX A100-systemer indeholdende 6.080 tilsluttede GPU'er (en type processor, der er særlig god til at tackle maskinlæringsproblemer). Meta siger, at det allerede leverer op til 20 gange forbedret ydeevne på sine standard maskinsynsforskningsopgaver.

Inden udgangen af ​​2022 vil fase to af RSC dog være færdig. På det tidspunkt vil den indeholde omkring 16.000 samlede GPU'er og vil være i stand til at træne AI-systemer “med mere end en billion parametre på datasæt så store som en exabyte.” (Dette ubehandlede antal GPU'er giver kun et snævert mål for et systems overordnede ydeevne, men for sammenligningens skyld er Microsofts AI-supercomputer bygget med forskningslaboratoriet OpenAI bygget af 10.000 GPU'er.)

Disse tal er alle meget imponerende, men de inviterer til spørgsmålet: hvad er en AI-supercomputer overhovedet? Og hvordan er det sammenlignet med det, vi normalt tænker på som supercomputere – enorme maskiner, der er indsat af universiteter og regeringer for at knuse tal på komplekse domæner som rum, kernefysik og klimaændringer?

De to typer systemer, kendt som højtydende computere eller HPC'er, er bestemt mere ens, end de er forskellige. Begge er tættere på datacentre end individuelle computere i størrelse og udseende og er afhængige af et stort antal indbyrdes forbundne processorer til at udveksle data med forbløffende høje hastigheder. Men der er vigtige forskelle mellem de to, som HPC-analytiker Bob Sorensen fra Hyperion Research forklarer til The Verge. “AI-baserede HPC'er lever i en noget anden verden end deres traditionelle HPC-modstykker,” siger Sørensen, og den store forskel handler om nøjagtighed.

AI-supercomputere og almindelige supercomputere kan ikke nødvendigvis sammenlignes æbler med æbler

Den korte forklaring er, at maskinlæring kræver mindre nøjagtighed end de opgaver, der stilles til traditionelle supercomputere, og derfor kan “AI-supercomputere” (lidt nyere branding) udføre flere beregninger i sekundet end deres almindelige brødre ved at bruge den samme hardware. Det betyder, at når Meta siger, at den er bygget “verdens hurtigste AI-supercomputer”, er det ikke nødvendigvis en direkte sammenligning med de supercomputere, du ofte ser i nyhederne (hvoraf ranglister er udarbejdet af den uafhængige Top500.org og udgivet to gange om året).

For at forklare dette lidt mere, skal du vide, at både supercomputere og AI-supercomputere laver beregninger ved hjælp af det, der er kendt som flydende komma-aritmetik – en matematisk stenografi, der er ekstremt nyttig til at lave beregninger ved hjælp af meget store og meget små tal (det “flydende komma ” det drejer sig om decimalkommaet, som “svæver” mellem betydende tal). Graden af ​​nøjagtighed anvendt i flydende kommaberegninger kan justeres baseret på forskellige formater, og hastigheden på de fleste supercomputere beregnes ved hjælp af såkaldte 64-bit flydende kommaoperationer per sekund eller FLOP'er. Men fordi AI-beregninger kræver mindre nøjagtighed, måles AI-supercomputere ofte i 32-bit eller endda 16-bit FLOP'er. Det er derfor, at sammenligning af de to typer systemer ikke nødvendigvis er æbler med æbler, selvom denne advarsel ikke mindsker den utrolige kraft og kapacitet af AI-supercomputere.

Sorensen kommer også med et ekstra advarselsord. Som det ofte er tilfældet med “speeds and feeds”-tilgangen til vurdering af hardware, er berygtede tophastigheder ikke altid repræsentative. “HPC-leverandører citerer typisk ydeevnetal, der angiver det absolut hurtigste, deres maskine kan køre. Det kalder vi den teoretiske peak performance,” siger Sørensen. “Men den virkelige målestok for et godt systemdesign er et, der kan køre hurtigt på de opgaver, de er designet til at udføre. Det er faktisk ikke ualmindeligt, at nogle HPC'er opnår mindre end 25 procent af deres såkaldte topydelse, når de kører applikationer fra den virkelige verden.”

Med andre ord: Supercomputeres sande nytte er at finde i det arbejde, de udfører, ikke deres teoretiske topydelse. For Meta betyder det arbejde at opbygge moderationssystemer på et tidspunkt, hvor tilliden til virksomheden er på et rekordlavt niveau, og det betyder at skabe en ny computerplatform – hvad enten den er baseret på augmented reality-briller eller metaversen – som den kan dominere i lyset af rivaler som Google, Microsoft og Apple. En AI-supercomputer tilbyder virksomheden råkraft, men Meta mangler stadig at finde den vindende strategi på egen hånd.