Nvidia afslører H100 GPU til AI og driller 'verdens hurtigste AI-supercomputer'

Nvidia har annonceret en række AI-fokuserede virksomhedsprodukter på sin årlige GTC-konference. De inkluderer detaljer om dens nye siliciumarkitektur, Hopper; den første datacenter GPU bygget ved hjælp af denne arkitektur, H100; en ny Grace CPU “superchip”; og vage planer om at bygge, hvad virksomheden hævder, vil være verdens hurtigste AI-supercomputer, ved navn Eos.

Nvidia har haft stor gavn af AI-boomet i det sidste årti, hvor dets GPU'er har bevist en perfekt match til populære, dataintensive deep learning-metoder. Efterhånden som AI-sektorens efterspørgsel efter databeregning vokser, siger Nvidia, ønsker den at levere mere ildkraft.

Virksomheden understregede især populariteten af ​​en type maskinlæringssystem kendt som en transformer. Denne metode har været utrolig frugtbar, og den driver alt fra sprogmodeller som OpenAI's GPT-3 til medicinske systemer som DeepMind's AlphaFold. Sådanne modeller er steget eksponentielt i størrelse i løbet af et par år. Da OpenAI lancerede GPT-2 i 2019, for eksempel, indeholdt den 1,5 milliarder parametre (eller forbindelser). Da Google trænede en lignende model blot to år senere, brugte den 1,6 billioner parametre.

Da kunstig intelligens kræver mere computer, ønsker Nvidia at levere det

“Det tager stadig måneder at træne disse gigantiske modeller,” sagde Nvidias seniordirektør for produktledelse Paresh Kharya i en pressebriefing. »Så man fyrer et job og venter i halvanden måned for at se, hvad der sker. En vigtig udfordring for at reducere denne tid til træning er, at ydeevnegevinster begynder at falde, efterhånden som du øger antallet af GPU'er i et datacenter.”

Nvidia siger, at dens nye Hopper-arkitektur vil hjælpe med at afhjælpe disse vanskeligheder. Opkaldt efter banebrydende datalog og US Navy Rear Admiral Grace Hopper, er arkitekturen specialiseret til at accelerere træningen af ​​Transformer-modeller på H100 GPU'er med seks gange sammenlignet med tidligere generations chips, mens den nye fjerde generation Nivida NVlink kan forbinde op til 256 H100 GPU'er med ni gange højere båndbredde end den forrige generation.

Selve H100 GPU'en indeholder 80 milliarder transistorer og er den første GPU, der understøtter PCle Gen5 og bruger HBM3, hvilket muliggør hukommelsesbåndbredde på 3TB/s. Nvidia siger, at en H100 GPU er tre gange hurtigere end dens tidligere generation af A100 ved FP16, FP32 og FP64 beregninger og seks gange hurtigere ved 8-bit floating point matematik.

“Til træningen af ​​gigantiske Transformer-modeller vil H100 tilbyde op til ni gange højere ydeevne, træning på dage, hvad der plejede at tage uger,” sagde Kharya.

Virksomheden annoncerede også en ny datacenter-CPU, Grace CPU Superchip, som består af to CPU'er forbundet direkte via en ny lav-latency NVLink-C2C. Chippen er designet til at “tjene HPC- og AI-applikationer i gigantisk skala” sammen med de nye Hopper-baserede GPU'er og kan bruges til kun CPU-systemer eller GPU-accelererede servere. Den har 144 armkerner og 1 TB/s hukommelsesbåndbredde.

Den nye Grace CPU “superchip” består af to CPU'er forbundet med hinanden. Billede: Nvidia

Ud over hardware- og infrastrukturnyheder annoncerede Nvidia også opdateringer til sine forskellige enterprise AI-softwaretjenester, inklusive Maxine (en SDK til at levere lyd- og videoforbedringer, beregnet til at drive ting som virtuelle avatarer) og Riva (en SDK, der bruges til både talegenkendelse) og tekst-til-tale).

Virksomheden drillede også, at den var ved at bygge en ny AI-supercomputer, som den hævder vil være verdens hurtigste, når den implementeres. Supercomputeren, kaldet Eos, vil blive bygget ved hjælp af Hopper-arkitekturen og indeholde omkring 4.600 H100 GPU'er for at tilbyde 18,4 exaflops af “AI-ydeevne.” Systemet vil kun blive brugt til Nvidias interne forskning, og virksomheden sagde, at det ville være online om et par måneder.

I løbet af de sidste par år har en række virksomheder med stor interesse for AI bygget eller annonceret deres egne interne “AI-supercomputere” til intern forskning, herunder Microsoft, Tesla og Meta. Disse systemer er ikke direkte sammenlignelige med almindelige supercomputere, da de kører med et lavere niveau af nøjagtighed, hvilket har gjort det muligt for en række virksomheder hurtigt at springe hinanden ved at annoncere verdens hurtigste.

Men Under sin hovedtale sagde Nvidia CEO Jensen Huang, at Eos, når de kører traditionelle supercomputeropgaver, ville have 275 petaFLOPS computere – 1,4 gange hurtigere end “den hurtigste videnskabscomputer i USA” (topmødet). “Vi forventer, at Eos er den hurtigste AI-computer i verden,” sagde Huang. “Eos vil være planen for den mest avancerede AI-infrastruktur for vores OEM'er og cloud-partnere.”