Nul
Billede: Nvidia
For $400,000, du kunne få omkring 400 X iPhone telefoner, 300 Surface Pro laptops, eller 11 Tesla Serie 3 el-biler. Men det ville tage hele $400K og mere for at få dine hænder på blot en Nvidia DGX-2-server, der er faktureret som “verdens mest magtfulde AI-system til de mest komplekse-AI udfordrer”.
Men gør DGX-2 leve op til dette krav-og er en server er virkelig værd at sådan en øje-vanding pris?
DGX fortsat
For at besvare disse spørgsmål, har du først forstå, at de DGX-2 er ikke den første off-the-peg Nvidia server til at være rettet mod AI. At ære går til DGX-1, der er baseret på en blanding af Intel Xeon-processorer er forbundet med Nvidia ‘s egen AI-optimeret Tesla V100 Volta-arkitektur Gpu’ er. DGX-2 fortsætter på denne fremgangsmåde, men i stedet for otte Tesla V100s sluttede ved hjælp af Nvidia ‘s NVLink bus, DGX-2 leveres med 16 af disse mægtige Gpu’ er, der er tilsluttet ved hjælp af sine mere skalerbar NVswitch teknologi. Ifølge Nvidia, dette setup giver DGX-2 til at håndtere dyb læring og andre krævende AI og HPC arbejdsmængder op til 10 gange hurtigere end sine mindre søskende.
Selv om det var annonceret på samme tid som DGX-1, det har taget et yderligere seks måneder for den større model til at blive vist. En af de første til at gøre det til ENGLAND, blev installeret i laboratorier af Nvidia partner Boston Begrænset. De spurgte, om vi ville gerne have et kig: vi gjorde, og her er hvad vi fandt.
DGX-2 ‘destinationsarrayet’
DGX-2 er store og gemmer sig bag en imponerende guld knitre-finish, frontramme.
Billede: Alan Stevens/ZDNet
Samt ydeevne, størrelse, er en stor differentiator med DGX-2, der har samme knitre-finish guld bezel, som DGX-1, men er fysisk meget større, en vægt på 154.2 kg (340£) i forhold til 60.8 kg (134lbs) for DGX-1 og tidskrævende 10 rack-enheder i stedet for 3.
Dette billede viser bagsiden af den 10U DGX-2 chassis med slots for to GPU skuffer (bare en in situ), med tomme server og PCIe skuffe slots nedenfor, plus tre hot-swap-strømforsyninger på hver side.
Billede: Alan Stevens/ZDNet
Særlig opmærksomhed er nødvendig til strøm og køling, især i en blandet rack. Her, sammen med et par omstrejfende netværk af kabler, er, hvordan magten er fed til rack i Boston Labs.
Billede: Alan Stevens/ZDNet
Det er også værd at bemærke, at DGX-2 har brug for en masse mere magt end sin lillebror, der kræver op til 10kW på full tilt, stigende til 12kW for nylig annonceret DGX-2H-modellen (om hvilke mere snarest). Billedet nedenfor viser effekten arrangementer på Boston for at holde dette lille bæst glad. Køling, på samme måde, vil kræve nøje overvejelser, især hvor der er mere end én DGX-2 er indsat eller, hvor det er installeret sammen med andre hardware i samme rack.
Distribuere, at magt er et sæt af seks hot-swap og redundant psu ‘ er, der glider ind på bagsiden af rammen, sammen med de forskellige moduler, der udgør resten af systemet. Køling, i mellemtiden, er håndteret af en bred vifte af 10 fans, der ligger bag frontdækslet med værelser på hver side til 16 2,5-tommers lagringsenheder i to bredder af otte.
Med 8 NVMe Ssd ‘ er, DGX-2 leveres med 30TB af opbevaring, hvorved otte bugter gratis for ekspansion.
Billede: Alan Stevens/ZDNet
Nvidia omfatter otte 3.84 TB Micron 9200 Pro NVMe drev som en del af den grundlæggende konfiguration, hvilket svarer til lidt over 30TB af high-performance opbevaring. Dette, dog, er mest for at håndtere lokale data, med ekstra lagerplads på de vigtigste bundkort til OS og program-kode. Den efterlader også otte bugter tom til at tilføje mere lagerplads, hvis det er nødvendigt. Hertil kommer, at DGX-2 er spækket med høj-båndbredde grænseflader til at tilslutte endnu mere kapacitet og opbygge serverklynger, hvis det kræves.
Intel bits
Et par af 24-core Xeon-Platinum-processorer, 1,5 TB RAM og et par NVMe opbevaring adaptere, der er konfigureret på DGX-2 bundkort.
Billede: Alan Stevens/ZDNet
Træk main server skuffen, og indvendig finder du et konventionelt udseende Intel-baserede bundkort med to stik til Xeon Platinum chips. På det system, vi har set på disse var 24-core Xeon Platinum 8168 processorer clocket til 2,7 GHz, selv om Nvidia har siden annoncerede DGX-2H model med lidt hurtigere 3.1 GHz Xeon Platinum 8174 processorer sammen med nyere 450W Volta 100 moduler. Dette sker på bekostning af at det kræver meget mere strøm (op til 12kW), og vil nok tilføje at de samlede omkostninger, selv om der i skrivende stund er prisen på denne nye model havde endnu ikke bekræftet.
Uanset specifikation, Xeon-processorer, der sidder i midten af bundkortet, omgivet af 24 fuldt befolket DIMM slots, som giver køberne en imponerende 1,5 TB af DDR4 RAM at lege med. Sammen med dette, er et par af 960 GB NVMe opbevaring pinde, der er konfigureret som en RAID 1-array både til at starte OS (Ubuntu Linux) og giver plads til DGX software stack og andre applikationer.
Den sædvanlige USB og netværk controllere er også indbygget, med to RJ-45 Gigabit-porte på bagsiden — én for out-of-band remote management og den anden til almindelig tilslutning. En af de to tilgængelige PCIe expansion slots kommer også klar udstyret med en dual-port Mellanox ConnectX-5 adapter, der kan rumme Ethernet transceivere op til 100GbE for ekstra båndbredde på netværket.
Samt to indbyggede Gigabit Ethernet-porte, en Mellanox PCIe-adapter giver yderligere to Ethernet-porte, der kan tage 10-100GbE transceivere.
Billede: Alan Stevens/ZDNet
Det andet PCIe ekspansion slot er som regel tom, men endnu mere-forbindelse er tilgængelig høflighed af separate PCIe skuffe, der sidder lige over den server bundkort. Dette tilføjer en yderligere otte PCIe-grænseflader fyldt, igen, med Mellanox adaptere, der kan bruges til at oprette forbindelse til samlet opbevaring ved hjælp af enten 10 gbe Ethernet eller InfiniBand EDR 100 transceivere.
En yderligere otte Ethernet-netværk eller et Infiniband-porte er tilgængelige via PCIe-bakken.
Billede: Alan Stevens/ZDNet
Nvidia dele
Og nu er den smule, du har alle ventet på-den 16 Nvidia Tesla V100-Gpu ‘ er, der, til dels på grund af deres store heatsinks (se nedenfor), er nødt til at blive delt over to sokler.
Som en påmindelse om, det er, hvad en Tesla Volta 100 modulet se sådan ud:
Billede: Nvidia
Og dette er, hvad otte Volta 100 moduler se ud når den er installeret inde i en af GPU bakker af en DGX-2:
Den 16 Tesla V100-Gpu ‘ er er opdelt mellem to sokler sammen med NVswitch hardware er nødvendig for at knytte dem sammen.
Billede: Alan Stevens/ZDNet
GPU bestyrelser også holde NVswitches, som har brug for at være fysisk sluttede for Volta 100 moduler til at kommunikere og fungere som en enkelt GPU. Dette opnås ved at knytte to specialdesignede backplanes til den bageste del af sokler, når de er blevet skubbet ind i kabinettet.
Den NVswitches på de to GPU-sokler er fysisk følgeskab af disse djævelsk udseende backplanes, som sættes fast på bagsiden.
Billede: Alan Stevens/ZDNet
Tesla V100-Gpu ‘ er sig selv, er stort set de samme SXM-moduler, som de i den seneste DGX-1. Samtlige værelser er udstyret med 32 gb HBM2 hukommelse per GPU, så med seksten installeret er der dobbelt-GPU-hukommelse — 512GB — helt.
Hver GPU har også 5,120 CUDA processorkerner samt 640 af de mere specialiserede AI-optimeret Tensor kerne. Ganget med seksten, der giver 10,240 Tensor kerner i total og en kæmpestor 81,920 CUDA-ækvivalenter. Alle, der gør det til en masse regnekraft, som yderligere forstærkes af den sammenkoble båndbredde på 2,4 TB/sek til rådighed fra NVSwitch teknologi med kapacitet til at skalere endnu mere i fremtiden.
Præstation at gå
Så meget, så for hardware. Ud over dette får du også en hel stak af forudinstallerede AI værktøjer klar til magten op, og begynde at arbejde.
Når du gennemgår en server det er på dette punkt, at vi normalt ville begynde at tale om, udførelsen og resultaterne af tests, at vi vil typisk køre for at se, hvordan det stakkes op. Men, kører benchmarks på DGX-2 er langt fra triviel opgave, som, i betragtning af den type af dyb læring og andre HPC arbejdsbyrde, der er involveret, ville kræve, at langvarige møder over flere dage. Så i stedet vil vi nødt til at stole på Nvidia ‘ s krav, sammen med feedback fra eksperter i Boston.
Billede: Nvidia
Til dette formål har den overordnede tal for DGX-2 er et imponerende 2 petaFLOPS (PFLOPS) for behandling power leveres primært af Tensor-kerner til at håndtere blandet AI uddannelse arbejdsmængder. Dette tal stiger til 2.1 PFLOPS på DGX-2H hjælp hurtigere 450W Tesla V100-moduler.
For at sætte det i perspektiv, er denne behandling strøm gjorde det muligt for DGX-2 for at afslutte FairSeq PyTorch benchmark på blot 1,5 dage — det er 10 gange hurtigere end de 15 dage, der var nødvendige for den samme test på DGX-1 bare seks måneder tidligere. Desuden, Nvidia mener, at for at få de samme resultater ved hjælp af x86-teknologi vil kræve 300 dual-socket Xeon servere, besætter 15 stativer og koster omkring $2,7 millioner.
Alle, som gør DGX-2 synes som en god handel på 400.000 $(eller tilsvarende i GB£), selv når du tilføje i prisen på support-som i det forenede KONGERIGE, starter ved omkring £26,000 (ex. MOMS) per år. På trods af den høje pris, at virksomheder, der investerer i AI vil finde dette meget overkommelige i forhold til de alternativer, som omfatter leje beregne tid i fælles datacentre eller sky. Nvidia er også ivrige efter at understrege, at DGX-2 kan også bruges til at håndtere mindre eksotiske HPC arbejdspres sammen med sin AI opgaver.
Husk også, at selv om DGX-1 og DGX-2 er banebrydende, alternativer, der er på vej fra andre leverandører. Ikke mindst SuperMicro, som på sin hjemmeside indeholder allerede over en server, der er baseret på de samme Nvidia HGX-2 reference model som DGX-2. Andre, såsom Lenovo, ikke langt bagefter, og disse alternativer uundgåeligt vil arbejde for at drive priserne ned. Vi vil følge denne udvikling i hele 2019.
DE SENESTE OG RELATERET INDHOLD
IBM, Nvidia par op på AI-optimeret konvergerede storage system
IBM Spektrum AI med Nvidia DGX er designet til AI og machine learning arbejdsmængder.
MLPerf benchmark resultater fremvise Nvidia ‘ s top AI uddannelse gange
For den første udgivelse af MLPerf, et mål, AI benchmarking suite, Nvidia opnået topresultater i seks kategorier.
Nvidia har til formål at køre neurale net hurtigere, mere effektivt
Da data bliver større og modeller til at vokse sig større, dyb læring er igen “helt lukket af hardware.” På VLSI Symposier, Nvidia foreslog nogle måder at løse dette problem.
Nvidia lancerer den HGX-2, en server platform for HPC og AI arbejdsmængder
Platformen er unik high-præcision design og kapaciteter, der er designet til det stigende antal ansøgninger, der kombinerer high-performance computing med AI.
GPU computing: Fremskynde den dybe læring kurven
At opbygge og træne dybt neurale netværk, som du har brug for store mængder af multi-core computerkraft. Vi undersøger førende GPU-baserede løsninger fra Nvidia og Boston Begrænset.
AI færdigheder, der hersker i den hurtigst voksende beskæftigelse af året (TechRepublic)
Seks ud af de 15 øverste nye job i 2018 var relateret til kunstig intelligens, i henhold til LinkedIn.
Nvidia skitserer inferens platform, lander Japans industrielle giganter som AI, robotteknologi kunder (TechRepublic)
De nyheder, Nvidia ‘ s trækkraft i AI, og data center.
Relaterede Emner:
Hardware
Anmeldelser
Opbevaring
Datacentre
0