Nul
Afbeelding: Nvidia
Voor $400,000, kan je rond de 400 iPhone X handsets, 300 Surface Pro laptops, of 11 Tesla Serie 3 elektrische auto ‘ s. Maar het zou de hele $400K en meer om je handen op één van Nvidia DGX-2 server, die wordt aangekondigd als ‘de wereld’ s meest krachtige AI-systeem voor de meest complexe AI uitdagingen”.
Maar is de DGX-2 live aan die vordering — en is een server echt de moeite waard een dergelijke oogstrelende prijskaartje?
DGX vervolg
Om al deze vragen te beantwoorden moet je eerst begrijpen dat de DGX-2 is niet de eerste off-the-peg Nvidia server te worden gericht op de AI. Die eer gaat naar de DGX-1, gebaseerd op een mix van Intel Xeon-processors gecombineerd met de Nvidia ‘s eigen AI-geoptimaliseerd Tesla V100 Volta-architectuur van de Gpu’ s. De DGX-2 blijft die aanpak, maar in plaats van acht Tesla V100s toegetreden tot het gebruik van Nvidia ‘s NVLink bus, de DGX-2 wordt geleverd met 16 van deze machtige Gpu’ s verbonden met de meer schaalbare NVswitch technologie. Volgens Nvidia, deze instelling zorgt ervoor, dat de DGX-2 te behandelen diep leren en andere veeleisende AI en HPC-workloads tot 10 keer sneller dan zijn kleinere broertje.
Hoewel het werd aangekondigd op hetzelfde moment als de DGX-1, heeft het nog eens zes maanden voor het grotere model te verschijnen. Een van de eerste om het te maken naar het verenigd koninkrijk werd geïnstalleerd in de labs van Nvidia partner Boston Beperkt. Ze vroegen of we zouden graag een kijkje: we hebben gedaan, en hier is wat we gevonden hebben.
De DGX-2 ‘unboxed’
De DGX-2 is groot en verschuilt zich achter een imposante gouden crackle afwerking van de ring.
Afbeelding: Alan Stevens/ZDNet
Als prestaties, de grootte is een groot onderscheid met de DGX-2 heeft dezelfde crackle-afwerking goud bezel als de DGX-1, maar is fysiek een stuk groter, met een gewicht van 154.2 kg (340lbs) in vergelijking met 60.8 kg (134lbs) voor de DGX-1 en de consumptie van 10 rack-eenheden in plaats van 3.
Deze foto toont de achterkant van de 10U DGX-2 chassis met slots voor twee GPU laden (slechts een in situ) met een lege server en PCIe lade slots hieronder, plus drie hot-swap voedingen aan beide kanten.
Afbeelding: Alan Stevens/ZDNet
Speciale aandacht is nodig voor voeding en koeling, vooral in een gemengde rek. Hier, samen met een paar verdwaalde netwerk kabels, is hoe voeding het rek in Boston Labs.
Afbeelding: Alan Stevens/ZDNet
Het is ook vermeldenswaard dat de DGX-2 heeft veel meer macht dan zijn kleine broer, waarvoor tot 10kW bij full tilt poker, oplopend tot 12kW voor de onlangs aangekondigde DGX-2H-model (waarover binnenkort meer). De afbeelding hieronder toont de kracht boeken bij Boston nodig om dit beestje gelukkig. Koelen, evenzo moet een zorgvuldige afweging, in het bijzonder wanneer meer dan één DGX-2 is geïmplementeerd of waar het is geïnstalleerd naast andere hardware in hetzelfde rack.
Om die power is een reeks van zes hot-swap redundant psu ‘ s die dia aan de achterkant van het chassis met de verschillende modules waaruit de rest van het systeem. Koelen, ondertussen, is behandeld door een array van 10 fans zich achter de frontplaat met ruimte aan weerszijden van 16 2,5-inch opslagapparaten in twee oevers van acht.
Met 8 NVMe Ssd ‘ s, de DGX-2 wordt geleverd met 30TB van opslag, het verlaten van acht traveeën vrij voor uitbreiding.
Afbeelding: Alan Stevens/ZDNet
Nvidia omvat acht 3.84 TB Micron 9200 Pro NVMe stations als onderdeel van de basis configuratie, hetgeen neerkomt op iets meer dan 30TB van opslag met hoge prestaties. Dit, echter, is meestal te behandelen met lokale gegevens, met extra opslag op de belangrijkste moederbord voor OS en applicatie code. Het laat ook acht traveeën leeg te meer opslagruimte toevoegen als dat nodig is. Daarnaast is de DGX-2 is vol met hoge bandbreedte netwerk interfaces om verbinding te maken met nog meer capaciteit en het opbouwen van server clusters als dat nodig is.
De Intel bits
Een paar van de 24-core Xeon Platinum-processors, 1,5 TB RAM-geheugen en een paar NVMe storage adapters zijn ingesteld op de DGX-2 moederbord.
Afbeelding: Alan Stevens/ZDNet
Trek de belangrijkste server lade en aan de binnenkant vindt u een conventionele-op zoek Intel-gebaseerd moederbord met twee sockets voor Xeon Platinum chips. Op het systeem dat we bekeken werden deze 24-core Xeon Platinum 8168 processors geklokt op 2,7 GHz, hoewel Nvidia heeft inmiddels aangekondigd de DGX-2H-model met iets sneller 3.1 GHz Xeon Platinum 8174 processors samen met de nieuwere 450W Volta 100 modules. Dit gaat ten koste van die veel meer vermogen (tot 12kW) en zal waarschijnlijk toe te voegen aan de totale kosten, hoewel op het moment van schrijven is de prijs van dit nieuwe model moest nog worden bevestigd.
Ongeacht de specificatie, de Xeon-processors zitten in het midden van het moederbord omgeven door 24 volledig ingevuld DIMM-sleuven, zodat kopers een indrukwekkende 1,5 TB van DDR4 RAM om mee te spelen. Naast dit zijn een paar van 960GB NVMe opslag sticks geconfigureerd als RAID 1-array zowel voor het opstarten van het OS (Ubuntu Linux) en biedt ruimte voor de DGX-software stack en andere toepassingen.
De gebruikelijke USB en netwerk controllers zijn ook ingebouwd met twee RJ-45 Gigabit-poorten aan de achterkant — één voor out-of-band-beheer op afstand en de andere voor het algemeen connectiviteit. Een van de twee beschikbare PCIe-uitbreidingssleuven komt ook klaar is uitgerust met een dual-port Mellanox ConnectX-5 adapter die geschikt is voor Ethernet-transceivers tot 100GbE voor extra bandbreedte op het netwerk.
Ook de twee ingebouwde Gigabit Ethernet-poorten, een Mellanox PCIe adapter is voorzien van twee Ethernet-poorten die u kunt nemen 10-100GbE transceivers.
Afbeelding: Alan Stevens/ZDNet
De tweede Pci-uitbreidingsslot is meestal leeg, maar nog meer connectiviteit is beschikbaar met dank aan de afzonderlijke PCIe-lade die zit net boven de server moederbord. Dit voegt nog acht PCIe interfaces gevuld, opnieuw, met Mellanox adapters die kan worden gebruikt om verbinding te maken met geclusterde opslag met behulp van ofwel 10GbE-Ethernet of InfiniBand EDR 100 transceivers.
Nog acht Ethernet of Infiniband-poorten zijn beschikbaar via de PCIe-lade.
Afbeelding: Alan Stevens/ZDNet
De Nvidia delen
En nu het beetje dat u all been waiting for — de 16 Nvidia Tesla V100-Gpu ‘ s die, mede door hun grote koellichamen (zie hieronder), moet worden gesplitst over twee plinten.
Ter herinnering, dit is wat een Tesla Volta 100 module ziet eruit als:
Afbeelding: Nvidia
En dit is wat acht Volta 100 modules eruit zien als deze is geïnstalleerd in een van de GPU laden van een DGX-2:
De 16 Tesla V100 Gpu ‘ s zijn verdeeld tussen de twee dragers samen met de NVswitch hardware nodig aan elkaar koppelen.
Afbeelding: Alan Stevens/ZDNet
De GPU raden ook de NVswitches die moeten fysiek samengevoegd om voor de Volta 100 modules om te communiceren en te functioneren als een single-GPU. Dit wordt bereikt door het aanbrengen van twee speciaal ontworpen backplanes aan de achterzijde van de plinten, zodra zij zijn geduwd in het chassis.
De NVswitches op de twee GPU plinten zijn fysiek verbonden door deze duivelse-op zoek backplanes, die hechten aan de achterzijde.
Afbeelding: Alan Stevens/ZDNet
De Tesla V100 Gpu ‘ s zelf zijn veel het zelfde SXM modules die in de laatste DGX-1. Elke kamer is uitgerust met 32 gb HBM2 geheugen per GPU, dus met zestien geïnstalleerd er is het dubbele van de GPU geheugen — 512 — in totaal.
Elke GPU heeft ook 5,120 CUDA cores evenals 640 van de meer gespecialiseerde AI-geoptimaliseerd Tensor kern. Vermenigvuldigd met zestien, dat geeft 10,240 Tensor kernen met in totaal maar liefst 81,920 CUDA-equivalenten. Dat maakt voor veel van de verwerking van de macht, die wordt nog versterkt door de interconnect bandbreedte van 2,4 TB/sec beschikbaar van de NVSwitch technologie met een capaciteit van schaal nog verder in de toekomst.
De prestaties gaan
Zo veel, vervolgens, voor de hardware. Daarnaast krijg je ook een hele stapel van vooraf geïnstalleerde AI hulpmiddelen klaar te laten opstarten en werken.
Bij het bekijken van een server, is op dit punt dat we normaal beginnen te praten over de prestaties en de resultaten van testen die we meestal uitgevoerd om te zien hoe het stapelt zich op. Echter, het uitvoeren van benchmarks op de DGX-2 is een verre van triviaal taak, die, gezien de aard van diep leren en andere HPC workloads betrokken, zou vereisen langdurige sessies over verschillende dagen. Dus in plaats daarvan zullen we moeten vertrouwen op Nvidia ‘ s vorderingen, samen met de feedback van de experts in Boston.
Afbeelding: Nvidia
Te dien einde, de kop van de figuur voor de DGX-2 is een indrukwekkende 2 petaFLOPS (PFLOPS) van de verwerking van geleverde stroom in de eerste plaats door de Tensor kernen te hanteren gemengde AI opleiding workloads. Dit cijfer stijgt tot 2,1 PFLOPS op de DGX-2H snellere 450W Tesla V100 modules.
Om dat in perspectief te plaatsen, deze verwerking vermogen kon de DGX-2 te voltooien de FairSeq PyTorch benchmark in slechts 1,5 dagen — dat is 10 keer sneller dan de 15 dagen die nodig zijn voor dezelfde test op de DGX-1 slechts zes maanden eerder. Bovendien, Nvidia, schat dat het om hetzelfde resultaat te halen met behulp van x86-technologie zou vereisen 300 dual-socket Xeon servers, het bezetten van 15 stellingen en kost rond de $2,7 miljoen.
Dat maakt de DGX-2 lijkt een koopje op ongeveer $400,000 (of het equivalent in GB£), zelfs wanneer u het toevoegen in de kosten van de ondersteunende — die, in de UK, begint bij ongeveer € 26,000 (ex. BTW) per jaar. Ondanks het hoge prijskaartje, bedrijven reeds te investeren in AI vindt deze zeer betaalbaar in vergelijking met de alternatieven, waaronder het huren van het berekenen van de tijd in gedeelde data-centra of in de cloud. Nvidia is ook benadrukt dat de DGX-2 kan ook worden gebruikt voor het verwerken van minder exotische HPC workloads, naast de AI taken.
Bedenk ook dat, hoewel de DGX-1 en DGX-2 zijn baanbrekend, alternatieven worden op hun weg van andere leveranciers. Niet in het minst SuperMicro, die op haar website al een lijst van een server op basis van dezelfde Nvidia HGX-2 referentie model als de DGX-2. Anderen, zoals Lenovo, niet ver achter en deze alternatieven zal onvermijdelijk om te rijden de prijzen naar beneden. Wij volgen deze ontwikkelingen in 2019.
RECENTE EN GERELATEERDE INHOUD
IBM, Nvidia pair up op AI-geoptimaliseerd converged storage systeem
IBM Spectrum AI met Nvidia DGX is ontworpen voor AI en machine learning workloads.
MLPerf benchmark resultaten showcase Nvidia ‘ s top AI trainingstijden
Voor de eerste release van MLPerf, een doelstelling AI benchmarking suite, Nvidia bereikt de beste resultaten te komen in zes categorieën.
Nvidia wil uitvoeren neurale netwerken sneller, efficiënter
Als data wordt groter en modellen groter groeien, diep leren is weer “volledig omheind door de hardware.” Op de VLSI Symposia, Nvidia suggereerde een aantal manieren om dit probleem te verhelpen.
Nvidia onthult de HGX-2, een server platform voor HPC en AI workloads
Het platform unieke high-precision computing zijn ontworpen voor het groeiend aantal applicaties voor het combineren van high-performance computing met AI.
GPU computing: het Versnellen van de diepe leercurve
Te bouwen en te trainen diep neurale netwerken moet je serieus bedragen van multi-core rekenkracht. We onderzoeken toonaangevende GPU-gebaseerde oplossingen van Nvidia en Boston Beperkt.
AI vaardigheden heersen in de snelst groeiende werkgelegenheid van het jaar (TechRepublic)
Zes van de 15 opkomende top banen in 2018 waren in verband met kunstmatige intelligentie, volgens LinkedIn.
Nvidia schetst gevolgtrekking platform, landt de japanse industriële reuzen als AI, robotica klanten (TechRepublic)
Het grote nieuws van Nvidia tractie in AI en het datacenter.
Verwante Onderwerpen:
Hardware
Beoordelingen
Opslag
Datacenters
0