0
Et team af IBM forskere, ledet af IBM-Stipendiat Hillery Hunter (billedet), opfundet gennembrud dyb læring software.
IBM
IBM Research har nået en ny milepæl i distribuerede dyb læring (DDL), bygning software, der skalerer op DDL på tværs af hundredvis af Gpu ‘ er i nær-aftale effektivitet.
Den forskning, der tager fat på en af de store udfordringer ved implementering af dyb læring: Store neurale netværk og store datasæt hjælpe dyb læring trives, men også føre til længere uddannelse gange. Uddannelse af store, dybe læring-baseret AI modeller kan tage dage eller uger.
Den proces tager lang tid, da den skalerede-up antallet af Gpu ‘ er kan kommunikere med hinanden. Og faktisk er det blevet værre og værre som Gpu ‘ er har fået hurtigere. Hurtigere Gpu ‘ er kan lære hurtigere, men med konventionelle software -, deres kommunikation med hinanden, ikke kan holde op.
“Dybest set, smartere og hurtigere elever (Gpu’ er) har brug for en bedre måde at kommunikere på, eller de får ud af sync og tilbringer størstedelen af tid på at vente på hinandens resultater,” IBM ‘ s Hillery Hunter skrev i et blogindlæg. “Så får du ingen speedup-og muligvis endda forringet ydeevne-fra at bruge mere, hurtigere-læring Gpu’ er.”
Den nye DDL software-adresser, og det bør gøre det muligt at køre populære open source-koder som Tensorflow, Caffe, Torch og Chainer over massive neurale netværk og data sæt, med meget høj ydeevne og nøjagtighed.
IBM Research viste, hvordan den opnåede resultater kommunikations-overhead og 95 procent skalering effektivitet på Caffe dyb læring ramme over 256 Gpu ‘ er på 64 IBM Power systems. Den tidligere skalering rekord blev sat af Facebook AI Forskning, der opnås tæt på 90 procent effektivitet for en uddannelse køre på Caffe2, ved højere kommunikations-overhead.
Derudover, med denne nye software, IBM Research opnået et nyt billede anerkendelse nøjagtighed på 33,8 procent for et neuralt netværk, der er uddannet på et meget stort datasæt (7,5 millioner billeder fra ImageNet-22k-datasættet) og har opnået på bare syv timer. Microsoft afholdt af den tidligere rekord, viser 29.8% nøjagtighed i 10 dage.
“En stigning på 4% i nøjagtighed er et stort spring fremad; typiske forbedringer i fortiden har været mindre end 1%,” Jæger skrev.
IBM Research var i stand til at opnå de hurtige og præcise resultater, Jæger forklarede, ved at udnytte styrken af snesevis af servere, hver udstyret med hundredvis af Gpu ‘ er.
“Mest populære dyb læring rammer skala til flere Gpu’ er på en server, men ikke til flere
servere med Gpu ‘ er,” Jæger forklarede. “Specielt vores team (Minsik Cho, Uli Finkler, David Kung, og deres samarbejdspartnere) skrev software og algoritmer at automatisere og optimere parallelisering af dette meget store og komplekse it-opgave på tværs af hundredvis af GPU acceleratorer, der er knyttet til snesevis af servere.”
Med disse forbedringer i dyb læring, uddannelse, IBM forventer, at vi kan se fremskridt på en række af AI brug sager, såsom mere præcise medicinsk billedanalyse eller bedre talegenkendelse teknologier. IBM er at lave en tekniske preview-version af den software, der findes nu i version 4 af PowerAI, sin dybe læring distribution af software pakke.
Relaterede dækning:
IBM opdateringer PowerAI til at gøre dybt lære mere tilgængelige IBM bruger dybt at lære at bedre at påvise en førende årsag til blindhed Nvidia har til formål at uddanne 100.000 udviklere i dyb læring, AI teknologier
0