Er det bedre at være så nøjagtige som muligt i machine learning, hvor længe det tager, eller temmelig stoppede nøjagtig i en rigtig kort tid?
For DeepMind forskere Peter Buchlovsky og kolleger, at valget var at gå for speed af læring over teoretiske nøjagtighed.
Afslører i denne uge en ny smule af teknologi, der kaldes “TF-Replicator,” de forskere, der sagde, at de var i stand til at nå nøjagtigheden af top benchmark resultater på den velkendte ImageNet konkurrence på under en halv time, med 32 af Google ‘ s Tensor Processing Unit chips, der opererer i parallel. Debut af Replicator kommer som Google i denne uge fremvist den 2,0 version af TensorFlow.
Resultaterne fra brug af TF-Replicator, forfatterne hævder, nærmede de bedste resultater fra nogle andre projekter, at der bruges mange flere Gpu ‘er, herunder forudgående arbejde, der er ansat 1,024 af Nvidia’ s “Tesla P100” Gpu ‘ er.
Implikationen af TF-Replicator projektet er, at sådanne episke engineering af Gpu ‘ er kan nu opnås med et par linjer af Python-kode, der ikke har været specielt tunet til et bestemt hardware-konfiguration.
TF-Replicator kan lave flere “arbejdere”, der enten deler beregne graf, som på den venstre, eller har separat beregne grafer af deres egne, som om de ret.
DeepMind
Tricket er dybest set at gøre Parallel Distributed Computing for Dummies, hvis du vil. En række nye funktioner er blevet tilføjet til Google ‘ s TensorFlow ramme, der, DeepMind hævder, “trivializes processen med at opbygge distribuerede machine learning systems” ved at lade forskere “naturligt definere deres model og køre løkke som pr enkelt-maskine indstilling.”
Også: Google lancerer TensorFlow 2.0 Alpha
Systemet er mere fleksibel end en tidligere TensorFlow tilgang, kaldet en “estimator,” der indført restriktioner på måder modeller er bygget. Samtidig med, at systemet var disponeret til produktionsmiljøer, Google tilgang er til R&D lab, for at gøre nye former for netværk, så det er designet til at være mere fleksible.
Det er også beregnet til at være meget enklere at programmere end tidligere forsøg på parallelitet, såsom “Mesh-TensorFlow”, der blev indført sidste år af Google ‘ s Hjerne enhed som et selvstændigt sprog for at angive distribueret computing.
Den forskning, “TF-Replicator: Distribueret Machine Learning For Forskere,” er udgivet på arXiv pre-print server, og der er også en blog indlæg af DeepMind.
Det antages i afhandlingen, er, at de ønsker at komme til state-of-the-art resultater hurtigt, snarere end at forsøge at skubbe grænsen i form af nøjagtighed. Som forfatterne påpeger, “i Stedet for at forsøge at forbedre klassificering nøjagtighed, mange seneste artikler har fokuseret på at nedbringe den tid, det tager at opnå nogle resultater tærskel (typisk ∼75% af Top-1 nøjagtighed),” brug af ImageNet benchmarks, og, i de fleste tilfælde, er uddannelse den fælles “ResNet-50” neurale netværk.
Også: Google siger, ‘eksponentielle vækst af AI er ved at ændre karakter beregne
Dette hastværket med at komme til gode resultater, der er kendt som “svage skalering,” hvor netværket er uddannet “i færre trin med meget store partier,” at gruppere data i sæt af flere tusinder af eksempler.
Der er derfor behov for at parallelize modeller at være i stand til at arbejde på disse partier samtidigt på tværs af flere kerner og flere Gpu ‘ er eller TPUs.
Forfatterne satte sig for at opbygge et distribueret computing system, der kunne håndtere opgaver, der spænder fra klassifikation til at gøre falske billeder via generativ kontradiktorisk netværk (GANs) til at styrke læring, samtidig med at nå grænsen for kompetent resultater hurtigere.
Forfatterne skriver, at en forsker ikke har brug for at vide noget om distribueret computing. Den forsker, der angiver deres neurale net som en “replica”, en ting, der er designet til at køre på en enkelt computer. Der replika kan være automatisk ganget med separate forekomster, der kører parallelt på flere computere, forudsat at forfatteren omfatter to Python funktioner til deres TensorFlow kode, kaldet “input_fn” og “step_fn.” Det første opkald til et datasæt til at udfylde hvert “trin” i et neuralt netværk. Der gør det muligt at parallelize arbejde på data på tværs af forskellige maskiner. Den anden funktion, der angiver den type beregning, der skal udføres, og kan bruges til at parallelize neurale netværk operationer på tværs af mange maskiner.
hvordan TF-Replicator bygger beregne grafen på flere maskiner, der forlader “pladsholder” funktioner i den graf, hvor kommunikation skal udfyldes senere, her repræsenteret ved den stiplede linjer.
DeepMind.
Forfatterne bemærk, at de var nødt til at overvinde nogle interessante begrænsninger. For eksempel, kommunikation mellem design og noder kan være vigtigt for ting, så som at samle op på alle de gradient descent beregninger sker på tværs af flere maskiner.
Der kan være udfordrende til ingeniør. Hvis en enkelt “graf” af et neuralt netværk er fordelt på mange computere, hvad der er kendt som “in-graf replikation,” så der kan opstå problemer, fordi dele af compute-graf, der måske endnu ikke er bygget, hvilket frustrerer afhængigheder mellem computere. “En replica step_fn kan kalde en primitiv midten af grafen byggeri,” de skriver, med henvisning til den kommunikation primitiver. “Det kræver, at henvise til data, der kommer fra en anden replika, der i sig selv er endnu ikke bygget.”
Deres løsning er at sætte “pladsholder” kode i beregne grafen for hver maskine, som “kan skrives om, når alle replica subgraphs er afsluttet.”
Resultaterne af forskellige konfigurationer af TF-Replicator for ImageNet opgaver på forskellige konfigurationer af hardware.
DeepMind
Skal læse
“AI er meget, meget dum, “siger Google’ s AI-leder (CNET), Hvordan man får alle Google Assistant ‘s nye stemmer lige nu (CNET)Samlet Google AI division et klart signal om, at AI’ s fremtid (TechRepublic)Top 5: Ting at vide om AI (TechRepublic)
Forfatterne beskriver resultaterne på tværs af de forskellige benchmark tests. I tilfælde af ResNet-50 ImageNet opgave, “vi er i stand til at matche den offentliggøres 75.3% Top-1 nøjagtighed på mindre end 30 minutter af uddannelse,” de skriver, og tilføjer, at “disse resultater er opnået ved hjælp af standard-TF-Replicator gennemførelse, uden at alle systemer, optimering er specifikke for ImageNet klassificering.”
På en GAN opgave, at producere billeder, “Vi udnytte TF-Replicator til at træne på meget større partier end der kan være på en enkelt GPU, og finde ud af, at dette fører til en betydelig gevinst i at prøve kvalitet.”
I realm af forstærkning for at lære, de har uddannet en simuleret “agent” af bevægelige led at navigere forskellige opgaver. “En enkelt TPUv2 enhed (8 kerner på tværs af 4 chips) giver konkurrencemæssige præstation i forhold til 8 NVLink – forbundet Tesla V100-Gpu’ er,” skriver de.
Der er nogle interessante konsekvenser for den fremtidige udformning af neurale netværk fra denne form for distribueret computing. For eksempel, i tilfælde af forstærkning for at lære, snarere end at konstruere et højere niveau repræsentationer af robottens led og deres “hastigheder”, som de skriver, “skalerbarhed af TF-Replicator giver os mulighed for hurtigt at løse disse opgaver, udelukkende fra pixel observationer.”
“Massiv skalerbarhed,” skriver forfatterne, med hundreder og tusinder af lag i et neuralt netværk, er kommer til at være mere og mere vigtigt i dyb læring. TF-Replicator, som er Googles svar på spørgsmålet om, hvordan forskere kan hurtigt udvikle sig og gentage de store netværk, begyndende fra deres arbejdsbord laptop, og spredning til distribuerede systemer, med det mindste besvær.
Tidligere og relaterede dækning:
Hvad er AI? Alt, hvad du behøver at vide
En executive guide til kunstig intelligens, fra machine learning og generelt AI til neurale netværk.
Hvad er dyb læring? Alt, hvad du behøver at vide
Den lowdown på en dyb læring: fra hvordan det relaterer til det bredere felt af machine learning igennem til, hvordan du kommer i gang med det.
Hvad er machine learning? Alt, hvad du behøver at vide
Denne vejledning forklarer, hvad machine learning er, hvordan det er relateret til kunstig intelligens, hvordan det fungerer, og hvorfor det er vigtigt.
Hvad er cloud computing? Alt, hvad du behøver at vide om
En introduktion til cloud computing-lige fra det grundlæggende op til IaaS og PaaS, hybrid, offentlige og private cloud.
Relaterede historier:
Google ‘ s AI surfer “gamescape” for at erobre game theory
Dette er, hvad AI ligner (som skitseret ved AI)
Google ‘ s DeepMind hold med førende 3D spil dev platform
DeepMind ‘ s AI pletter tidlige tegn på øjensygdom
Relaterede Emner:
Big Data Analytics
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software