Nul
Den eksplosion af AI og machine learning er at ændre selve karakteren af it, så siger en af de største udøvere af AI, Google.
Google-software ingeniør Klippe Unge gav åbningen keynote torsdag morgen på the Linley Group Falde Processor Konference, en populær computer-chip symposium arrangeret af den ærværdige halvleder analyse firma Linley Group, i Santa Clara, Californien.
Sagde Unge, brug af AI har nået en “eksponentielle fase” ved meget samme tid, at Moore ‘ s Lov, det er flere årtier gamle tommelfingerregel om halvleder fremskridt, har i stå.
“De tider er lidt neurotisk,” han sagde. “Digital CMOS er aftagende, ser vi, at i Intel’ s elendighed i 10-nanometer [chip produktion], vi ser det i GlobalFoundries at komme ud af 7-nanometer, på samme tid, at der er denne dybe læring ting sker, er der økonomiske efterspørgsel.” CMOS, eller komplementære metal-oxid-halvleder, er det mest udbredte materiale til computer chips.
Også: Google preps TPU 3.0 til AI, machine learning, model uddannelse
Som konventionelle chips kamp for at opnå større ydeevne og effektivitet, og efterspørgslen fra AI-forskere er kraftigt stigende, bemærkede Unge. Han raslede ud nogle statistikker: antallet af akademiske afhandlinger om machine learning, der er opført på arXiv pre-print server opretholdes ved Cornell University om er en fordobling hver 18 måneder. Og antallet af interne projekter med fokus på AI på Google, han sagde, er også en fordobling hver 18 måneder. Endnu mere intens, antallet af floating-point aritmetiske operationer er nødvendige for at udføre machine learning neurale netværk er en fordobling hver tre og en halv måned.
Alle, der vækst i design og efterspørgsel er at tilføje op til en “Super Moore’ s Lov,” sagde Unge, et fænomen han kaldte “en smule skræmmende,” og “lidt farligt”, og “noget at bekymre sig om.”
“Hvorfor alt dette eksponentiel vækst?” i AI, spurgte han. “I en del, fordi dyb læring virker bare,” sagde han. “I lang tid, jeg tilbragte min karriere ignorerer machine learning,” sagde Unge. “Det var ikke klart, at disse ting var på vej til at tage af sted.”
Men derefter gennembrud i ting, såsom image anerkendelse begyndt at komme hurtigt, og det blev klart, dyb læring er “utrolig effektiv,” sagde han. “Vi har været en AI-første virksomhed til de fleste af de sidste fem år,” sagde han, “vi har bygget de fleste af vores virksomheder på det,” fra en søgning for annoncer og mange flere.
Efterspørgslen fra Google Hjernen hold, der fører forskning i AI er, at “gigantiske maskiner,” sagde Unge. For eksempel neurale netværk til tider er målt ved antallet af “vægt”, de anvender, er variabler, som er anvendt til det neurale netværk til at forme sin manipulation af data.
Mens konventionelle neurale net kan have hundreder af tusinde af en sådan vægt, at der skal beregnes, eller endda millioner, Google ‘ s forskere siger, “giv os et tera-vægt maskine,” computere i stand til at computing en billion vægte. Det er fordi “hver gang man fordobler størrelsen af [neurale] netværk, vi får en forbedring i nøjagtigheden.” Større og større, er reglen i AI.
At reagere på, selvfølgelig, at Google har udviklet sin egen linje af machine learning chips, “Tensor Processing Unit.” Den TPU, og dele, som det er nødvendigt, fordi traditionelle Cpu ‘er og grafik-chips (Gpu’ er) ikke kan holde op.
“For en meget lang tid, vi holdt tilbage, og sagde, Intel og Nvidia er virkelig gode til at bygge high-performance systemer,” sagde Unge. “Vi krydsede grænsen for fem år siden.”
Den TPU forårsaget stort postyr, da det var første afsløret i 2017, der kan prale af ydeevne overlegen i forhold til konventionelle chips. Google er nu på sin tredje iteration af TPU, som det benytter internt og tilbyder også som en on-demand beregne node via Google Cloud.
Også: Google annoncerer Kant TPU, Cloud IoT-Kant software
Virksomheden fortsætter med at lave større og større forekomster af TPU. Dens “pod” konfiguration binder 1,024 enkelte TPUs til en ny slags supercomputer, og Google har til hensigt at fortsætte “skalering” systemet, sagde Unge.
“Vi er ved at opbygge disse gigantiske multi-computere, med snesevis af petabytes af computing,” sagde han. “Vi arbejder utrætteligt i flere retninger, fremskridt, tera-ops holde om klatring.”
En sådan teknik “bringer alle de spørgsmål, der kommer op i supercomputer design,” sagde han.
For eksempel har Google-teknikerne vedtaget tricks, der anvendes af den legendariske supercomputing tøj Cray. De tilsammen et “gigantisk matrix multiplikation enhed,” den del af den chip, der gør hovedparten af arbejdet for neurale netværk, med en “general purpose vektor enhed” og en “general purpose” -skalar enhed,” som om Cray. “Kombinationen af scaler-og vektor-enheder lad Cray overgå alt andet,” bemærkede han.
Google har udviklet sin egen roman, aritmetiske konstruktioner til at programmere chips. Noget, der hedder en “bfloat16” er en måde at repræsentere reelle tal, der giver mere effektivitet i talknusning på neurale netværk. Det er i daglig tale omtalt som “hjerne flyde.”
TPU-trækker på den hurtigste hukommelse chips, såkaldte høj-båndbredde hukommelse, eller HBM. Der er en kraftig stigning i behovet for lagerkapacitet i uddannelse af neurale netværk, sagde han.
“Hukommelse er langt mere intensiv i uddannelse,” sagde han. “Folk taler om hundreder af millioner af vægte, men det er også et spørgsmål om håndtering aktivering” variabler i et neuralt netværk.
Og Google er også justere, hvor det programmer neurale net til at gøre mest muligt ud af hardware. “Vi arbejder meget på data og model parallelitet,” med projekter som “Mesh TensorFlow,” en tilpasning af selskabets TensorFlow programmering, at “kombinerer data og model parallelitet på pod-skala.”
Der var visse tekniske detaljer Unge veget tilbage fra at afsløre. Han bemærkede, at virksomheden ikke har talt meget om “forbinder” den måde, som data er flyttet rundt chip, gem for at sige “vi har gigantiske stik.” Han afviste at byde mere information, fremkalde latter fra publikum.
Unge pegede på endnu mere spændende verden af design og der kan ikke være langt væk. For eksempel, foreslog han computing via analoge chips, kredsløb, at processen indgange som løbende værdier, snarere end som ettaller og nuller, kan spille en vigtig rolle. “Måske vil vi prøve fra det analoge domæne, der er virkelig nogle fede ting i fysik, med analog computing, eller i en ikke-flygtig teknologi.”
Han holdt ud, håber på en ny teknologi fra chip nystartede virksomheder som dem, der optræder på konferencen: “Der er nogle super-cool nystartede virksomheder, og vi har brug for at arbejde, fordi digital CMOS er kun kommer til at tage os så langt; jeg ønsker, at disse investeringer finde sted.”
Tidligere og relaterede dækning:
En tidlig AI adoptanter rapport store afkast
Ny undersøgelse viser, at kunstig intelligens teknologi betaler sig, men organisationer står over for udfordringer.
Oracle introducerer nye enterprise digital assistent
Går ud over typiske chatbots bygget til et enkelt formål, Oracle Digital Assistent kan blive uddannet til at støtte domæne færdigheder fra flere forskellige programmer
AI levere afkast til virksomhedens early adopters, men ikke industrier er skabt lige
Deloitte ‘ s årlige AI undersøgelse afslører en smule realisme, cybersecurity bekymringer og 17 procent median afkast på investeringer.
Machine learning nu top dygtighed søges af udviklere
SlashData ‘ s seneste undersøgelse af 20.000 udviklere identificerer machine learning and data videnskab er de færdigheder at kende til 2019.
Hvad er dyb læring? Alt, hvad du behøver at vide
Den lowdown på en dyb læring: fra hvordan det relaterer til det bredere felt af machine learning igennem til, hvordan du kommer i gang med det.
Hvad er digital transformation? Alt, hvad du behøver at vide
Digital transformation: hvad det er, hvorfor det er vigtigt, og hvad de store tendenser er.
AI og Internet of Things vil drive digital transformation gennem 2020
Undersøgelse afslører, IoT, AI og synkron ledger tech (blokkæden) prioriteringer.
Relaterede historier:
Der er ingen rolle for AI eller data videnskab: dette er en holdindsats Start Slægt bringer splint af håb for AI i robotteknologi AI: udsigt fra Chief Data Videnskab Kontor Salesforce-introer Einstein Stemme, en AI stemme assistent for virksomheder er det ikke Det job AI er ødelæggende for at genere mig, det er dem, der er voksende, Hvordan Facebook skalaer AI Google Duplex bekymrer mig, CNET , Hvordan Google Hjem er bedre end Amazon Echo CNET Digital transformation: En guide til CXOs (Tech Pro Forskning), Hvad virksomhederne vil fokusere på for digital transformation i 2018 Digital transformation: Tre måder at gøre det rigtige i din virksomhed
Relaterede Emner:
Datacentre
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software
0