Facebook ‘ s privacy pivot udløser skepsis på F8
Marketing konsulent og F8 deltager Gabe Bautista siger, at alle hævder, at de bekymrer sig om privatlivets fred, men djævelen er i detaljerne.
På den anden dag af Facebook ‘ s “F8” – konferencen i San Jose convention center, selskabet annoncerede en opdateret version af sin PyTorch udvikling framework, Version 1.1, med en lang række nye funktioner, herunder, men måske mest interessant, evnen til at deles op i dele af et neuralt netværk på tværs af flere graphics processing units, eller GPU, i uddannelse, A. I. systemer.
I tilfælde af at du ikke havde hørt, neurale netværk bliver stor, rigtig stor.
“- Modeller, der bliver større og større, de er virkelig, virkelig stor, og rigtig dyrt at træne,” sagde Joe Spisak, PyTorch product manager, i et interview med ZDNet. “De er over den hukommelse, der er af en 16-gigabyte GPU i mange tilfælde,” bemærkede han.
“Vores nyeste modeller er over 10 gigabyte,” Spisak sagt af neurale netværk Facebook udvikler internt, “og parameter tæller nærmer sig, og i nogle tilfælde endda mere end en milliard parametre.”
Også: Facebook Mark Zuckerberg: “fremtiden er privat”
Masser af eksempler kan findes, noter Spisak, i den fælles forskning. For eksempel, en “stor” version af den populære BERT naturlige sprog, netværk, kan findes i implementeringer med fire og tyve lag, med 1,024 skjulte enheder, 340 millioner parametre, og 16 “hoveder”, at styre bevægelsen af netværk på tværs af dens input.
“Himlen er grænsen,” i henhold til Spisak. “Disse modeller kan få så stor, som vi giver dem også.”
At håndtere det, PyTorch 1.1 tilføjer evnen til at deles netværk på tværs af Gpu ‘ er, der er kendt som “sharding” modellen. Tidligere, PyTorch tillod udviklere at opdele data på tværs af processorer, der er kendt i den parallelle behandling computing verden, som “data parallelitet.” Opdeling af netværk gør det muligt at “instruktion parallelitet.” Derfor, netværk, kan nu opnå, hvad der er kendt som “MIMD,” eller “multiple instruction multiple data.”
Også: Facebook ‘ s Zuckerberg prædiker fred, men hans levering gør det svært at selv tænke over at tro,
“Traditionelt har disse modeller sidde i en GPU, og du kan beskæftige sig med distribuerede parallel data, hvilket betyder, at du delt dine data, og du kopiere den model over systemet,” Spisak forklaret.
“Når du kommer til disse større modeller, model, der i sig selv er at være sharded. Du lægger bestemt model lag, eller en bestemt sub-grafer, på én node, og derefter skære ud et andet sub-graf på et andet stykke af beregne.”
Efter sharding en algoritme i PyTorch kan der kombinerer under uddannelse.
Problemet findes for både oplæring af neurale net, men også inferens, Spisak sagde, men det er mindre alvorligt i tilfælde af inferens, fordi Intel ‘s Cpu’ er, der dominerer inferens i datacenteret, har en tendens til at støtte meget mere hukommelse, og så de ikke bliver beskattet så meget fra dette synspunkt.
Skal læse
Hvad er AI? Alt hvad du behøver for at knowWhat er dyb læring? Alt hvad du behøver for at knowWhat er machine learning? Alt hvad du behøver for at knowWhat er cloud computing? Alt, hvad du behøver at vide
“Den centrale indsigt fra, at papir — den jeg fandt mest interessante-er, at det er virkelig ikke antallet af qubits, som vi har, siger, 100 versus 110 qubits, men snarere, hvad der blandt de syv delmål, som tekniske problemer, har vi løst?” Fernick siger.
Nær toppen af stack af syv milepæle, langt fra det område af nutidens NISQ, er quantum algoritmer, der i sidste ende vil drive anvendelse af logiske gates af qubits.
Videnskab er “i høj grad stadig er i sin vorden quantum algoritmer,” bemærker Fernick. “Det er meget naivt at tro, at quantum algoritmer, vi har nu, er, hvad vi vil være glade for om 20 år fra nu.”
De, der stadig er ukendt algoritmer er nok et bedre sted at lede efter en quantum A. I. gevinst.
Muserne Fernick, “Ville det ikke være mere interessant at udnytte dem, kvante fysiske egenskaber på en helt ny måde at lave algoritmer, der er meget anderledes?”
Kunstig Intelligens
LG til at udvikle robotter til restauranter
Skalering Agile, vedtagelse af AI: Hvordan Intel er ved at gøre DET til en strategisk del af forretningen
Uber vs. Lyft: Hvordan rivaler tilgang cloud, AI, machine learning
Google trækker stikket på AI etik gruppe kun et par uger efter starten
Game of Thrones: AI bestemmer hvem der lever og dør (CNET)
Hvordan til at gøre AI-etik til en prioritet på din virksomhed (TechRepublic)
Relaterede Emner:
Big Data Analytics
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software