Noll
Den explosion av intelligens och maskininlärning är att ändra själva karaktären av datorer, så säger en av de största utövare av AI, Google.
Google software engineer Klippa Unga gav öppningsanförande på torsdag morgon Linley Grupp Faller Processor Konferens, en populär dator-chip symposium sätta på ärevördiga halvledare analys fast Linley Grupp, i Santa Clara, Kalifornien.
Sa Ung, användning av AI har nått en “exponentiell fas” på samma gång som Moores Lag, årtionden gammal tumregel om halvledare framsteg, har marken för att stanna.
“Tiden är något neurotiska,” han funderade. “Digital CMOS är att sakta ner, ser vi att det i Intels elände i 10-nanometer [chip produktion], vi ser det i GlobalFoundries få ut av 7-nanometer, samtidigt som det är denna djupa lärande sak händer, det är den ekonomiska efterfrågan.” CMOS, eller complementary metal-oxide semiconductor, är det vanligaste materialet för datachips.
Också: Google preps TPU 3.0 för AI, maskininlärning, modell träning
Som vanliga chips kamp för att uppnå bättre prestanda och effektivitet, efterfrågan från AI-forskare är stigande noteras Unga. Han rabblade lite statistik: antal akademiska uppsatser om lärande som anges på arXiv pre-print server underhålls av Cornell University om fördubblas var 18: e månad. Och antalet interna projekt med fokus på AI på Google, sade han, är också fördubblas var 18 månader. Ännu mer intensiv, antalet flyttal aritmetiska operationer som behövs för att genomföra lärande neurala nätverk är en fördubbling varje tre och en halv månader.
Allt som tillväxt i design och efterfrågan är att lägga upp en “Super Moores Lag”, sade Unga, ett fenomen som han kallade för “lite skrämmande,” och “lite farlig” och “något att oroa sig för.”
“Varför allt detta exponentiell tillväxt?” i AI, frågade han. “I en del, eftersom djupt lärande bara fungerar”, sade han. “För en lång tid jag tillbringade min karriär ignorera machine learning”, sade Unga. “Det var inte klart att dessa saker går att ta av.”
Men sedan genombrott i saker som bild erkännande kommit igång snabbt, och det blev tydligt djupt lärande är “otroligt effektivt”, sade han. “Vi har varit en AI-som första företag för de flesta av de senaste fem åren”, sade han, “vi byggde om de flesta av våra företag på det,” från sökning till annonser och många fler.
Efterfrågan från Google Hjärnan team som leder forskning om AI är för “gigantiska maskiner”, sade Unga. Till exempel, neurala nätverk är ibland mätt med antalet “vikter” de anställer, variabler som används i neurala nätverk för att forma sin manipulation av data.
Medan konventionella neurala nät kan ha hundratals tusen av sådan vikt att det måste beräknas, eller till och med miljontals, Googles forskare säger “snälla, ge oss en tera-vikt på maskinen,” datorer som kan design och en biljon vikter. Det beror på att “varje gång du dubbla storleken av [neurala] network, får vi en förbättring i noggrannhet.” Större och större, är regeln i AI.
Att svara, naturligtvis, Google har varit att utveckla sin egen linje av maskininlärning marker, “Tensor Processing Unit.” TPU, och delar gärna det, behövs eftersom traditionella Processorer och grafikkort (Gpu) kan inte hålla upp.
“För en mycket lång tid, vi hållas tillbaka och sade att Intel och Nvidia är riktigt bra på att bygga högpresterande system”, sade Unga. “Vi korsade tröskeln för fem år sedan.”
TPU orsakat uppståndelse när den först avtäcktes i 2017, med prestanda som är överlägsna konventionell chips. Google är nu på sin tredje iterationen av TPU, som man använder för internt och erbjuder också en on-demand beräkna node via Google Cloud.
Också: Google lanserar Edge TPU, Moln IoT Kanten programvara
Företaget fortsätter att göra större och större förekomster av TPU. “Pod” konfiguration knyter samman till 1 024 enskilda TPUs in i en ny typ av superdator, och Google har för avsikt att “fortsätta skalning” systemet, sade Unga.
“Vi bygger dessa gigantiska multi-datorer, med tiotals petabyte av data -,” sade han. “Vi arbetar oavbrutet i flera riktningar av framsteg, tera-ops hålla på att klättra.”
Sådan teknik “ger alla frågor som kommer upp i superdator design”, sade han.
Till exempel, Google ingenjörer har antagit knep som används av den legendariska supercomputing outfit Cray. De kombinerade en “gigantisk matrismultiplikation enhet,” den del av det chip som gör merparten av arbetet för neural network computing, med en “allmänt ändamål vektor enhet” och ett “allmänt ändamål skalär enhet,” som på Cray. “Kombinationen av scaler och vektor-enheter låt Cray överträffa allt annat,” konstaterade han.
Google har utvecklat sin egen roman aritmetiska konstruktioner för att programmera chip. Något som kallas en “bfloat16” är ett sätt att representera reella tal som ger mer effektivitet i siffertuggande på neurala nätverk. Det som i vardagligt tal kallas “brain flyta.”
TPU drar på snabbast minne marker, så kallade high-bandwidth minne, eller HBM. Det finns ett stigande behov av minneskapacitet i utbildning neurala nätverk, sade han.
“Minne är mycket mer intensiva i utbildning”, sade han. “Människor talar om hundratals miljoner vikter, men det är också en fråga om hantering av aktivering” variabler av ett neuralt nätverk.
Och Google är även att ställa in hur det program neurala nät för att göra det mesta av hårdvara. “Vi arbetar en hel del på data och modell parallellitet,” med sådana projekt som “Mesh TensorFlow,” en anpassning av bolagets TensorFlow programmering ram som “kombinerar data och modell parallellitet på pod-skala.”
Det var vissa tekniska detaljer Unga skyggat från att avslöja. Han noterade bolaget har inte pratat mycket om “anslutningskablar,” hur data flyttas runt chip, rädda för att säga “vi har gigantiska kontakter.” Han avböjde att erbjud mer information, framkalla skratt från publiken.
Unga pekade på ännu mer spännande världar av datorer som inte kan vara långt borta. Till exempel, föreslog han att datorer via analoga chips, kretsar som process-ingångar som kontinuerliga värden, snarare än som ettor och nollor, kan spela en viktig roll. “Kanske kommer vi att prov från den analoga domänen, det är några riktigt coola grejer i fysik, med analog design, eller i ett icke-flyktigt teknik.”
Han höll ut hopp om ny teknik från chip startups som de som finns på konferensen: “Det är några super-coola startups, och det är det vi behöver arbeta på grund digital CMOS bara kommer att ta oss så långt; jag vill att dessa investeringar att ske.”
Tidigare och relaterade täckning:
Tidigt AI adopters betänkande stor avkastning
Ny studie visar artificiell intelligens är att betala av, men organisationer står inför utmaningar.
Oracle lanserar nya företag digital assistent
Som går utöver typiska chatbots byggd för ett enda syfte, Oracle Digital Assistent kan vara utbildade för att stödja domän kompetens från flera olika program
AI leverera avkastning till företagets tidiga, men inte industrier skapade lika
Deloittes årliga AI undersökningen visar lite av realism, it-säkerhet oro och 17 procent median avkastning på investeringen.
Maskininlärning nu upp kompetens som söks av utvecklare
SlashData: s senaste undersökning av 20 000 utvecklare identifierar maskinen lärande och data vetenskap är kompetens att veta för 2019.
Vad är djupt lärande? Allt du behöver veta
Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.
Vad är digital omvandling? Allt du behöver veta
Digital omvandling: vad det är, varför det är viktigt, och vad de stora trenderna är.
AI och Internet of Things kommer att driva digital omvandling genom 2020
Forskning studien visar på sakernas internet, AI och synkron ledger tech (blockchain) prioriteringar.
Relaterade artiklar:
Det finns ingen roll för AI eller data vetenskap: det här är ett lagarbete Start Släkt ger strimma av hopp för AI i robotik AI: vy från Chief Data Vetenskap Kontor Salesforce intron Einstein Röst, en AI röst assistent för företag att det inte är Det jobb AI är förstört som stör mig, det är de som växer Hur Facebook skalor AI Google Duplex oroar mig CNET Hur Google Hem är bättre än Amazon Echo CNET Digital transformation: En guide för CXOs (Tech Pro Forskning) Vad företagen kommer att fokusera på för digital transformation inom 2018 Digital transformation: Tre sätt att få det rätt i ditt företag
Relaterade Ämnen:
Datacenter
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem
0