Nul
Intel har lavet flere opkøb og moderniseret sin køreplan for dyb læring. Den nye portefølje strækker sig fra Knights Mølle og Sø Crest (Nervana) til uddannelse af neurale netværk til at Xeons, Altera Fpga og Movidius vision processorer til at køre disse modeller. (Jeg skrev om flere af disse i et indlæg i sidste uge.)
Nu Intel har tilføjet en anden chip til mix med annonceringen af Loihi. Dette er dog en smule anderledes. For startere, er det ikke en del af virksomhedens AI Produkter Gruppen, men snarere Intel Labs, der tilbragte seks år på at udvikle den test chip. Hertil kommer, at Loihi har en helt anden, “selv-læring,” neuromorphic arkitektur med potentiale til at løse en bredere klasse af AI problemer.
Begrebet en computer, der efterligner hjernen er ikke ny-Caltech videnskabsmand Carver Mead begyndte at arbejde på det i 1980’erne og opfandt udtrykket “neuromorphic”–men disse har stort set er forblevet science projekter med begrænset kommerciel anvendelse. I et interview, Narayan Srinivasa, Senior Principal Engineer og Chief Scientist hos Intel Labs, forklarede, hvorfor virksomheden har valgt at gå denne vej.
Moore ‘ s Lov skalering er tilladt Intel til at pakke en masse flere kerner i et givet område. (I denne uge Intel annoncerede sin første mainstream desktop chips med seks kerner og begyndte forsendelse Core i9 chips med op til 18 kerner.) Men sandheden er, at mange arbejdsbyrder kan ikke udnytte alle de kerner, Srinivasa sagde, som har ført til et fænomen, kendt som mørkt silicium. Med andre ord, det er simpelthen ikke effektiv til at lyse op i alle disse transistorer hele tiden. For at løse dette, industrien har brug for både en mere effektiv arkitektur og supplerende arbejdsopgaver, der kan drage fordel af alle disse kerner.
Intel og andre er blevet inspireret af design af hjernen, fordi det er ekstremt effektive på, hvad det gør. Den menneskelige hjerne har en anslået 100 milliarder neuroner, der hver med op 10.000 synaptiske forbindelser–eller et samlet nogle af én billard synapser–men alligevel fungerer på mindre strøm end en pære. Selvfølgelig, neuromorphic chips kan ikke tæt på denne skala endnu. Den 14nm Loihi test chip er organiseret i 128 klynger, som hver indeholder 1,024 neuroner, for et samlet beløb på ca 130,000 neuroner med 130 millioner synapser, som er fordelt over dem.
Men den chip, der opererer på de samme principper–i det mindste i den udstrækning, at vi forstår, hvordan hjernen fungerer. Når impulser eller ‘spikes’ sendt til en neuron nå en vis aktivering niveau, det sender et signal via synapser til andre neuroner. Meget af handlingen, men der sker i synapser, som er af plast,’ hvilket betyder, at de kan lære fra disse ændringer og gemme de nye oplysninger. I modsætning til et konventionelt system med separat beregne og hukommelse, neuromorphic chips har masser af hukommelse (i dette tilfælde SRAM caches) beliggende meget tæt på at beregne motorer.
Der er ingen globale uret i disse tilsætte neurale netværk–neuroner kun skyde, når de har nået en aktivering niveau. Den resten af den tid, de forbliver mørke. Dette asynkron drift er, hvad der gør neuromorphic chips, så meget mere energieffektive end en CPU eller GPU ‘ en, som er “altid på”. Den asynkrone teknologi har sine rødder i Omdrejningspunkt Microsystems, en virksomhed som Intel, der er erhvervet langt tilbage i 2011, der har udviklet det til Ethernet-switch chips, men Srinivasan sagde, at det bare var “skreg på at blive brugt i anden teknologi.”
Dette er også hvad der gør at tilsætte neurale netværk en lovende løsning for andre former for læring. En GPU er velegnet til overvåget indlæring, fordi disse dybe neurale netværk kan være uddannet offline ved hjælp af store sæt af mærket data, der kan holde massive arrays travlt. Disse modeller er derefter overført til og køre-en proces kendt som “inferencing’–Cpu ‘ er, Fpga eller specialiserede ASICs. Neuromorphic chips kan bruges til overvåget indlæring, men fordi de er uløseligt mere effektiv, tilsætte neurale netværk bør også være ideel for at være alene eller reinforcement learning med sparsomme data. Gode eksempler på dette omfatter intelligent videoovervågning og robotteknologi.
Loihi er ikke første neuromorphic chip. IBM ‘ s TrueNorth, en del af en mangeårig forskning, DARPA projekt, er måske bedst kendt, men andre bestræbelser har i prisen Stanford Neurogrid, BrainScaleS system ved Universitetet i Heidelberg, og Spiler på University of Manchester. Disse er afhængige af bestyrelser med flere chips-i nogle tilfælde med analoge kredsløb–der er uddannet offline. Intel siger det samme Loihi chip kan bruges til både real-time træning og inferencing, og det lærer over tid, bliver gradvist bedre på, hvad det gør.”Vi er de eneste, der kan håndtere alle disse former for læring på en enkelt chip,” Srinivasa sagde.
All-digital design, der faktisk består af to 14nm chips, en simpel x86-processor, som gør en masse af de præ-behandling (tager data, koder den i et format, for at tilsætte neurale netværk, og sender det til neuromorphic chip) og neuromorphic mesh, både i den samme pakke. Loihi er ikke en co-processor; x86-chip vil have en boot-miljø og let OS, og fungere som vært, om system-niveau detaljer er stadig under udarbejdelse.
De første chips vil blive fremstillet i November med planer om at teste dem “førende universitet og forsknings-institutioner, med fokus på at fremme AI” i den første halvdel af 2018. På det tidspunkt, Intel har også planer om at gennemføre en software kit, der vil gøre det lettere at konvertere dataflow grafer til at køre som at tilsætte neurale netværk om overvåget, uden opsyn og styrkelse læring.
Med nogenlunde samme antal neuroner i hjernen af en muldvarp, Loihi er en forholdsvis lille neuromorphic chip, men Intel siger, at arkitekturen vil skala nemt at drage fordel af selskabets avanceret procesteknologi. “Der er intet der forhindrer os i at gøre en masse mere neuroner og synapser, fordi de er alle de samme,” Srinivasa sagde.
Men for nu er det fortsat et forskningsprojekt. Faktisk navnet Loihi kan være en subtil besked om, hvor meget arbejde der er stadig tilbage at gøre. Beliggende ud for kysten af øen Hawaii, Lo ‘ ihi er den eneste vulkan i Hawaii-seamount, der er i de tidligste stadier af udviklingen. Disse undersøiske vulkaner gå igennem cyklusser af udbrud, lava opbygning og erosion i millioner af år at danne øer. Forhåbentlig vil det ikke tage så lang tid for at se den næste store gennembrud inden for AI.
0