Noll
Intel har gjort ett flertal förvärv och gjort om sin färdplan för djupt lärande. Den nya portföljen går från Knights Bruk och Sjön Crest (Nervana) för utbildning av neurala nätverk för att Xeons, Altera Fpga: er och Movidius vision processorer för att driva dessa modeller. (Jag skrev om flera av dessa i ett inlägg förra veckan.)
Nu Intel har lagt till en annan chip till mix med tillkännagivandet av Loihi. Denna är dock lite annorlunda. Till att börja med, det är inte en del av bolagets AI Produkter som Grupp, utan snarare Intel Labs, som tillbringade sex år med att utveckla test-chip. Dessutom Loihi har en helt annan, “self-learning,” neuromorphic arkitektur med potential att ta itu med en bredare klass av AI problem.
Konceptet med en dator som härmar hjärna är inte nya-Caltech vetenskapsman Carver Mead började att jobba på det under 1980-talet och han myntade begreppet “neuromorphic” – men dessa har i stort sett förblivit science-projekt med lite kommersiell tillämpning. I en intervju, Narayan Srinivasa, Senior Principal Engineer och Chief Scientist på Intel Labs, förklarade varför företaget valde att gå denna väg.
Moore ‘ s Lag skalning får Intel att packa en massa fler kärnor i ett visst område. (Denna vecka meddelade Intel sin första vanliga stationära marker med sex kärnor och började frakt Kärnan i9-chip med upp till 18 hylsor.) Men sanningen är att många arbetsbelastning inte kan utnyttja alla dessa kärnor, Srinivasa sade, vilket har lett till ett fenomen som kallas mörk kisel. Med andra ord, det är helt enkelt inte effektivt att lätta upp alla dessa transistorer hela tiden. För att åtgärda detta, industrin behöver både en mer effektiv arkitektur och kompletterande arbetsbelastning som kan dra nytta av alla dessa kärnor.
Intel och andra har varit inspirerad av utformningen av hjärnan eftersom den är extremt effektiv på vad det gör. Den mänskliga hjärnan har cirka 100 miljarder nervceller som var och en med upp 10 000 synaptiska anslutningar–eller totalt cirka en kvadriljon synapser, men fungerar på mindre ström än en glödlampa. Naturligtvis, neuromorphic marker som inte kan nära denna skala ännu. Den 14nm Loihi testa chip är organiserad i 128 kluster, som var och en innehåller 1,024 nervceller, för totalt cirka 130,000 nervceller med 130 miljoner synapser fördelade över dem.
Men chip fungerar på liknande principer–åtminstone till den grad att vi förstår hur hjärnan fungerar. När pulser eller “spikar” som skickas till en neuron nå en viss aktivering nivå, det skickar en signal via synapser till andra nervceller. Mycket av det som händer, men det händer i synapserna, som är “plast”, i betydelsen att de kan lära av dessa förändringar och lagra denna nya information. Till skillnad från ett konventionellt system med separat beräkna och minne, neuromorphic marker har massor av minne (i detta fall SRAM cachar) som ligger mycket nära beräkna motorer.
Det finns ingen global klocka i dessa tillsatta neurala nätverk–nervceller bara eld när de har nått en aktivering nivå. Resten av tiden de förblir mörka. Detta asynkron drift är det som gör neuromorphic marker så mycket mer energieffektiv än en CPU eller GPU, som är “alltid på”. Asynkron teknik har sina rötter i Fulcrum Microsystems, ett företag som Intel förvärvade sätt tillbaka på 2011 som utvecklat det för Ethernet-switch marker, men Srinivasan sa att det var bara “skriker att användas i annan teknik.”
Detta är också vad som gör att tillsätta neurala nätverk en lovande lösning för andra former av lärande. En GPU är väl lämpad för övervakad inlärning eftersom dessa djupa neurala nätverk kan tränas offline med hjälp av stora mängder märkt data som kan hålla massiva kedjor upptagen. Dessa modeller är sedan överföras till och köra-en process som kallas “inferencing’–på Processorer, Fpga: er eller specialiserade Användningsområden. Neuromorphic marker kan användas för övervakad inlärning också, men eftersom de är självklart mer effektiv, tillsatta neurala nätverk bör också vara perfekt för ensamma eller inlärning med glesa data. Bra exempel på detta är intelligent videoövervakning och robotik.
Loihi är inte första neuromorphic chip. IBM: s TrueNorth, en del av en gammal DARPA forskningsprojekt, är kanske mest känd, men andra insatser har omfattat Stanford Neurogrid, BrainScaleS system vid Universitetet i Heidelberg och SpiNNaker vid University of Manchester. Dessa är beroende av styrelser med flera marker-i vissa fall med analoga kretsar–som är utbildad offline. Intel säger samma Loihi chip kan användas för både real-time utbildning och inferencing, och det lär sig över tid, blir allt bättre på det den gör.”Vi är de enda som kan hantera alla dessa former av lärande på ett enda chip,” Srinivasa sagt.
Den all-digital design består egentligen av två 14nm chips, en enkel x86-processor som gör en hel del av den pre-processing (tar data, kodar den i ett format för att tillsätta neurala nätverk, och skickar det till neuromorphic chip) och neuromorphic mesh, båda i samma paket. Loihi är inte en co-processor, x86-chip kommer att ha en boot miljö och lätt OS samt att fungera som värd, även om systemet nivå detaljer är fortfarande utarbetas.
Den första marker kommer att tillverkas i November med planer på att testa dem med “ledande universitet och forskningsinstitut med fokus på att främja AI” i den första halvan av 2018. Av den tiden, Intel planerar även att komplettera en programvara kit som kommer att göra det lättare att konvertera dataflöde grafer för att köra som att tillsätta neurala nätverk för tillsyn, och oövervakad inlärning.
Med ungefär samma antal nervceller i hjärnan av en mullvad, Loihi är en relativt liten neuromorphic chip, men Intel säger arkitektur kommer att skala lätt att ta fördel av bolagets avancerad teknik. “Det finns inget som hindrar oss från att göra en hel del fler nervceller och synapser eftersom de alla är samma,” Srinivasa sagt.
Men nu är det fortfarande ett forskningsprojekt. Verkligen namnet Loihi kan vara ett subtilt budskap om hur mycket arbete finns kvar att göra. Ligger utanför kusten av ön Hawaii, Lo’ihi är den enda vulkanen i Hawaiian sjöberg som är i de tidigaste stadierna av utveckling. Dessa ubåt vulkaner går igenom cykler av utbrott, lava uppbyggd och erosion för miljontals år att bilda öar. Förhoppningsvis kommer det inte ta så lång tid att se nästa stora genombrott i AI.
0