Zero
Intel ha fatto parecchi acquisti e rinnovato la propria tabella di marcia per l’apprendimento profondo. La nuova gamma si estende da Cavalieri Mulino e il Lago di Cresta (Nervana) per l’addestramento di reti neurali per Xeon, Altera Fpga e Movidius visione processori per l’esecuzione di questi modelli. (Ho scritto su alcuni di questi in un post la scorsa settimana.)
Ora Intel ha aggiunto un altro chip per il mix con l’annuncio di Loihi. Questa, però, è un po ‘ diverso. Per cominciare, non è parte dell’azienda, AI Prodotti del Gruppo, ma piuttosto Intel Labs, che ha trascorso circa sei anni a sviluppare il chip di test. Inoltre, Loihi è completamente diverso, di “auto-apprendimento,” neuromorfi architettura, con il potenziale per affrontare una classe più ampia di AI problemi.
Il concetto di un computer che imita il cervello non è nuovo–Caltech scienziato Carver Mead ha iniziato a lavorare su di esso nel 1980 e ha coniato il termine “neuromorfi”, ma queste sono rimaste scienza progetti con un po ‘ di applicazioni commerciali. In un’intervista, Narayan Srinivasa, Senior Principal Engineer e Chief Scientist di Intel Labs, ha spiegato perché l’azienda ha scelto di andare giù questo percorso.
La Legge di Moore scala ha permesso a Intel di confezionare un sacco di più core in una data area. (Questa settimana Intel ha annunciato il suo primo desktop mainstream chip a sei core e ha iniziato la spedizione il Core i9 chip con fino a 18 core.) Ma la verità è che molti carichi di lavoro non può sfruttare tutte quelle anime, Srinivasa ha detto, che ha portato ad un fenomeno noto come dark silicio. In altre parole, esso semplicemente non è efficiente alla luce di tutte quelle transistor per tutto il tempo. Per risolvere questo problema, l’industria ha bisogno sia di una architettura più efficiente e complementari carichi di lavoro che possono usufruire di tutti questi core.
Intel e altri sono stati ispirati dalla progettazione del cervello perché è estremamente efficiente in quello che fa. Il cervello umano ha una stima di 100 miliardi di neuroni, ciascuno con fino a 10.000 connessioni sinaptiche, o un totale di un quadrilione di sinapsi–sicurezza opera sul meno energia di una lampadina. Naturalmente, neuromorfi chip non può chiudere la scala di sicurezza. Il 14nm Loihi chip di test è organizzato in 128 cluster, ciascuno contenente 1,024 neuroni, per un totale di circa 130.000 neuroni con 130 milioni di sinapsi distribuiti tra di loro.
Ma il chip funziona su principi simili, almeno nella misura in cui riusciamo a capire come funziona il cervello. Quando gli impulsi o ‘picchi’ inviato a un neurone raggiungere un certo livello di attivazione, invia un segnale oltre la sinapsi con altri neuroni. Tanta azione, tuttavia, accade nelle sinapsi, che sono ‘di plastica,’ il che significa che si può imparare da questi cambiamenti e memorizzare le nuove informazioni. A differenza di un sistema convenzionale con separata di calcolo e memoria, neuromorfi chip hanno un sacco di memoria (in questo caso SRAM cache) che si trova molto vicino a calcolare i motori.
Non c’è nessun globale orologio in questi spiking neural networks–i neuroni del fuoco solo quando hanno raggiunto un livello di attivazione. Il resto del tempo che rimangono al buio. Questa operazione asincrona è ciò che rende neuromorfi chip in modo molto più efficiente di una CPU o GPU, che è “sempre”. La tecnologia asincrona ha le sue radici nel Fulcro Microsystems, azienda che Intel ha acquisito il via nel 2011 che si è sviluppato per switch Ethernet chip, ma Srinivasan ha detto che era solo “urlando di essere utilizzati in altre tecnologie.”
Questo è anche ciò che rende spiking neural networks una soluzione promettente per le altre modalità di apprendimento. Una GPU è particolarmente adatto per l’apprendimento supervisionato, perché queste profonde reti neurali possono essere addestrati offline con grandi set di dati etichetta che può mantenere la massiccia matrici occupato. Questi modelli vengono poi trasferiti ed eseguire-un processo noto come ‘riferimento’–sulla Cpu, Fpga o specializzata ASICs. Neuromorfi chip può essere utilizzato per l’apprendimento supervisionato troppo, ma perché sono intrinsecamente più efficiente, spiking neural networks dovrebbe anche essere l’ideale per vigilata o di apprendimento di rinforzo con dati sparsi. Buoni esempi di questo sono i video sorveglianza intelligente e robotica.
Loihi non è la prima neuromorfi chip. IBM TrueNorth, parte di un vecchio DARPA progetto di ricerca, è forse più conosciuto, ma altri sforzi sono inclusi di Stanford Neurogrid, il BrainScaleS sistema presso l’Università di Heidelberg e SpiNNaker presso l’Università di Manchester. Questi si basano su schede con chip multipli–in alcuni casi con circuiti analogici, che sono addestrati in linea. Intel dice la stessa Loihi chip può essere utilizzato sia per la formazione in tempo reale e di deduzione, e si impara nel tempo, diventando progressivamente migliore in quello che fa.”Siamo gli unici in grado di gestire tutte queste modalità di apprendimento su un singolo chip,” Srinivasa detto.
L’all-digital design consiste in realtà di due 14nm chip, un semplice processore x86 che fa un sacco di pre-elaborazione (prende i dati, la codifica in un formato per spiking neural networks, e la trasmette al neuromorfi chip) e il neuromorfi maglia, entrambi nello stesso pacchetto. Loihi non è un co-processore x86 chip avrà un ambiente di avvio e di sistema operativo leggero e di agire come host, anche se il sistema a livello di dettagli sono ancora in fase di elaborazione.
I primi chip saranno realizzati nel mese di novembre, con piani di test “con importanti università e istituti di ricerca, con un focus sul miglioramento di AI”, nella prima metà del 2018. Da quel momento, Intel prevede inoltre di completare un kit di software che renderà più facile per convertire il flusso di dati grafici per l’esecuzione come spiking neural networks di una supervisione, senza sorveglianza e di apprendimento di rinforzo.
Con circa lo stesso numero di neuroni come nel cervello di una talpa, Loihi è un relativamente piccolo neuromorfi chip, ma Intel dice l’architettura di scalare facilmente sfruttando la società di tecnologia di processo avanzata. “Non c’è nulla ci impedisce di fare anche molto di più neuroni e sinapsi, perché sono tutti uguali,” Srinivasa detto.
Ma per ora rimane un progetto di ricerca. Infatti il nome Loihi può essere un messaggio sottile su quanto lavoro c’è ancora da fare. Situato al largo della costa dell’isola di Hawaii, Lo’ihi è l’unico vulcano Hawaiano secca che è nelle prime fasi di sviluppo. Questi vulcani sottomarini passare attraverso cicli di eruzione, lava accumulo e di erosione per milioni di anni per formare isole. Speriamo che non ci vorrà molto per vedere la prossima grande svolta AI.
0