Moderna intelligenza artificiale, manca di una forte base teorica, e quindi è spesso una scrollata di spalle perché funziona a tutti (o, spesso, non è del tutto il lavoro).
Uno dei misteri più profondi di apprendimento profondo è uno dei suoi più brillanti successi, ciò che è noto come stocastico gradiente di discesa. Stocasticità, il processo di selezione casuale di esempi di dati, ha consentito progressi nel riconoscimento di immagini e altre profonde compiti di apprendimento.
E ora, un chip di computer azienda ritiene possano avere una sorta di macchina per stocasticità, un chip, il cui potere deriva dalla casualità. Potrebbe non portare ad una teoria del perché di apprendimento automatico e funziona, ma potrebbe portare ad sapeva scoperte in che stochasticity può raggiungere.
Otto-anno-vecchio Spin Memoria, in base a Fremont, in California, è l’avanzare lo stato dell’arte in una forma di computer chip di memoria conosciuto come “MRAM,” per “magnetoresistivi memoria ad accesso casuale.” L’azienda ha ottenuto $158 milioni di euro in tre fasi per produrre una ricetta che può essere utilizzata dai produttori di chip per aggiungere più efficiente blocchi di memoria per le loro parti, ciò che è noto nel settore come cache di dati.
I primi chip con Spin Memoria ricetta per MRAM di archiviazione dei dati possono essere visualizzati alla fine del 2021, in forma di sostituzioni, per la tradizionale “Livello 3” di cache del processore.
Spin Memoria Inc.
Un MRAM cache potrebbe essere molto meno affamato di potere che la ram utilizzata dai produttori di chip per rendere convenzionale cache, ed è in grado di fornire diverse volte la quantità di spazio di archiviazione nella stessa area fisica di un chip. Ma solo se giro può sfruttare MRAM inerente stochasticity.
“C’è qualcosa di molto strano MRAM, e va, per la natura stessa di AI di per sé, la natura stocastica”, dice Andy Walker, Spin vice presidente dei prodotti. “C’è una relazione matematica che nel suo funzionamento, che è direttamente applicabile ai.”
Cosa Walker fa riferimento alla natura complementare il funzionamento elettrico di MRAM, da un lato, e la capacità delle reti neurali per funzionare anche come “precisione” in uni e zeri è ridotto.
Inoltre: AI è cambiare l’intera natura del compute
MRAM memorizza un uno o uno zero allineando l’orientamento dei campi magnetici dei due magneti, l’uno rispetto all’altro tramite una corrente elettrica. Quando una corrente elettrica viene fatta passare attraverso il primo magnete, gli elettroni della corrente diventa polarizzata, cioè su quello che è chiamato un “momento angolare.” Quando la corrente viene inviato attraverso il secondo magnete, il loro momento angolare cause di coppia nel secondo magnete, e la coppia cambia l’orientamento magnetico del secondo magnete. Che cambiamento di orientamento rappresenta il capovolgimento di un po ‘ da zero a uno, o viceversa.
Che la funzione di commutazione non è assicurato, un po ‘ potrebbe capovolgere o non potrebbe. Si tratta di “un probabilistica valore della tensione”, spiega Walker. Per assicurarsi che un po ‘ è ribaltata, per scrivere un uno o uno zero con certezza, quantità extra di tensione devono essere applicate. Che fanno lievitare il consumo di potenza del dispositivo, è una brutta cosa, e riduce anche la durata delle MRAM da costantemente sottolineando il dispositivo.
“C’è qualcosa di molto strano MRAM, e va, per la natura stessa di AI di per sé, la natura stocastica”, dice Andy Walker, Spin vice presidente dei prodotti.
Spin Memoria Inc.
“Il modo in cui l’industria ha fino ad ora ha lavorato con MRAM è a battere su di esso con una lunga tensione per un lungo periodo di tempo”, dice Walker. “Si nascondono in questo stocastico interruttore, a scapito della resistenza dell’interruttore.”
Invece, Walker e colleghi hanno deciso di fare una virtù di quel vizio. Sfruttando la capacità delle reti neurali per affrontare la casualità, hanno abbassato la tensione di MRAM al di sotto di quanto sarebbe necessario per uno stoccaggio sicuro di uni e zeri. Hanno deciso di lasciare che la natura stocastica di reti neurali make up per l’incertezza del MRAM.
Spooky action: convolutional reti neurali come LeNet-4 continuato a funzionare ad alta precisione anche quando Spin Memoria gli scienziati alzato il “bit error rate” nel sistema.
Spin Memoria Inc.
“Quello che abbiamo fatto è che abbiamo passato in questa area di codice design, in cui comprendere la fisica dell’interruttore, e abbiamo incorporato nel design.”
In un articolo pubblicato su arXiv pre-server di stampa in Maggio, Walker e colleghi descrivono in dettaglio una sorta di corrispondenza di MRAM stochasticity e la rete neurale stochasticity. Hanno preso diverse versioni del classico convolutional reti neurali, tra cui LeNet-4, e AlexNet, e “convertite in formato binario” loro significato, hanno fatto la “funzione di attivazione” delle reti neurali un uno o uno zero, invece di un valore numerico. Questo approccio è stato sviluppato per la prima volta nel 2016 da AI studioso Yoshua Bengio e colleghi come un modo per ridurre il calcolo dell’intensità di reti neurali, riducendo la loro precisione numerica.
Walker e colleghi scoprire che convertite in formato binario reti può continuare a funzionare con un elevato grado di precisione anche in presenza di una grande quantità di “bit error rate” è inserito nel network. In alcuni casi, sono stati in grado di fare più di un terzo dei bit errati, e ancora raggiungere livelli convenzionali di precisione nel riconoscimento di immagini test, come ad esempio “CIFAR 10.”
In Walker termini, “questa insolita natura stocastica dell’interruttore” in MRAM diventa “qualcosa spookily la natura di AI se stesso.”
Da tollerare, maggiore è l’errore in MRAM, Spin è in grado di abbassare la tensione di funzionamento, e, quindi, di chiudere il gap tra MRAM e SRAM per due importanti aspetti, la velocità e la resistenza del circuito. Eliminando le carenze di MRAM, Spin può quindi sfruttare i vantaggi che MRAM ha più RAM, cioè, delle dimensioni di una funzione e la sua non-volatile le capacità di archiviazione.
“Lungo termine, possiamo vedere un mercato autonomo memoria”, dice Jeff Lewis, di Rotazione, di cui è vice presidente del business development.
Spin Memoria Inc.
Ulteriori dettagli tecnici su Spin parte può essere trovato in una domanda di brevetto pubblicata nel mese di giugno.
Molto di più di memoria può essere spremuto nella stessa area di un chip CMOS con MRAM rispetto a SRAM, dell’ordine di tre o quattro volte di più.
“In termini di layout di [ram] cella, è estremamente grande, sei transistor”, osserva Walker di SRAM. Visto che il chip di settore di spostare in verticale dei transistor indietro di diversi anni, chiamato “finfet,” SRAM è “estremamente difficile da scalare” in densità, in modo che la SRAM ha un problema crescente della dimensione del chip, la cui caratteristica dimensioni sono 10 nanometri o più piccoli.
Un secondo vantaggio è che MRAM è non volatile, in modo che è possibile memorizzare un uno o uno zero anche quando l’alimentazione viene spenta, simile a flash di memoria. Che potrebbe essere un grande risparmio energetico rispetto alle SRAM perché SRAM perdite. Esso utilizza energia anche quando non è di fare qualsiasi lavoro. Walker dice: “AI richiede molta più memoria del morire, e che conduce ad una grande quantità di statica, di dispersione, dell’ordine di amplificatori di potenza consumata anche quando il chip è non fare nulla.”
La messa a fuoco inizialmente è quello di sostituire il cosiddetto “Livello 3” cache nei processori, dice Spin Vice Presidente del business development, Jeff Lewis. Quelli cache possono essere diversi megabyte di ram per chip, e fino a decine di megabyte in caso di top-of-the linea di processori come Intel “Xeon” linea.
Spin sta lavorando a stretto contatto con il chip attrezzature maker Applicati Materiali per rendere la fabbricazione di MRAM un prontamente disponibile, prevedibile fabbricazione di attività per la maggior parte dei produttori di chip.
“Lungo termine, possiamo vedere un mercato autonomo memoria”, dice Lewis, come una sostituzione per il chip DRAM, che servono come memoria principale per i sistemi di computer. “Per andare in quella, dobbiamo avere questi primi miglioramenti, e quindi rendono molto ad alta densità, in modo che i costi saranno simili a DRAM, su ordine di più gigabyte a DRAM-come i costi”.
I primi chip da qualsiasi azienda con Spin memoria ricetta dovrebbe emergere fine del prossimo anno, o all’inizio del 2021. Essi possono essere seguiti da memoria standalone parti qualche tempo dopo, nel 2021.
Walker è ancora più entusiasta di una continua fusione di AI con MRAM. Dove stochasticity è stato un ostacolo per MRAM, potrebbe diventare una risorsa se può essere sfruttata per l’AI.
“A un certo punto, si trasforma in una funzione, una caratteristica unica di MRAM,” dice. Per educare le persone sulle funzionalità come che è difficile, ma il crescente coinvolgimento dei fisici in IA può aiutare, egli offre. “Avere i fisici interessato a questa zona rende estremamente potente perché non sono molte le persone che hanno una combinazione di conoscenze, di comprendere tutto l’arco delle cose.”
Intelligenza Artificiale
Wells Fargo: intelligenza Artificiale, machine learning un ‘arma a doppio taglio’
No, questo l’IA non sa ottavo grado della scienza
Che cosa è l’IA? Tutto quello che devi sapere sull’Intelligenza Artificiale
Di nuovo AI posti di lavoro supera il numero di posti di lavoro persi (ZDNet YouTube)
Elon Musk dice AI verranno creati posti di lavoro irrilevante (CNET)
Come aggiungere intelligenza artificiale per il 2020 È di bilancio (TechRepublic)
Argomenti Correlati:
Big Data Analytics
La Trasformazione Digitale
CXO
Internet delle Cose
L’innovazione
Enterprise Software