Zero
Boon ha girato per bane, come la crescita esplosiva della dimensione delle reti neurali presenta l’IA comunità con sgraziata, computer di carichi di lavoro che le imposte le risorse esistenti.
Fortunatamente, il nuovo anno è cominciato con una miriade di soluzioni per rendere le reti neurali più gestibile, sia per la loro formazione, e quando sono in esecuzione su dispositivi di rispondere a domande, conosciuto come il “inferenza” fase di apprendimento automatico.
Inoltre: AI startup Petuum obiettivo di industrializzare macchina di apprendimento
Uno stuolo di carte alla fine di dicembre e questa settimana proponiamo una serie di soluzioni per rendere le reti più gestibile. Essi sono, in nessun ordine particolare:
Comprimendo la matematica necessari per calcolare i pesi di una rete neurale, in alcuni casi, la loro riduzione da 32-bit in virgola mobile a 8-bit in virgola fissa (intero) numeri, oppure “binarizing”, riducendo a 1 o 0, o utilizzando la “simmetria” di matrici, riducendo la quantità di storage necessaria per li rappresentano;
“La potatura” i parametri, il che significa la rimozione di alcuni dei pesi e l’attivazione di “funzione”, il calcolo che rende un dato neurone in rete neurale rispondere ai dati;
Ridurre la quantità di condivisione dei dati in rete quando in esecuzione su molti sistemi informatici distribuiti, come da decidere selettivamente con i neuroni scambio di informazioni circa i pesi, o selettivamente il partizionamento di calcolo tra i diversi processori;
Nuovi tipi di reti neurali, algoritmi e metodi per la partizione di loro, per rendere più efficiente l’utilizzo di nuovi tipi di hardware.
Un “memristor rete neurale,” MNN. (Immagine: Tang et al.)
Come una carta mette, da Charbel Sakr e Naresh Shanbhag dell’Università di Illinois a Urbana-Champaign, il “Deep neural networks’ enorme di calcolo e di parametro di complessità, porta ad un elevato consumo di energia, rende la loro formazione attraverso il gradiente stocastico algoritmo di discesa molto lenta che spesso richiedono ore e giorni, e inibisce la loro distribuzione di energia e di risorse con vincoli di piattaforme come i dispositivi mobili e di agenti autonomi.” Molti dei documenti in analoghe preoccupazioni.
Anche: Capital One AI chief vede percorso spiegabile AI
La ricerca di soluzioni per rendere le reti neurali più efficienti, a processo va indietro di decenni. E ‘ stato un problema quando pionieri Rumelhart e McClelland scritto il loro massiccio trattato Parallelo di Elaborazione Distribuita nel 1986, quando Facebook è Yann LeCun proposta di “Ottimale danni al cervello” nel 1990, come un modo per ridurre il numero di parametri necessari per essere calcolato. Lavoro da Google Cervello i ricercatori Jeff Dean e gli altri alle prese con il problema di nuovo come un profondo apprendimento avvenuto nel 2012.
La ricerca di un miglioramento è stato costante, ma il problema sembra essere sempre peggio, in quanto il successo di apprendimento profondo rende reti più grandi e più grandi in zone dove la macchina di apprendimento ha avuto come riconoscimento di immagini e di elaborazione del linguaggio naturale.
Gli autori dei vari report ogni pretesa di ridurre in qualche modo il calcolo dell’intensità, tra quanto tempo ci vuole per addestrare una rete neurale, o l’uso di dedurre le cose, o entrambi. Sono tutti gravati da il difficile trade-off che le reti neurali sempre lavoro sotto: se si scarica troppo la complessità di una rete neurale, che si possono migliorare le prestazioni di ore o di giorni, ma si può anche perdere la precisione della rete. Tutti gli autori affermano di aver navigato con successo che temibile trade-off.
Qui, in nessun ordine particolare, sono le ottimizzazioni:
Yoshua Bengio e team di Montreal MILA esplorare cosa succede se si quantizza parti di una rete neurale per rendere l’elaborazione di inferenza attività in modo più efficiente, soprattutto per i dispositivi mobili. Essi suggeriscono anche di un nuovo approccio per la rete neurale hardware che richiede “un paio di watt” di potenza per eseguire le operazioni.
Xu Shell Hu e colleghi di Parigi, Université Paris-Est, si propone di rendere i pesi di una rete neurale “simmetrico” in forma selettiva, che insistono che può ridurre notevolmente il numero di parametri e di complessità computazionale sacrificando poco o nessun precisione, sia in treno e di test”.
Sakr e Shanbhag a U dell’Illinois mostra come quantizzare tutti i pesi di una rete per la fase di formazione, attraverso la determinazione del minimo accettato di precisione per ogni parte della rete, sostenendo che tali misure di ridurre considerevolmente la “rappresentazione computazionale, costi di comunicazione e di formazione”, rispetto ai calcoli in virgola mobile.
Xiaorui Wu e colleghi presso la City University di Hong Kong, insieme con Yongqiang Xiong di Microsoft, migliorare il design tipico di una distribuzione di macchina di apprendimento del sistema, riducendo drasticamente la larghezza di banda delle comunicazioni preso andando tra i nodi di calcolo, il risultato è che non si “migliora il tempo di formazione in modo sostanziale negli parametro di sistemi server con l’ultima datacenter Gpu e 10G di larghezza di banda.”
Hajar Falahati e i colleghi dell’Iran Università di Scienza e Tecnologia creato un sistema per selettivamente la suddivisione atomica funzioni di reti neurali, come calcolo la non-linearità o aggiornamento dei pesi della rete. Il team ha utilizzato la partizione approccio di più di un romanzo di chip hanno costruito, chiamato “Origami”, che è una combinazione di un circuito integrato per applicazioni specifiche (ASIC) e di diversi livelli di stacked DRAM, ciò che è noto nel mondo di chip, come “Hybrid Memory Cube.”
Zhiri Tang e i suoi colleghi della Cina Wuhan Università e l’Accademia delle Scienze Cinese venire con un nuovo modo per ridurre il numero di pesi in rete da parte di modellazione di loro dopo un circuito elettrico chiamato “memristor”, il cui circuito di proprietà sono colpiti da una storia di flusso di corrente, simile ad un chiodare neurone.
Mohammad Mohammadi Amiri e Deniz Gündüz con l’Imperial College di Londra distribuire la funzione di formazione per di più in modalità wireless da un computer collegato, e quindi ogni computer che invia il suo calcolo indietro oltre il rumoroso collegamento wireless, che produce automaticamente la somma dei molteplici sfumature, la realizzazione di una globale gradiente quando la trasmissione arriva a un server centrale, così da risparmiare sulla larghezza di banda delle comunicazioni.
Funzioni di partizione di una rete neurale per ottimizzare l’elaborazione distribuita. (Immagine: Falahati et al.)
Il raggio impressione data da tutte queste relazioni è che oggi le reti neurali non sono cambiati da una decina di anni fa in molti aspetti fondamentali; gli stessi problemi di scala che sono stati affrontati da Google e gli altri allora sono ancora validi. E molti dei disegni di queste reti neurali, le loro “architettura” — è inefficiente, nel senso di avere un sacco di informazioni ridondanti.
Un’altra conclusione a sinistra persistente è che tutto questo lavoro porterà al meglio le reti neurali. La nozione di “rappresentare” il mondo in una rete neurale è sempre rimasto dell’idea che in qualche modo “vincoli” che la rete neurale per forza per trovare livelli più elevati di astrazione.
Deve leggere
‘IA è molto, molto stupido”, dice Google AI leader CNETBaidu crea Kunlun di silicio per AIUnificata di Google IA divisione di un chiaro segnale di AI futuri TechRepublic
I limiti delle reti neurali sono spiegato in un altro articolo uscito questa settimana, sponsorizzato dalla Difesa di Anticipo Agenzia per Progetti di Ricerca. Pierre Baldi e Romana Vershynin, professori presso la UC Irvine. Nel loro articolo, “La Capacità delle reti neurali Feedforward,” si impegna a descrivere più informazioni su il mondo di una rete neurale può realizzare. Come l’hanno messa, “La capacità di una rete può essere vista come un limite superiore per il numero totale di bit che possono essere archiviati in rete o il numero di bit che possono essere da noi “comunicati” dal mondo esterno alla rete da parte del processo di apprendimento.”
Mentre questi articoli di ricerca a che fare con il modo di gestire la complessità in senso pratico, è immaginabile le cose che trovano alla fine può avere un impatto sul problema teorico Baldi e Vershynin stanno pensando: Se queste rappresentazioni in macchina di apprendimento può essere fatto meglio, che è più sofisticato, più vicino a un certo livello di comprensione del mondo da un computer.
Precedente e relativa copertura:
Che cosa è l’IA? Tutto quello che devi sapere
Un esecutivo a guida di intelligenza artificiale, machine learning e generale AI alle reti neurali.
Cos’è il deep learning? Tutto quello che devi sapere
Il lowdown su deep learning: da come si relaziona con il più ampio campo di machine learning a come iniziare con esso.
Che cosa è macchina di apprendimento? Tutto quello che devi sapere
Questa guida spiega in cosa consiste la macchina di apprendimento, di come esso è legato all’intelligenza artificiale, come funziona e perché è importante.
Che cos’è il cloud computing? Tutto quello che devi sapere su
Un’introduzione al cloud computing destra, dalle nozioni di base fino a IaaS e PaaS, ibrido, public e private cloud.
Argomenti Correlati:
Hardware
La Trasformazione Digitale
CXO
Internet delle Cose
L’innovazione
Enterprise Software
0