Non sappiamo per quale motivo profondo forme di apprendimento delle reti neurali ottenere un grande successo in molte attività; la disciplina è una scarsità di teoria per spiegare la sua empirica successi. Come Facebook del Yann LeCun, ha detto, deep learning è come il motore a vapore, che ha preceduto la teoria alla base della termodinamica da molti anni.
Ma alcuni profondi pensatori sono stati a faticare in materia di teoria per diversi anni.
Mercoledì, il gruppo ha presentato una prova di apprendimento profondo capacità superiori per simulare i calcoli in quantum computing. Secondo questi pensatori, la ridondanza di informazioni che avviene in due di maggior successo della rete neurale tipi, convolutional reti neurali, o CNNs e reti neurali ricorrenti, o RNNs, fa la differenza.
Amnon Shashua, che è il presidente e amministratore delegato di Mobileye, autonoma di guida, tecnologia, società acquistata da chip gigante Intel lo scorso anno per $14,1 miliardi, ha presentato i risultati di mercoledì, in una conferenza a Washington, DC ospitato dall’Accademia Nazionale delle Scienze, detta la Scienza di Apprendimento Profondo.
Oltre ad essere un senior vice president di Intel, Shashua è un professore di informatica presso l’Università ebraica di Gerusalemme, e la carta è co-autore insieme a colleghi da lì, Yoav Levine, autore, O Sharir, e con Nadav Cohen della Princeton University Institute for Advanced Study.
Anche: Facebook è Yann LeCun riflette il fascino senza tempo di circonvoluzioni
Il rapporto, “l’Entanglement Quantistico in un Profondo Apprendimento Architetture”, è stato pubblicato questa settimana nella prestigiosa rivista Physical Review Letters.
Il lavoro per un importo pari sia una prova di alcuni problemi di deep learning può eccellere, e al tempo stesso una proposta per un promettente futuro di quantum computing.
La squadra di Amnon Shashua e colleghi hanno creato un “CAC”, o “convolutional aritmetica circuito”, che replica il ri-uso delle informazioni in un tradizionale CNN, mentre farlo funzionare con la “Tensore di Rete” modelli comunemente utilizzati in fisica.
Mobileye.
In quantum computing, il problema è un po ‘ l’inverso di apprendimento profondo: un sacco di avvincente teoria, ma ancora pochi esempi di funzionamento della cosa reale. Per molti anni, Shashua e i suoi colleghi, e altri, hanno meditato su come simulare l’informatica quantistica della cosiddetta many-body problem.
Il fisico Richard Mattuck ha definito many-body problem “lo studio degli effetti di interazione tra i corpi sul comportamento di un corpo del sistema,” dove i corpi hanno a che fare con elettroni, atomi, molecole, o di vari altri enti.
Cosa Shashua e team, e che cosa dicono che ho provato, è che CNNs e RNNs sono meglio dei tradizionali approcci di apprendimento automatico come il “Restricted Macchina di Boltzmann,” una rete neurale approccio sviluppato negli anni 1980 che è stato un pilastro della fisica ricerca, in particolare la fisica quantistica, la teoria della simulazione.
Anche: Google esplora AI misteriosa polytope
“Deep learning architetture,” scrivono, “in forma di profonda convolutional e reti ricorrenti, può rappresentare in modo efficace altamente entangled sistemi quantistici.”
Coinvolgimenti sono correlazioni tra quelle interazioni dei corpi che si verificano in sistemi quantistici. Effettivo quantum computing ha il grande vantaggio di essere in grado di calcolare intrecci con il formidabile efficienza. Per simulare che attraverso convenzionale di calcolo elettronico può essere estremamente difficile, anche intrattabile.
“Il nostro lavoro quantifica la potenza di apprendimento profondo per altamente entangled funzione d’onda rappresentazioni,” scrivono, “teoricamente motivare un cambio di direzione verso l’impiego di state-of-the-art di apprendimento profondo architetture many-body di ricerca di fisica.”
Gli autori hanno preso una versione del ricorrente la rete neurale, o “RNN,” e modificato aggiungendo il riutilizzo dei dati di un “ricorrenti aritmetica circuito” o RAC.
Mobileye.
Gli autori hanno perseguito la questione prendendo CNNs e RNNs e di applicazione di “estensioni” che hanno messo a punto. Essi si riferiscono a questo come un “semplice ‘trucco’,” e comporta che la ridondanza accennato in precedenza. Si scopre, secondo Shashua e colleghi. Si scopre, che scrivono, che la struttura di CNNs e RNNs comporta un’essenziale “riutilizzo” di informazioni.
In caso di CNNs, il “kernel”, la finestra scorrevole che si è imbattuto in un’immagine, si sovrappone, in ogni momento, in modo che le parti dell’immagine vengono ingeriti per la CNN più volte. In caso di RNNs, l’uso ricorrente di informazioni a ogni livello della rete è un simile tipo di riutilizzo, in questo caso per sequenziale punti di dati.
Anche: Google dice che una crescita esponenziale di AI è cambiare la natura di calcolare
In entrambi i casi, “questo tratto architettonico […] è stato dimostrato di produrre un miglioramento esponenziale in rete espressività pur ammettendo una mera crescita lineare della quantità di parametri e costo computazionale.” In altre parole, CNNs e RNNS, per virtù di ridondanza, realizzati mediante impilamento molti livelli, dispone di un più efficiente “rappresentazione” delle cose, in termini di elaborazione.
Per esempio, un tradizionale “completamente connesso” rete neurale — quello che gli autori termine di un “veterano” di rete neurale, richiede un tempo di calcolo che scale come il quadrato del numero di corpi di essere rappresentati. Un RBM, scrivono, è meglio, calcolare il tempo che si adatta in modo lineare in termini di numero di enti. Ma CNNs e RNNs può essere anche migliore, con la loro necessario calcolare il tempo di scala come la radice quadrata del numero di corpi.
Tali proprietà “indicano un significativo vantaggio nella modellazione del volume-legge entanglement scala di profondità-convolutional reti rivali veterano delle reti neurali base di approcci,” scrivono. “Praticamente, sovrapposti-convolutional reti […] in grado di supportare l’intreccio di un sistema 2D di interesse fino a dimensioni 100 × 100, che sono irraggiungibili dalla concorrenza intrattabile approcci.”
Deve leggere
‘IA è molto, molto stupido”, dice Google AI leader (CNET)
Come ottenere tutti Google Assistente nuove voci di adesso (CNET)
Unificata di Google IA divisione di un chiaro segnale di AI del futuro (TechRepublic)
Top 5: le Cose da sapere riguardo AI (TechRepublic)
Per fare quel lavoro, gli autori hanno dovuto usare la loro “trucco”: Il tradizionale modo di rappresentare la computazione quantistica, un “Tensore di Rete,” non supporta il riutilizzo delle informazioni. Così, gli autori hanno creato versioni modificate della CNN e il RNN. Il primo è chiamato “convolutional aritmetica circuito” o CAC. Si tratta di un approccio che abbiamo sviluppato nel lavoro di questi anni, qui portato a una maggiore fruizione. Il trucco è “la duplicazione dei dati di input di sé” in CAC), che di fatto replica il riutilizzo visto la sovrapposizione della CNN. In caso di RNN, hanno creato un “ricorrenti aritmetica circuito”, in cui sono doppioni e le informazioni di input.
“Importante, dato che l’uscita vettore di ogni livello della profonda RAC ad ogni passo è usato due volte (come input del livello successivo, ma anche come un nascosto vettoriale per la prossima volta che passo), c’è un inerente il riutilizzo di dati durante la rete di calcolo,” scrivono. “Pertanto, abbiamo duplicato ingressi in sovrapposizione-convolutional caso della rete e di ottenere la TN del profondo RAC.”
I risultati di tutto questo sono due volte: prove per l’apprendimento profondo, e questo è un passo avanti per quantum simulazioni. La dimostrazione formale dell’efficienza delle CACs e Rac, incluso nel materiale supplementare, ammontano ad una prova di quella profonda di approcci di apprendimento in grado di affrontare l’entanglement quantistico in modo più efficiente.
Si conclude la nota di speranza che i loro risultati “può contribuire a portare la teoria quantistica a molti corpi fisica e state-of-the-art di approcci di apprendimento automatico un passo più vicino insieme.”
Entrambi i computer quantistici e deep learning può mai essere la stessa.
Quanti progressi pensi apprendimento profondo sui teoria lato? Parlare di nuovo e fammi Sapere.
Precedente e relativa copertura:
Che cosa è l’IA? Tutto quello che devi sapere
Un esecutivo a guida di intelligenza artificiale, machine learning e generale AI alle reti neurali.
Cos’è il deep learning? Tutto quello che devi sapere
Il lowdown su deep learning: da come si relaziona con il più ampio campo di machine learning a come iniziare con esso.
Che cosa è macchina di apprendimento? Tutto quello che devi sapere
Questa guida spiega in cosa consiste la macchina di apprendimento, di come esso è legato all’intelligenza artificiale, come funziona e perché è importante.
Che cos’è il cloud computing? Tutto quello che devi sapere su
Un’introduzione al cloud computing destra, dalle nozioni di base fino a IaaS e PaaS, ibrido, public e private cloud.
Storie correlate:
Google AI naviga in “gamescape” per conquistare la teoria dei giochi
Questo è ciò che l’IA sembra (come disegnato dall’IA)
Google DeepMind team leader 3D game dev piattaforma
DeepMind AI punti i primi segni della malattia dell’occhio
Argomenti Correlati:
Intel
La Trasformazione Digitale
CXO
Internet delle Cose
L’innovazione
Enterprise Software