Facebook privacy pivot suscita scetticismo a F8
Consulente di Marketing e F8 partecipante Gabe Bautista dice che ognuno sostiene di cura per la privacy, ma il diavolo è nei dettagli.
Il secondo giorno di Facebook “F8” conferenze in San Jose convention center, la società ha annunciato una versione aggiornata del suo PyTorch sviluppo framework, Versione 1.1, con una serie di nuove funzionalità, tra cui, forse la più interessante, è la possibilità di dividere le parti di una rete neurale in più unità di elaborazione grafica o GPU, in formazione A. I. sistemi.
Nel caso tu ne avevo sentito parlare, le reti neurali sono sempre grande, davvero grande.
“I modelli sono sempre più grandi, sono davvero, davvero grande, e molto costoso al treno”, ha detto Joe Spisak, PyTorch product manager, in un’intervista a ZDNet. “Sta superando la memoria di 16 gb GPU in molti casi”, ha osservato.
“I nostri ultimi modelli sono superiore a 10 gigabyte,” Spisak detto delle reti neurali Facebook si sviluppa internamente, “e il parametro conti si avvicina e in alcuni casi anche di oltre un miliardo di parametri.”
Anche: Facebook Mark Zuckerberg: “Il futuro è privato”
Molti esempi possono essere trovati, note Spisak, in una ricerca comune. Per esempio, un “grande” versione del popolare BERT linguaggio naturale di rete può essere trovato nelle implementazioni con venti quattro livelli, a 1.024 unità nascoste, 340 milioni di parametri, e 16 “teste” in grado di gestire il movimento della rete attraverso i suoi ingressi.
“Il cielo è il limite”, secondo Spisak. “Questi modelli può ottenere così grande come si permettono anche loro.”
Per gestire tale, PyTorch 1.1 aggiunge la possibilità di dividere le reti attraverso le Gpu, noto come “sharding” il modello. In precedenza, PyTorch consentito agli sviluppatori di dividere la formazione di dati tra i processori, conosciuto nell’elaborazione parallela mondo informatico come “dati parallelismo.” La suddivisione delle reti rende possibile l ‘ “istruzione parallelismo.” Quindi, le reti di ora in grado di ottenere ciò che è noto come “MIMD,” o “multiple instruction, multiple data”.
Anche: Facebook è Zuckerberg predica la privacy, ma la sua consegna rende difficile anche riflettere credere
“Tradizionalmente, questi modelli di sedersi all’interno di una GPU, e si può fare con la distribuzione di dati in parallelo, il che significa, frammento di un insieme di dati, e di replicare il modello del sistema,” Spisak spiegato.
“Una volta che si arriva a questi modelli di grandi dimensioni, il modello deve essere sharded. Hai messo un certo modello a strati, o di alcuni sub-grafici, su un nodo, e quindi ritagliarsi un’altra sub-grafico su un altro pezzo di calcolare”.
Dopo il sharding, un algoritmo in PyTorch possibile che combina durante l’allenamento.
Il problema esiste sia per la formazione di reti neurali, ma anche di inferenza, Spisak detto, ma è meno grave nel caso di inferenza perché Cpu Intel, che dominano inferenza nel data center, tendono a supporto di memoria molto di più e in modo che non vengano tassati come molto da questo punto di vista.
Deve leggere
Che cosa è l’IA? Tutto il necessario per knowWhat è profondo apprendimento? Tutto il necessario per knowWhat è la macchina di apprendimento? Tutto il necessario per knowWhat è il cloud computing? Tutto quello che devi sapere
“Il core insight da che carta — quella che ho trovato più interessante, è che in realtà non è il numero di qubit che abbiamo, diciamo, 100 contro 110 qubits, ma piuttosto, ciò che tra quei sette pietre miliari, che di problemi di ingegneria, abbiamo risolto?” Fernick, dice.
Vicino alla parte superiore della pila di sette tappe, lontano dal campo di oggi NISQ, sono gli algoritmi quantistici che porterà l’uso del pensiero logico porte di qubit.
La scienza è “ancora molto nell’infanzia di algoritmi quantistici”, osserva Fernick. “E’ molto ingenuo pensare che il quantum algoritmi per noi e per quello che ci sarà entusiasta di 20 anni da oggi.”
Quelle ancora da scoprire algoritmi sono probabilmente un posto migliore per cercare un quantum A. I. guadagno.
Muse Fernick, “non Sarebbe più interessante per sfruttare quei fisica quantistica proprietà in un modo completamente nuovo di fare gli algoritmi che sono molto diversi?”
Intelligenza Artificiale
LG per sviluppare robot per ristoranti
Scala Agile, adottando AI: Come Intel sta facendo una parte strategica del business
Uber contro Lyft: Come i rivali approccio cloud, l’intelligenza artificiale, machine learning
Google tira la spina AI etica di gruppo solo poche settimane dopo la nascita
Game of Thrones: AI predice chi vive e chi muore (CNET)
Come fare AI etica una priorità alla vostra azienda (TechRepublic)
Argomenti Correlati:
Big Data Analytics
La Trasformazione Digitale
CXO
Internet delle Cose
L’innovazione
Enterprise Software