Zero
AI dispositivi mobili è un po ‘ un casino, ed è un mal di testa per Facebook, che riceve il 90% delle sue entrate pubblicitarie off di persone che utilizzano il suo servizio di telefonia mobile.
Questi sono alcuni punti di una recente ricerca di carta da Facebook AI ragazzi, che il dettaglio di come sono dovuto venire con ogni sorta di trucchi per aggirare l’hardware carenze del mobile.
Che include cose come tweaking come molti “fili” in un’applicazione da utilizzare per raggiungere un comune denominatore di tutta una pletora di diversi disegni di chip e capacità. Che significa che non possono generalmente “ottimizzare” il proprio codice per un determinato dispositivo.
Nonostante tutto Facebook enorme di risorse, ci sono un sacco di tutta l’industria ha bisogno di fare, scrivere.
Inoltre: l’IA cellulari Android ancora un work-in-progress
La carta, “Machine Learning a Facebook: la Comprensione di Inferenza a Bordo”, è pubblicato nella pagina delle pubblicazioni a Facebook il sito di ricerca, ed è stato scritto da Carole-Jean Wu e 25 colleghi. È stato presentato lo standard IEEE International Symposium on Computer ad Alte Prestazioni Architettura, che si svolgerà il prossimo mese di febbraio a Washington, DC
Gli autori delineano il duplice problema: sono sempre di Più, c’è bisogno di eseguire l’IA cellulari. Ma il paesaggio di chip e software, il dispositivo è un “Wild West”, un pasticcio di parti diverse, diversi software Api, e, in generale, scarsa performance.
C’è bisogno di apps sul “bordo” di dispositivi, tra cui smartphone, ma anche Oculus Rift cuffie e altri dispositivi, per l’esecuzione di “inferenza”, la parte della macchina di apprendimento in cui il computer utilizza la rete neurale addestrata a rispondere alle domande.
Anche: Facebook falsi la sfocatura con ai per rendere VR più reale
Gli autori citano cose come l’esecuzione di inferenza in tempo reale le immagini che stanno per essere caricati su Instagram come il tipo di attività che, per esigenze di elaborazione locale per evitare la latenza di andare al cloud per fare inferenza.
Ma Facebook è contro francamente scadente hardware quando si considera la vasta gamma di smartphone in natura.
La società “rete neurale motore è distribuito su oltre un miliardo di dispositivi mobili,” sottolineano, che comprende “oltre duemila unico Soc [system on a chip, un semiconduttore composto non solo di un microprocessore, ma altre calcolare blocchi].” Che è tra i dieci di migliaia di differenti modelli di telefoni e tablet.
La Cpu in questi telefoni non sono così grandi, in media: “Quasi tutti i cellulari di inferenza eseguito su Cpu e più distribuito mobile core della CPU sono vecchio e di fascia bassa.” In particolare, quest’anno, solo un quarto di tutti gli smartphone hanno guardato in esecuzione di una CPU che è stato progettato nel 2013 o successivamente.
Inoltre: Chip di avvio Efinix spera di bootstrap AI sforzi nell’IoT
E non solo perché c’è un sacco di vecchi telefoni là fuori: “Una parte importante di questi smartphone sono venduti negli ultimi uno o due anni.”
Inoltre, “non c’è uno standard di telefonia mobile SoC per ottimizzare,” lamentano, con i più comuni chip con meno del 4% di quota di mercato. “I dati sono chiari: non c’e ‘tipico’ smartphone o mobile SOC.” C’è un “eccezionalmente” coda lunga” di chips.
Avere a bordo un “acceleratore”, come ad esempio una GPU, aiuta, ma non ci sono molti potenti.
“Meno del 20% del mobile Soc hanno una GPU 3× più potente della Cpu.” La maggior parte AI funzioni cellulari “non sono nemmeno usando la GPU,” scrivono.
Inoltre: AI startup Flex Logix bagarini di gran lunga maggiore di prestazioni rispetto a Nvidia
Dsp, o processori di segnale digitale, hanno la stessa lacune, essi si riferiscono e tutti questi acceleratori hanno poco accesso ad alta larghezza di banda di memoria. E c’è molto poco supporto per il fondamentale vettore di strutture nel cuore di machine learning, e ci vorranno anni per la maggior parte di guadagno che di capacità.
L’altra parte del il casino software: è difficile programma di questi chip per AI. C’è una vasta API utili su mobile”, OpenCL,” ma “non è ufficialmente parte del sistema Android” e non è lo stesso standard come altre Api. Altre Api, tra cui “OpenGL ES”, un adattamento del desktop API per la grafica e il “Vulkan,” sono promettenti, ma solo sottilmente distribuito.
Inoltre: AI Startup Cornami svela i dettagli della rete neurale chip
Apple, scrivono, si distingue: il suo “Metallo” API per iOS gira su una coerente piattaforma chip e la Gpu in quei chip sono elevate prestazioni che, in media, il “Metallo sui dispositivi iOS con Gpu una destinazione attraente per una efficiente rete neurale di inferenza.” Anche allora, tuttavia, i risultati di un “rigoroso” esame della velocità di inferenza attraverso sei generazioni di Apple di serie “A” chips indica che all’interno di ogni generazione di chip c’è ancora “ampia variabilità di prestazioni.”
“Programmabilità, principale ostacolo all’utilizzo di dispositivi per il co-processori/acceleratori,” scrivono.
Un sistema di strumenti diversi, che viene utilizzato internamente da Facebook gli ingegneri di ottimizzare le reti neurali per l’esecuzione su dispositivi mobili. Nonostante tutte queste risorse, che trovano il mix di chip e software rende difficile creare un’esperienza ottimale.
Facebook
A che fare con tutto questo, la società rende la maggior parte dei suoi strumenti. Per esempio, la sua “Caffe2” quadro “distribuito ad oltre un miliardo di dispositivi, di cui circa il 75% sono basati su Android, il resto è in esecuzione iOS”, ed è “ottimizzato per la scala di produzione e ampio supporto di piattaforme.”
La nuova versione di Facebook “PyTorch” quadro, presentato quest’anno in azienda, la conferenza degli sviluppatori, è stato progettato per “accelerare AI innovazione semplificando il processo di transizione dei modelli di sviluppo attraverso la ricerca di esplorazione in scala di produzione con un po’ di overhead della transizione.” Supporta anche il “Apri Rete Neurale Exchange” o ONNX, specifica supportata da Microsoft e altri.
Anche: Facebook open-source, AI framework PyTorch 1.0 rilasciato
Facebook è tutto un “flusso di lavoro” sistema internamente che figure come ottimizzare i modelli di rete neurale per il bordo. Esso utilizza trucchi, come ad esempio “la quantizzazione, k-means clustering, motore di esecuzione di selezione” per migliorare le prestazioni del dispositivo mobile di destinazione. La quantizzazione, per esempio, trasforma i valori che sono a 32-bit in virgola mobile in 8-bit interi, correre più veloce, ma a costo di una minore accuratezza.
Il Caffe2 interprete, il quale esegue il modello del telefono, fa un sacco di altre cose, come la computazione di ridurre il tempo di elaborazione di “strati intermedi” in una rete neurale tramite “risoluzione spaziale messa a punto”. Caffe2 anche chiamate in due distinti “back-end” sistemi di ottimizzare ulteriormente il funzionamento del convolutional reti neurali, il cavallo di battaglia di apprendimento profondo.
Inoltre: AI chip unicorno che sta per rivoluzionare tutto ha computazionale Grafico all’interno del suo Nucleo
Anche dopo tutto questo, gli autori riferiscono che la macchina di prestazioni di apprendimento varia un po ‘ in tutto diversi “livelli” di hardware. Alcuni di fascia bassa, modelli di telefono in realtà fare meglio di mid-tier modelli di dimensioni nominali più potente. Benchmarking tutto questo per il mondo reale non è realistica, perché “sarebbe necessario disporre di una flotta di dispositivi.” In modo che non può completamente anticipare il calo di prestazioni di cose come l’invecchiamento batterie di cellulari.
Deve leggere
‘IA è molto, molto stupido”, dice Google AI leader (CNET)Baidu crea Kunlun di silicio per AIUnified Google IA divisione di un chiaro segnale di AI del futuro (TechRepublic)
Gli autori concludono con diverse proposte. Dati gli scienziati avranno bisogno di spendere molto più tempo per capire modi per produrre reti neurali, che può essere più efficiente. Questo significa che c’è un grande ruolo per “architettura di ricerca” approcci “BayesOpt” e “AutoML,” scrivono.
Sul lato del chip, “più ricerca e sforzo di ingegneria” ha bisogno di entrare nel “making esistenti GPU mobile e DSP hardware più suscettibili di trattamento DNN di inferenza.”
Mentre più hardware specializzato promette di aiutare, se non fornire un 50x prestazioni, scrivono, “è improbabile che la maggior parte di questi acceleratori sarà effettivamente utilizzato quando si trova su dispositivi mobili.”
Si finisce con un pensiero allettante: solo l’ottimizzazione di una cosa che non ha intenzione di farlo. “Forse questo è un segno che l’architettura del computer che si sta spostando più verso il sistema del computer dell’organizzazione.”
Precedente e relativa copertura:
Che cosa è l’IA? Tutto quello che devi sapere
Un esecutivo a guida di intelligenza artificiale, machine learning e generale AI alle reti neurali.
Cos’è il deep learning? Tutto quello che devi sapere
Il lowdown su deep learning: da come si relaziona con il più ampio campo di machine learning a come iniziare con esso.
Che cosa è macchina di apprendimento? Tutto quello che devi sapere
Questa guida spiega in cosa consiste la macchina di apprendimento, di come esso è legato all’intelligenza artificiale, come funziona e perché è importante.
Che cos’è il cloud computing? Tutto quello che devi sapere su
Un’introduzione al cloud computing destra, dalle nozioni di base fino a IaaS e PaaS, ibrido, public e private cloud.
Argomenti Correlati:
Mobile OS
La Trasformazione Digitale
CXO
Internet delle Cose
L’innovazione
Enterprise Software
0