Nul
AI op mobiele apparaten is een beetje een puinhoop, en het is een hoofdpijn voor Facebook, dat wordt 90% van de advertentie-inkomsten af van de mensen met behulp van de dienst op mobiele.
Dit zijn enkele kernpunten van een recente paper van Facebook AI mensen, die in detail beschrijven hoe ze hebben gehad om te komen met allerlei trucs om te krijgen rond de hardware tekortkomingen van mobile.
Dat valt te denken aan het tweaken hoe vele “discussies” in een toepassing te gebruiken om tot een gemeenschappelijke noemer in een overvloed van verschillende chip-designs en mogelijkheden. Dat betekent dat zij over het algemeen niet te “optimaliseren” van hun code voor een bepaald apparaat.
Ondanks alle Facebook ‘ s enorme middelen, is er veel dat de hele industrie moet doen, schrijven ze.
Ook: AI op Android mobiele telefoons nog een work-in-progress
Het papier, de “Machine Learning op Facebook: Inzicht Gevolgtrekking aan de Rand,” is geplaatst op de publicaties pagina op Facebook het onderzoek van de site, en is geschreven door Carole-Jean Wu en 25 collega ‘ s. Het is voorgelegd aan de IEEE International Symposium on High Performance Computer Architectuur, plaats naast februari in Washington, D.C.
De auteurs een overzicht van de tweeledige probleem: Meer en meer, er is een noodzaak tot het uitvoeren van AI op mobiele telefoons. Maar het landschap van chips en software op de apparaten is een “Wild West” een puinhoop van verschillende onderdelen, de verschillende software Api ‘ s, en over het algemeen slechte prestaties.
Er is een behoefte aan apps op de “rand” apparaten, waaronder smartphones, maar ook Oculus Rift headsets en andere toestellen voor het uitvoeren van “inference,” het deel van machine learning waar de computer maakt gebruik van het getrainde neurale netwerk om vragen te beantwoorden.
Ook op: Facebook fakes de onscherpte met AI te maken VR meer echt
De auteurs citeren dingen, zoals het uitvoeren gevolgtrekking, in real-time op de afbeeldingen die worden geüpload naar Instagram, zoals de aard van de taak die de behoeften van de lokale verwerking te voorkomen dat de latency van het gaan naar de cloud te doen gevolgtrekking.
Maar Facebook is tegen de ronduit waardeloze hardware bij het overwegen van de enorme serie van smartphones in het wild.
Het bedrijf “neuraal netwerk motor wordt ingezet op meer dan een miljard mobiele apparaten,” zij wijzen erop, bestaande uit “meer dan twee duizend unieke SOCs [- systeem op een chip, een halfgeleider is samengesteld uit niet alleen een microprocessor, maar andere berekenen blokken].” Dat is over tien duizend verschillende modellen van telefoons en tablets.
De Cpu ‘ s in deze telefoons zijn niet zo groot, gemiddeld: “De Bijna alle mobiele gevolgtrekking uitgevoerd op Cpu’ s en de meest ingezette mobiele CPU-kernen zijn oude en low-end.” Met name dit jaar, slechts een kwart van alle smartphones keken ze met een CPU die is ontworpen in 2013 of later.
Ook: Chip opstarten Efinix hoopt bootstrap AI inspanningen in de IoT
En het is niet alleen maar omdat er een hoop oude telefoons die er zijn: “Een belangrijk deel van deze smartphones zijn verkocht in de afgelopen één tot twee jaar.”
Bovendien, “er is geen standaard mobiele SoC te optimaliseren voor,” klagen ze, met de meest voorkomende chip met minder dan 4% marktaandeel. “De gegevens zijn duidelijk: er is geen ‘typische’ smartphone of mobiele SOC.” Er is een “uitzonderlijk lange staart” van de chips.
Met een on-board “accelerator”, zoals een van de GPU, het helpt, maar er zijn niet veel krachtige degenen die er.
“Minder dan 20% van de mobiele SoCs hebben een GPU 3×, maar dan krachtiger Cpu’ s.” De meeste AI functies op mobiele telefoons “niet eens gebruik van de GPU,” schrijven ze.
Ook: AI opstarten Flex-Logix touts hogere prestaties dan Nvidia
DSPs, of digitale signaal processors, hebben dezelfde tekortkomingen, en ze betrekking hebben, en al deze versnellers hebben nauwelijks toegang tot hoge bandbreedte van het geheugen. En er is weinig ondersteuning voor de cruciale vector structuren in het hart van machine learning, en het zal jaren duren voor het meest te winnen heeft die mogelijkheid.
Het andere deel van de rotzooi software: het is moeilijk om deze chips voor AI. Er is een breed API dat is handig bij mobiel”, OpenCL,” maar is “geen officieel onderdeel van het Android-systeem”, en niet aan dezelfde normen voldoen als de andere Api ‘ s. Andere Api ‘ s, waaronder “OpenGL ES,” een aanpassing van de desktop-API voor graphics, en “Vulkan” zijn veelbelovend, maar slechts licht is ingezet.
Ook: AI Opstarten Cornami onthult de details van de neurale netto-chip
Apple, schrijven ze, springt er uit: de “Metalen” API voor iOS draait op een consistente chip platform en de Gpu ‘ s in die chips zijn hogere prestaties, gemiddeld, “het maken van Metalen op iOS-apparaten met Gpu’ s een aantrekkelijk doelwit voor een efficiënte neurale netwerk gevolgtrekking.” Zelfs dan, echter, de resultaten van een “strenge” het onderzoek van de snelheid van de inferentie over zes generaties van Apple ‘ s “A” serie chips blijkt dat in elke generatie van de chip is er nog steeds “brede prestaties variabiliteit.”
“Programmeren is een van de belangrijkste struikelblok voor het gebruik van mobiel co-processors/versnellers,” schrijven ze.
Een systeem van verschillende instrumenten worden intern gebruikt door Facebook, hebben de ingenieurs voor het optimaliseren van neurale netwerken voor het draaien op mobiele apparaten. Ondanks al die middelen, vinden ze de mix van chips en software maakt het moeilijk om het creëren van een optimale ervaring.
Facebook
Om te gaan met dit alles, maakt het bedrijf het meest van haar in-house tools. Bijvoorbeeld, de “Caffe2” kader “geïmplementeerd voor meer dan een miljard apparaten, waarvan ongeveer 75% zijn Android gebaseerd, met de rest iOS” en “geoptimaliseerd voor de productie van schaal en breed platform ondersteuning.”
De nieuwste versie van Facebook ‘ s “PyTorch” framework, onthulde dit jaar bij het bedrijf is de ontwikkelaar van de conferentie, is ontworpen om te “versnellen AI innovatie door het stroomlijnen van het proces van de overgang modellen ontwikkeld door middel van onderzoek onderzoek naar de productie schaal met kleine overgang overhead.” Het ondersteunt ook de “Open Neurale-Netwerk-Uitwisseling”, of ONNX, specificatie ondersteund door Microsoft en anderen.
Ook op: Facebook open-source AI kader PyTorch 1.0
Facebook heeft een hele “workflow” intern systeem dat de cijfers uit het optimaliseren van het neurale netwerk modellen voor de rand. Het maakt gebruik van trucs zoals “quantization, k-means clustering, execution engine selectie” om de prestaties te verbeteren op de beoogde mobiele apparaat. Quantisatie, bijvoorbeeld, gaat over waarden die zijn 32-bit floating point getallen in 8-bits gehele getallen, die sneller draaien, maar ten koste van een lagere nauwkeurigheid.
De Caffe2 tolk, die loopt van het model op de telefoon, doet een hele hoop andere dingen, zoals computing het verminderen van de doorlooptijd van de “middelste lagen” in een neuraal netwerk via “ruimtelijke resolutie stemmen.” Caffe2 ook gesprekken op twee aparte “back-end” systemen verder optimaliseren van de werking van convolutional neurale netwerken, het werkpaard van diep leren.
Ook: De AI-chip eenhoorn dat is ongeveer om de wijze alles heeft computational Grafiek in de Kern
Zelfs na al dat de auteurs vertellen dat machine learning prestaties varieert nogal in de verschillende “lagen” van de hardware. Sommige low-end modellen van de telefoon eigenlijk beter doen dan de mid-tier modellen nominaal krachtiger. Benchmarking dit alles voor de echte wereld is niet realistisch, omdat “het zou een vloot van apparaten.” Dus ze kunnen het niet volledig anticiperen op de performance hit dingen, zoals veroudering batterijen in mobiele telefoons.
Moet lezen
‘AI is heel, heel stom,’ zegt Google AI leider (CNET)Baidu maakt Kunlun silicium voor AIUnified Google AI afdeling een duidelijk signaal van AI ‘ s toekomst (TechRepublic)
De auteurs sluiten af met enkele suggesties. Gegevens wetenschappers zal moeten besteden veel meer tijd aan het uitzoeken manieren om neurale netwerken dat kan efficiënter. Dat betekent dat er een grote rol voor de “architectuur search” – benaderingen, zoals “BayesOpt” en “AutoML,” schrijven ze.
Op de chip kant, “meer onderzoek en engineering inspanning” moet gaan “maken van bestaande mobiele GPU en de DSP hardware meer vatbaar is voor de verwerking van DNN gevolgtrekking.”
Terwijl de meer gespecialiseerde hardware belooft te helpen, als het niet een 50x performance boost, schrijven ze, “het is onwaarschijnlijk dat de meeste van deze versnellers daadwerkelijk gebruikt worden, als op mobiele apparaten.”
Ze eindigt met een prikkelende gedachte: gewoon het optimaliseren van een ding is niet van plan om het te doen. “Misschien is dit een teken dat de computer architectuur is een verschuiving in de richting van computer systeem van de organisatie.”
Vorige en aanverwante dekking:
Wat is AI? Alles wat je moet weten
Een executive gids voor kunstmatige intelligentie, van machine learning en algemene AI-neurale netwerken.
Wat is diep leren? Alles wat je moet weten
De lowdown op diep leren: van hoe het zich verhoudt tot het bredere veld van machine-leren door te zien hoe aan de slag met het.
Wat is machine learning? Alles wat je moet weten
In deze gids wordt uitgelegd wat ‘machine learning’ is, hoe het is in verband met kunstmatige intelligentie, hoe het werkt en waarom het belangrijk is.
Wat is cloud computing? Alles wat u moet weten over
Een introductie van cloud computing recht vanaf de basis tot IaaS en PaaS -, hybride -, public en private cloud.
Verwante Onderwerpen:
Mobiele OS
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software
0