Noll
AI på mobila enheter är lite av en röra, och det är en huvudvärk för Facebook, som får 90% av sina annonsintäkter av människor som använder sin service på mobil.
Dessa är några hämtställen i en färsk forskningsrapport från Facebook AI folk, som i detalj hur de har haft för att komma upp med alla möjliga knep för att komma runt den hårdvara brister i mobilen.
Det inkluderar saker som att pyssla med hur många “trådar” i ett program att använda för att nå en gemensam nämnare i en uppsjö av olika chip design och funktioner. Det innebär att de inte kan i allmänhet “optimera” sin kod för en viss produkt.
Trots alla Facebook enorma resurser, det är en hel del som hela industrin behöver göra, skriver de.
Också: AI på Android mobiltelefoner fortfarande en work-in-progress
Papper, “Machine Learning på Facebook: att Förstå Inferens vid Kanten,” är inlagd på publikationer sida på Facebook forskning webbplats, och är författad av Carole-Jean Wu och 25 kollegor. Det har lämnats in till IEEE International Symposium on Dator med Hög Prestanda och Optimering, som äger rum i februari nästa år i Washington, D.C.
Författarna beskriva två fronter problem: fler och Fler, det finns ett behov av att utföra AI på mobiler. Men landskapet av chips och programvara i enheten är en “Vilda Västern”, en röra av olika delar, olika program för Api: er, och allmänt dåliga resultat.
Det finns ett behov för appar i “kanten” – enheter, inklusive smartphones, men också Oculus Rift headset och andra enheter, att utföra “slutsats,” den del av maskinen lärande där datorn använder sin utbildning neurala nätverk för att svara på frågor.
Också: Facebook förfalskningar oskärpa med AI att göra VR mer verklig
Författarna nämner saker som utför inferens i realtid på bilder som kommer att laddas upp på Instagram som den typ av uppgift som behöver lokal behandling för att undvika en fördröjning av att gå till molnet för att göra inferens.
Men Facebook är upp mot uppriktigt sagt läskig hårdvara när tanke på det stora utbud av smartphones i det vilda.
Företagets “neurala nätverk motorn är utplacerade på över en miljard mobila enheter,” de pekar ut, bestående “över två tusen unika Soc [system på ett chip, en halvledare som består av inte bara en mikroprocessor men andra beräkna block].” Det är över tio tusen olika modeller av telefoner och tabletter.
Processorer i dessa telefoner är inte så stor, i genomsnitt: “Nästan alla mobila slutledning köra på Processorer och mest utplacerade mobil CPU-kärnor är gammal och låg i slutet.” Särskilt detta år, endast en fjärdedel av alla smartphones de tittade på kör en CPU som var utformad för 2013 eller senare.
Också: Chip start Efinix hoppas att bootstrap-AI insatser i sakernas internet
Och det är inte bara för att det finns en hel del gamla telefoner ur det: “En stor del av dessa smartphones som säljs under de senaste ett till två år.”
Dessutom, “det finns ingen standard för mobil SoC för att optimera för,” de beklaga, med de flesta-gemensamma-chip med mindre än 4% av marknaden. “Uppgifterna är tydligt: det finns ingen “typisk” smartphone eller mobil SOC.” Det är en “exceptionellt långa svansen” av marker.
Med ombord på “gaspedalen”, till exempel en GPU, hjälper till, men det är inte så många kraftfulla därute.
“Mindre än 20% av mobila SoCs har en GPU 3× mer kraftfull än Processorer.” De flesta AI funktioner på mobilen “finns inte ens med hjälp av GPU,” skriver de.
Också: AI start Flex Logix svartabörshajar betydligt högre prestanda än Nvidia
DSPs, eller digitala signalprocessorer, har samma brister, de hänför sig, och alla dessa acceleratorer har liten tillgång till hög bandbredd minne. Och det finns mycket lite stöd för den avgörande vektor strukturer i hjärtat av maskininlärning, och det kommer att ta år för de flesta att få den möjligheten.
Den andra delen av den oreda programvara: det är svårt att programmera dessa marker för AI. Det finns en bred API som är användbara på mobil, “OpenCL,” men är “inte officiellt en del av Android-systemet”, och är inte upp till samma standard som andra Api: er. Andra Api: er, bland annat “OpenGL ES,” en anpassning av skrivbordet API för grafik, och “Vulkan,” är lovande, men endast glest utplacerade.
Också: AI Start Cornami avslöjar detaljer om neurala nätet chip
Apple, skriver de, som sticker ut: “Metall” API för iOS körs på ett konsekvent chip plattform och Grafikprocessorer i dessa marker är högre prestanda, i genomsnitt, “att göra Metall på iOS-enheter med Grafikprocessorer ett attraktivt mål för effektiv neurala nätverk slutledning.” Även då, dock resultatet av en “strikt” granskning av hastigheten på slutledning över sex generationer av Apple ‘ s “A” – serien marker visar att det inom varje generation av chip det är fortfarande “bred prestanda variabilitet.”
“Programmerbarhet är en primär hinder för att använda mobila co-processorer/acceleratorer,” skriver de.
Ett system av olika verktyg används internt av Facebook ‘ s tekniker för att optimera neurala nätverk för att köra på mobila enheter. Trots alla dessa resurser, de hittar blandning av chips och programvara som finns där ute gör det svårt att skapa en optimal upplevelse.
Facebook
Att ta itu med allt detta, är det företag som gör de flesta av sina interna verktyg. Till exempel, “Caffe2” ram “som distribueras till över en miljard enheter, varav ca 75% är Android-baserad, med resten kör iOS” och är “optimerade för produktion skala och bred plattform stöd.”
Den nyaste versionen av Facebook ‘ s “PyTorch” ram, som presenterades i år på företagets utvecklarkonferens, är utformad för att “påskynda AI innovation genom att effektivisera processen för att växla över modeller som tagits fram genom forskning prospektering till produktion skala med lite övergången overhead.” Det stöder också “Öppna Neurala Nätverk för Utbyte,” eller ONNX, specifikation som stöds av Microsoft och andra.
Också: Facebook open-source AI ramen PyTorch 1.0 släppt
Facebook har en hel “workflow” – system internt som listar ut hur man optimerar neurala nätverk modeller för kanten. Den använder knep som “kvantisering, k-means clustering, utförande motor urval” för att förbättra prestanda på mobil enhet. Kvantisering, till exempel, visar värden som är 32-bitars flyttal i 8-bitars heltal, som kör snabbare, men till priset av en lägre noggrannhet.
Den Caffe2 tolk, som driver modell på telefonen, inte en hel massa andra saker, såsom design och minska handläggningstiden för “mitt lager” i ett neuralt nätverk via “rumslig upplösning tuning.” Caffe2 också samtal i två separata “back-end” – system för att ytterligare optimera driften av convolutional neurala nätverk, arbetshästen i djup inlärning.
Också: AI chip unicorn som är på väg att revolutionera allt har datoriserad Graf på sin Kärnverksamhet
Även efter det att alla som författarna avser att maskinen lärande prestanda varierar ganska lite mellan olika “nivåer” av hårdvara. Några low-end modeller av telefonen faktiskt bättre än mid-tier modeller nominellt mer kraftfull. Benchmarking allt detta för att den verkliga världen är inte realistiskt eftersom det skulle kräva ett stort antal enheter.” Så de kan inte fullt ut förutse prestanda hit av saker som åldrande batterier i mobilerna.
Måste läsa
‘AI är mycket, mycket dumt”, säger Googles AI ledare (CNET)Baidu skapar Kunlun kisel för AIUnified Google AI division en tydlig signal om att AI: s framtid (TechRepublic)
Författarna avslutar med flera förslag. Data forskare kommer att behöva spendera mycket mer tid på att räkna ut olika sätt att producera neurala nätverk som kan vara mer effektiv. Det innebär att det finns en stor roll för “arkitektur sök” metoder såsom “BayesOpt” och “AutoML,” skriver de.
På chipet sida, mer forskning och tekniska insatser” måste gå in på “att göra befintliga mobila GPU och DSP hårdvara mer mottaglig för behandling DNN slutledning.”
Medan mer specialiserad hårdvara lovar att hjälpa till, om det inte ger en 50x prestandaökning, skriver de, “det är inte troligt att de flesta av dessa acceleratorer faktiskt kommer att utnyttjas när den hittas på mobila enheter.”
De avslutar också med en kittlande tanke: bara optimera alla en sak inte kommer att göra det. “Kanske är detta ett tecken på att datorn arkitektur skiftar mer mot datorn organisation.”
Tidigare och relaterade täckning:
Vad är AI? Allt du behöver veta
En verkställande guide till artificiell intelligens, från maskininlärning och allmänna AI att neurala nätverk.
Vad är djupt lärande? Allt du behöver veta
Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.
Vad är lärande? Allt du behöver veta
Denna guide förklarar vad lärande är, hur den är relaterad till artificiell intelligens, hur det fungerar och varför det är viktigt.
Vad är cloud computing? Allt du behöver veta om
En introduktion till cloud computing rätt från grunderna upp till IaaS och PaaS, hybrid, offentliga och privata moln.
Relaterade Ämnen:
Mobila OS
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem
0