Nul
AI på mobile enheder er lidt af en rod, og det er et problem for Facebook, som får 90% af sin reklame indtjening ud af mennesker, der bruger sin tjeneste på mobilen.
Disse er nogle grillbarer af en nylig forskning papir fra Facebook ‘ s AI-folk, der detaljer, hvordan de har haft til at komme op med alle mulige tricks til at få omkring hardware mangler mobile.
Det omfatter ting som tweaking, hvor mange “tråde” i et program at bruge til at nå frem til en fællesnævner på tværs af et utal af forskellige chip-design og kapacitet. Det betyder, at de ikke kan generelt “optimerer” deres kode til en given enhed.
På trods af alle Facebook ‘ s enorme ressourcer, der er en masse hele branchen har behov for at gøre det, skriver de.
Også: AI på Android mobiltelefoner stadig et work-in-progress
Papiret, “Machine Learning på Facebook: Forståelse Inferens på Kanten,” er udgivet på publications side på Facebook ‘ s forsknings hjemmeside, og er forfattet af Carole-Jean Wu og 25 kolleger. Det har været indsendt til IEEE International Symposium on High-Performance Computer Arkitektur, der finder sted i februar næste år i Washington, D.C.
Forfatterne skitserer to-strenget problem: flere og Flere, der er behov for at udføre AI på mobiler. Men landskabet af chips og software i de enheder, der er en “Wild West” til en rod af forskellige dele, forskellige software-Api ‘ er, og generelt dårlige resultater.
Der er et behov for apps på “kanten” enheder, herunder smartphones, men også Oculus Rift headset og andet udstyr, til at udføre “inferens,” den del af machine learning, hvor computeren bruger sin uddannet neurale netværk til at besvare spørgsmål.
Også: Facebook forfalskninger sløring med AI til at gøre VR mere fast
Forfatterne nævner ting, såsom at udføre inferens i realtid på billeder, der kommer til at være uploadet til Instagram som den slags opgave, der skal til lokal behandling for at undgå ventetid for at gå til cloud at gøre slutning.
Men Facebook er op mod ærligt mærkværdige hardware, når de overvejer bred vifte af smartphones i naturen.
Selskabets “neurale netværk motoren er indsat på over en milliard mobile enheder,” påpeger de, bestående af “over to tusinde unikke SOCs [system on a chip, en halvleder, der består af ikke bare en mikroprocessor, men andre beregne blokke].” Det er over ti tusind forskellige modeller af telefoner og tabletter.
De Cpu ‘ er i disse telefoner er ikke så stor, i gennemsnit: “Næsten alle mobile inferens køre på Cpu’ er og de fleste indsat mobile CPU-kerner er gamle og low-end.” Specifikt dette år, er det kun en fjerdedel af alle smartphones, de kiggede på, er at køre en CPU, der blev designet i 2013 eller senere.
Også: Chip start Efinix håber, at bootstrap AI indsats i tingenes internet
Og det er ikke bare fordi der er en masse gamle telefoner derude: “En stor del af disse smartphones, der bliver solgt i de seneste et til to år.”
Desuden, “der er ingen standard for mobile SoC at optimere til” de beklage, med de mest almindelige chip med mindre end 4% af markedet. “De data, der er klar: der er ingen “typisk” smartphone eller mobile SOC.” Der er en “usædvanlig lange hale” af chips.
At have en on-board “speederen,” som en GPU, som hjælper, men der er ikke så mange magtfulde af dem derude.
“På mindre end 20% af mobile SoCs har en GPU 3 x mere kraftfuld end Cpu’ er.” De fleste AI funktioner på mobiler “er ikke engang til at bruge GPU’ en,” skriver de.
Også: AI start Flex Logix billethajer langt højere ydelse end Nvidia
DSPs, eller digital signal-processorer, har de samme mangler, de vedrører, og alle disse acceleratorer, der har ringe adgang til høj båndbredde til hukommelsen. Og der er meget lidt støtte til den afgørende vektor strukturer i hjertet af machine learning, og det vil tage år for de fleste at få denne evne.
Den anden del af det rod software: det er svært at programmere disse chips for AI. Der er en bred API, der er nyttige på mobil, “Mplayer”, men er “ikke officielt en del af Android-systemet,” og er det ikke op til de samme standarder, som andre Api ‘ er. Andre Api ‘ er, herunder “OpenGL ES,” en tilpasning af skrivebordet API for grafik, og “Vulkan” er lovende, men kun tyndt indsat.
Også: AI Start Cornami afslører detaljer om neurale net chip
Apple, de skriver, skiller sig ud: den “Metal” API til iOS kører på en konsekvent chip platform og Gpu ‘ er i disse chips er af højere kvalitet, i gennemsnit, “at gøre Metal på iOS-enheder med Gpu’ er et attraktivt mål for effektiv neurale netværk slutning.” Selv da, men resultaterne af en “grundig” undersøgelse af den hastighed, som af slutning på tværs af seks generationer af Apple ‘ s “En” – serien chips viser, at inden for hver generation af chip-der er stadig “bred ydeevne variation.”
“Programmering er en primær vejspærring til at bruge mobile co-processorer/acceleratorer,” skriver de.
Et system af forskellige værktøjer, der bruges internt af Facebook ‘ s ingeniører at optimere neurale netværk til at køre på mobile enheder. På trods af alle de ressourcer, de finder den blanding af chips og software derude, gør det vanskeligt at skabe en optimal oplevelse.
Facebook
At beskæftige sig med alt det, virksomheden gør det meste af sin in-house tools. For eksempel, dets “Caffe2” ramme “indsat over en milliard enheder, hvoraf ca 75% er Android baseret, med resten kører iOS” og er “optimeret til produktion skala og bred platform support.”
Den nyeste version af Facebook ‘ s “PyTorch” ramme, som blev afsløret i år på selskabets developer conference, der er designet til at “accelerere AI innovation ved at strømline processen med at overføre modeller, der er udviklet gennem forskning efterforskning til produktion skala med lidt overgang overhead.” Det understøtter også den “Åbne Neurale Netværk, Udveksling,” eller ONNX, specifikation, der understøttes af Microsoft og andre.
Også: Facebook open-source AI ramme PyTorch 1.0 frigivet
Facebook har en hel “workflow” systemet internt, at tal ud af, hvordan at optimere neurale netværk modeller til kanten. Det bruger tricks, såsom “kvantisering, k-means clustering, udførelse og valg af motor” for at forbedre ydeevnen på målrettet mobile enhed. Kvantisering, for eksempel, viser værdier, der er 32-bit floating point tal i 8-bit heltal, som kører hurtigere, men på bekostning af en lavere nøjagtighed.
Den Caffe2 tolk, som løber model på telefonen, betyder en hel masse andre ting, såsom design og reducere behandlingstiden af “midterste lag” i et neuralt netværk via “rumlig opløsning tuning.” Caffe2 opfordrer desuden i to separate “back-end” – systemer, der yderligere at optimere driften af convolutional neurale netværk, arbejdshest af dyb læring.
Også: AI chip enhjørning, der er ved at revolutionere alt har beregningsmæssige Graf i sin Kerne
Selv efter alt det, forfatterne fortæller, at machine learning ydeevne varierer en hel del på tværs af de forskellige “lag” af hardware. Nogle low-end modeller af telefonen rent faktisk at gøre det bedre end mid-tier modeller nominelt mere kraftfuld. Benchmarking alt dette til den virkelige verden, er ikke realistisk, fordi “det ville kræve en flåde af enheder.” Så de kan ikke fuldt ud højde for den ydeevne ramt af ting, såsom aldrende batterier i mobiltelefoner.
Skal læse
“AI er meget, meget dum, “siger Google’ s AI-leder (CNET)Baidu skaber Kunlun silicium til AIUnified Google AI division et klart signal om, at AI ‘ s fremtid (TechRepublic)
Forfatterne konkluderer, med flere forslag. Data forskere bliver nødt til at tilbringe en masse mere tid på at regne ud måder at producere neurale netværk, der kan være mere effektive. Det betyder, at der er en stor rolle for “arkitektur søg” – metoder, såsom “BayesOpt” og “AutoML,” skriver de.
På chip-side, “mere forskning og teknisk arbejde” skal gå til “at gøre eksisterende mobile GPU’ er og DSP hardware mere modtagelig for behandling DNN slutning.”
Mens mere specialiserede hardware lover at hjælpe, hvis det ikke giver en 50x performance boost, de skriver, “det er usandsynligt, at de fleste af disse acceleratorer faktisk vil blive brugt, når der findes på mobile enheder.”
De er også ende med en forjættende tanke: bare at optimere en ting er ikke vil gøre det. “Måske er det et tegn på, at computeren arkitektur er ved at flytte mere i retning af edb-system organisation.”
Tidligere og relaterede dækning:
Hvad er AI? Alt, hvad du behøver at vide
En executive guide til kunstig intelligens, fra machine learning og generelt AI til neurale netværk.
Hvad er dyb læring? Alt, hvad du behøver at vide
Den lowdown på en dyb læring: fra hvordan det relaterer til det bredere felt af machine learning igennem til, hvordan du kommer i gang med det.
Hvad er machine learning? Alt, hvad du behøver at vide
Denne vejledning forklarer, hvad machine learning er, hvordan det er relateret til kunstig intelligens, hvordan det fungerer, og hvorfor det er vigtigt.
Hvad er cloud computing? Alt, hvad du behøver at vide om
En introduktion til cloud computing-lige fra det grundlæggende op til IaaS og PaaS, hybrid, offentlige og private cloud.
Relaterede Emner:
Mobil-OS
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software
0