Världen håller på att bli försvunnen av programvara för artificiell intelligens som kan vara inne i en klistermärke som sitter fast på en lyktstolpe.
Det som kallas TinyML, en bred rörelse för att skriva maskininlärningsformer av AI som kan köras på enheter med mycket låg effekt, får nu sin egen uppsättning riktmärketester för prestanda och strömförbrukning.
Testet, MLPerf, är skapandet av MLCommons, ett branschkonsortium som redan utfärdar årliga riktvärderingar av datorer för de två delarna av maskininlärning, så kallad utbildning, där ett neuralt nätverk byggs genom att dess inställningar förfinas i flera experiment. ; och så kallad inferens, där det färdiga neurala nätverket gör förutsägelser när det tar emot nya data.
Dessa riktmärktester fokuserade emellertid på konventionella datorenheter från bärbara datorer till superdatorer. MLPerf Tiny Inference, som den nya undersökningen kallas, fokuserar på den nya gränsen för saker som körs på smartphones ner till saker som kan vara tunna som en frimärke, utan batteri alls.
Referensimplementeringen för MLPerf Tiny Inference testar hur mycket latens som uppstår och hur mycket energi som förbrukas när man kör fyra representativa maskininlärningstekniker på ett ST MIcroelectronics Nucleo ARM-baserat mikrokontrollkort för inbäddade system.
“Detta kompletterar mikro-watt till megawatt-riktmärken”, säger David Kanter, verkställande direktör för MLCommons, branschkonsortiet som övervakar MLPerf, i en briefing med pressen.
Även: AI-industrins prestandamätvärde, MLPerf, mäter för första gången också energin som maskininlärning förbrukar
Testerna mäter latens i millisekunder och energiförbrukning i mikro-Jules, för att slutföra fyra representativa maskininlärning uppgifter där lägre är bättre i båda fallen. Det är andra gången som ML Commons introducerar en energimätning. I april introducerade gruppen ett mått på växelströmsanvändning, i watt, i det befintliga MLPerf-inferensstestet.
TinyML representerar ganska många uppgifter som är bekanta för många med mobila enheter, till exempel väckande ord som aktiverar en telefon, som “Hej, Google” eller “Hej, Siri.” (Warden betrodde publiken med ett skratt att han och kollegor måste hänvisa till “Hej, Google” runt kontoret som “Hej, G,” för att inte ha varandras telefoner ständigt av.)
I det här fallet inkluderade de fyra uppgifterna nyckelordspotting, men också tre andra: vad som kallas visuella väckord, där ett objekt i ett synfält utlöser viss aktivitet (tänk videodörrklocka); bildklassificering på den allmänt använda CIFAR-10-datauppsättningen; och avvikelsedetektering, ett visuellt inspektionssystem som kan användas på ett fabriksgolv.
Riktmärket konstruerades genom att en referensimplementering, där dessa fyra uppgifter körs på ett litet inbäddat datorkort, ST Microelectronics 'Nucleo-L4R5ZI, som driver en ARM Cortex-M4 inbäddad processor.
Nucleo anses av ML Commons vara i tillräckligt omfattande användning för att representera enheter med mycket låg effekt. Nucleo drev Googles mjukvarusystem för TinyML, kallat TensorFlow Lite, i det här fallet en version speciellt utformad för mikrokontroller.
Fyra grupper lämnade sina resultat till riktmärket: Syntiant, en Irvine, Kalifornien-baserad designer av AI-processorer; LatentAI, en Menlo Park, Kalifornien-baserad spin-out av forskningsinstitutet SRI International som gör en utvecklare SDK för AI; Peng Cheng Laboratory, ett forskningslaboratorium i Shenzen, Kina; och hls4ml, en samling forskare från Fermilab, Columbia University, UC San Diego och CERN.
Syntiant körde riktmärket på en ARM Cortex-M0-processor, medan LatentAI använde ett Raspberry Pi 4-system med ett Broardcom-chip och hls4ml använde en Xilinx-processor på ett Pynq-Z2-utvecklingskort.
Det kanske mest intressanta inlägget från en hårdvarusynpunkt var Peng Cheng Laboratory's anpassade processor, som den designade och som tillverkades av Kinas Semiconductor Manufacturing International. Den delen driver den öppna RISC-V instruktionsuppsättningen, ett projekt från University of California i Berkeley som har fått ökat stöd som ett alternativ till ARM-chipinstruktioner.
Ett formellt dokument som beskriver riktmärket finns att ladda ner på OpenReview.net, författat av två av de akademiska rådgivarna till organisationen, Colby Banbury och Vijay Janapa Reddi från Harvard University, tillsammans med flera bidragande författare. Denna uppsats har skickats till årets NeurIPS, AI-fältets största akademiska konferens.
Riktmärket skapades under arton månader via kollektiva insatser från ML Commons arbetande medlemmar som inkluderar representanter från CERN, Columbia University och UC San Diego, Google, chiptillverkare Infineon, Qualcomm, Silicon Labs, STMicro och Renesas, AI-startande SambaNova System, och chipdesignprogramvarutillverkare Synopsys, bland andra.
Reddi från Harvard sa att designen var ett resultat av både rösträtt från dessa rådgivare men också en process för att välja bland förslagen.
“Det drivs av omröstning, men vi vill förstå vad feedbacken är från konsumenter eller kunder”, säger Reddi.
“Det finns ett element av gruppkonsensus, och det finns ett element av genomförbarhet”, säger Kanter, menande, hanterar begränsningarna för vilka datamängder som i praktiken kan användas för tester. “Om du inte utvärderar på en riktig datamängd kommer du inte att få superbetydande resultat”, sa han. Datamängder som CIFAR-10 säkerställer att resultaten blir “jämförbara och välkända”, tillade han.
“Det är en gatingfaktor,” sa Kanter om datasetproblemet. “Det finns många applikationer som vi gärna skulle kunna mäta prestanda på, men i slutändan ser du på vilka resurser som är tillgängliga, särskilt med tanke på att detta är en första insats.”
En av de största utmaningarna med benchmarking av TinyML är att mjukvarustacken, alla kodande lager från hårdvaruinstruktionsuppsättningar upp genom ramarna för maskininlärning, såsom Googles TensorFlow Lite, utgör en mycket mer varierad samling programvara än vad som vanligtvis program skrivna för datorer och superdatorer i TensorFlow, PyTorch och Nvidias CUDA-programvarumotor.
Testerna tillåter företag som överlämnar båda att använda sin egen version av en neuronal nätverksalgoritm, eller att använda en standardmodell, samma som alla andra, som kallas antingen “öppna” eller “stängda” referensresultat, respektive.
En ytterligare komplikation är att definiera det exakta kraftkuvertet. “Att mäta kraft för batteribaserade system är mycket utmanande”, konstaterade Kanter. De inbäddade kortsystemen som används i testsviten körs i en kontrollerad testuppsättning där deras absoluta körtidskraft för uppgifterna “fångas upp” av en kraftövervakare som faktiskt levererar strömmen.
“Vi har precis klippt ut hela batterisubsystemet”, säger Peter Torelli, vd för Embedded Microprocessor Benchmark Consortium, en grupp som i årtionden har mätt prestanda för inbäddade system, som arbetat med energikomponenten i riktmärket.
Också: Maskininlärning vid kanten: TinyML blir stort
I den verkliga världen, en olika omständigheter hälsar alla enheter som faktiskt körs i en mobiltelefon eller en fabriksgolvsenhet. Googles utvecklingschef för TinyML, Pete Warden, har hävdat att TinyML-ansträngningar bör fokusera på enheter som är batteridrivna, utan vägguttagsanslutning.
Warden har föreslagit att ännu enklare TinyML-enheter kan använda energiupptagning, så att de inte ens har ett batteri utan snarare skulle få sin energi via solen eller via värmeemitterande organismer eller strukturer i närheten.
Även om ML Commons i princip överensstämmer med Wardens uppfattning att många TinyML-enheter endast kommer att ha batteriström eller energiupptagning, inkluderar riktmärken enheter som Raspberri Pi som kan använda en väggkälla. Med 3,5 watt effekt är Raspberri Pi ganska större än mikro-watt från de minsta typerna av inbäddade system.
Med tanke på hur nytt riktmärket är, säger Kanter, bara referenssystemet från Reddi och Banbury vid Harvard erbjuder faktiskt effektmätningen i denna första uppsättning resultat; de fyra andra inlämnade levererade inte effektmätningar.
“Vi förväntar oss att se en hel del energimätningar för nästa omgång,” sa han till ZDNet via e-post.
Också: Googles AI-chef ser en värld av biljoner enheter som inte är bundna från mänsklig vård
Relaterade ämnen:
Hårdvara Digital Transformation CXO Internet of Things Innovation Enterprise Software < img src = "https://www.zdnet.com/a/hub/i/r/2018/09/04/c3df0f2d-c0dd-40e0-aac3-cf7a5effe212/thumbnail/40x40/a512fa125babb0e8085dab571e85ced1/tiernan-ray-hor. jpg "class =" "height =" 40 "width =" 40 "alt =" Tiernan Ray "height =" 40 "width =" 40 "title =" För att mäta ultra-low power AI får MLPerf ett TinyML-riktmärke "/>