Verden er i ferd med å bli forfalt av programvare for kunstig intelligens som kan være inne i et klistremerke som sitter fast på en lyktestolpe.
Det som kalles TinyML, en bred bevegelse for å skrive maskinlæringsformer for AI som kan kjøres på enheter med svært lite strøm, får nå sin egen serie med standardtester for ytelse og strømforbruk.
Testen, MLPerf, er opprettelsen av MLCommons, et bransjekonsortium som allerede utsteder årlige referansevurderinger av datamaskiner for de to delene av maskinlæring, såkalt trening, der et nevralt nettverk er bygget ved å få sine innstillinger raffinert i flere eksperimenter. ; og såkalt inferens, der det ferdige nevrale nettverket gir spådommer når det mottar nye data.
Disse referansetestene fokuserte imidlertid på konvensjonelle dataenheter som spenner fra bærbare datamaskiner til superdatamaskiner. MLPerf Tiny Inference, som den nye eksamen kalles, fokuserer på den nye grensen for ting som kjører på smarttelefoner ned til ting som kan være tynne som et frimerke, uten batteri i det hele tatt.
Referanseimplementeringen for MLPerf Tiny Inference tester hvor mye ventetid som påløper og hvor mye energi som forbrukes ved å kjøre fire representative maskinlæringstaker på et ST MIcroelectronics Nucleo ARM-basert mikrokontrollerkort for innebygde systemer.
“Dette fullfører spektrumet for mikrotatt til megawatt,” sa David Kanter, administrerende direktør for MLCommons, bransjekonsortiet som fører tilsyn med MLPerf, i en orientering med pressen.
Også: AI-bransjens ytelsesmål, MLPerf, måler for første gang også energien som maskinlæring bruker
Testene måler ventetid i millisekunder og strømforbruk i mikro-Jules, for å fullføre fire representative maskinlæring oppgaver, der lavere er bedre i begge tilfeller. Dette er andre gang ML Commons introduserer en energimåling. I april introduserte gruppen et mål på vekselstrøm brukt i watt i den eksisterende MLPerf-inferensetesten.
TinyML representerer ganske mange oppgaver som er kjent for mange ved bruk av mobile enheter, ting som våkneordet som aktiverer en telefon, som “Hei, Google” eller “Hei, Siri.” (Warden betrodde publikum med en latter, at han og kolleger må referere til “Hei, Google” rundt kontoret som “Hei, G”, for ikke å ha hverandres telefoner som går hele tiden.)
I dette tilfellet inkluderte de fire oppgavene søkeordflekk, men også tre andre: det som kalles visuelle våkneord, der et objekt i et synsfelt utløser en viss aktivitet (tenk videodørklokke); bildeklassifisering på det mye brukte CIFAR-10 datasettet; og avviksdeteksjon, et visuelt inspeksjonssystem som kan brukes i fabrikkgulv.
Referansen ble konstruert ved å en referanseimplementering, der disse fire oppgavene kjøres på et lite innebygd datakort, ST Microelectronics 'Nucleo-L4R5ZI, som driver en ARM Cortex-M4 innebygd prosessor.
Nucleo anses av ML Commons å være i tilstrekkelig bred bruk til å representere enheter med lite strøm. Nucleo kjørte Googles programvaresystem for TinyML, kalt TensorFlow Lite, i dette tilfellet en versjon spesielt designet for mikrokontrollere.
Fire grupper sendte resultatene til referanseindeksen: Syntiant, en Irvine, California-basert designer av AI-prosessorer; LatentAI, en Menlo Park, California-basert spin-out av forskningsinstituttet SRI International som lager en utvikler SDK for AI; Peng Cheng Laboratory, et forskningslaboratorium i Shenzen, Kina; og hls4ml, en samling forskere fra Fermilab, Columbia University, UC San Diego og CERN.
Syntiant kjørte referansen på en ARM Cortex-M0-prosessor, mens LatentAI brukte et Raspberry Pi 4-system med en Broardcom-brikke, og hls4ml brukte en Xilinx-prosessor på et Pynq-Z2-utviklingskort.
Kanskje den mest interessante innsendingen fra et hardware-synspunkt var Peng Cheng-laboratoriets tilpassede prosessor, som den designet, og som ble produsert av Kinas Semiconductor Manufacturing International. Den delen kjører det åpne RISC-V instruksjonssettet, et prosjekt fra University of California i Berkeley som har fått økende støtte som et alternativ til ARM-chipinstruksjoner.
Et formelt papir som beskriver referanseindeksen er tilgjengelig for nedlasting på OpenReview.net, skrevet av to av de akademiske rådgiverne til organisasjonen, Colby Banbury og Vijay Janapa Reddi fra Harvard University, sammen med flere bidragende forfattere. Denne artikkelen er sendt til årets NeurIPS, AI-feltets største akademiske konferanse.
Referansen ble opprettet i løpet av atten måneder via kollektive innspill fra ML Commons-arbeidsmedlemmer som inkluderer representanter fra CERN, Columbia University og UC San Diego, Google, chip-produsenter Infineon, Qualcomm, Silicon Labs, STMicro og Renesas, AI-oppstart SambaNova. Systemer, og chipdesignprogramvareprodusent Synopsys, blant andre.
Reddi fra Harvard sa at designet var et resultat av at begge rådgiverne stemte, men også en prosess med å velge blant forslagene.
“Det er drevet av avstemning, men vi vil forstå hva tilbakemeldingene er fra forbrukere eller kunder,” sa Reddi.
“Det er et element av gruppekonsensus, og det er et element av gjennomførbarhet,” sa Kanter, som betyr å håndtere begrensningene i hvilke datasett som i praksis kan brukes til tester. “Hvis du ikke vurderer på et reelt datasett, kommer du ikke til å få superbetydelige resultater,” sa han. Datasett som CIFAR-10 sørger for at resultatene blir “sammenlignbare og anerkjente,” la han til.
“Det er en gating-faktor,” sa Kanter om datasettproblemet. “Det er mange applikasjoner som vi gjerne vil kunne måle ytelsen på, men til slutt ser du på hva som er tilgjengelige ressurser, spesielt med tanke på at dette er en første innsats.”
En av de største utfordringene med benchmarking av TinyML er at programvarestakken, alle kodelagene fra maskinvareinstruksjoner og opp gjennom rammene for maskinlæring, som Googles TensorFlow Lite, utgjør en mye mer variert samling av programvare enn det man vanligvis finner i programmer skrevet for PCer og superdatamaskiner i TensorFlow, PyTorch og Nvidias CUDA-programvaremotor.
Testene tillater bedrifter som sender inn til å bruke sin egen versjon av en nevral nettverksalgoritme, eller å bruke en standardmodell, den samme som alle andre, kalt enten “åpne” eller “lukkede” referanseresultater henholdsvis.
En ekstra komplikasjon er å definere den eksakte strømkonvolutten. “Å måle kraft for batteribaserte systemer er veldig utfordrende,” bemerket Kanter. De innebygde brettsystemene som brukes i testpakken, kjører i et kontrollert testoppsett der deres absolutte kjøretidskraft for oppgavene “blir snappet opp” av en strømmonitor som faktisk leverer strømmen.
“Vi kappet ut hele batterisubsystemet,” sa Peter Torelli, president for Embedded Microprocessor Benchmark Consortium, en gruppe som i flere tiår har målt ytelsen til innebygde systemer, som jobbet med energikomponenten i referanseindeksen.
Også: Maskinlæring i utkanten: TinyML blir stor
I den virkelige verden, en forskjellige omstendigheter vil hilse på alle enheter som faktisk kjører i en mobiltelefon eller en fabrikkgulv. Googles utviklingssjef for TinyML, Pete Warden, har hevdet at TinyML-innsatsen bør fokusere på enheter som er batteridrevne, uten veggkontakt.
Warden har antydet at enda enklere TinyML-enheter kan bruke energihøsting, slik at de ikke en gang har batteri, men heller vil få tilført sin energi via solen eller via varmeemitterende organismer eller strukturer i nærheten.
Selv om ML Commons i utgangspunktet er i samsvar med Wards syn på at mange TinyML-enheter bare vil ha batteristrøm eller høsting av energi, inkluderer målestokkene enheter som Raspberri Pi som kan bruke en veggstrømkilde. Med 3,5 watt kraft er Raspberri Pi ganske mye større enn mikro-watt fra de minste innebygde systemene.
Gitt hvor nytt referanseverdien er, sa Kanter, bare referansesystemet fra Reddi og Banbury ved Harvard tilbyr faktisk effektmåling i dette første settet med resultater; de fire andre innsenderne ga ikke effektmålinger.
“Vi forventer å se ganske mange energimålinger for neste runde,” sa han til ZDNet via e-post.
Også: Google AI-sjef ser en verden av billioner av enheter som ikke er tilknyttet menneskelig pleie
Beslektede emner:
Hardware Digital Transformation CXO Internet of Things Innovation Enterprise Software < img src = "https://www.zdnet.com/a/hub/i/r/2018/09/04/c3df0f2d-c0dd-40e0-aac3-cf7a5effe212/thumbnail/40x40/a512fa125babb0e8085dab571e85ced1/tiernan-ray-hor. jpg "class =" "høyde =" 40 "bredde =" 40 "alt =" Tiernan Ray "høyde =" 40 "bredde =" 40 "title =" For å måle AI med ultra lav effekt, får MLPerf en TinyML referanse "/>