Edge computing blomstrer. Ideen om å ta beregning ut av datasenteret og bringe det så nært som mulig der data genereres, ser mye trekkraft. Estimater for edge computing -vekst er i 40% CAGR, 50 milliarder dollar.
Enten det er frittstående IoT-sensorer, alle slags enheter, droner eller autonome kjøretøyer, er det én ting til felles. I økende grad brukes data generert på kanten til å mate applikasjoner drevet av maskinlæringsmodeller.
TinyML er et raskt voksende felt innen maskinlæringsteknologi og applikasjoner som gjør at maskinlæring kan fungere på kanten. Den inkluderer maskinvare, algoritmer og programvare som er i stand til å utføre sensordataanalyse på enheten ved ekstremt lav effekt, og dermed muliggjøre en rekke brukstilfeller som alltid er på.
For at TinyML skal fungere, er det nødvendig med en sammensmeltning av maskinvare og programvare, noe som skaper et økosystem som bygger på ideen om nøysomme energibehov. Dette er en forutsetning for applikasjoner på kanten.
I dag kunngjør Arm, en global halvleder -IP -leverandør kjent for sitt fokus på økosystemopprettelse og nøysomme energibehov for sine prosessorer, et partnerskap med Neuton, en leverandør av en automatisert TinyML -plattform. Tidligere i september lanserte Alif Semiconductors, en annen Arm -partner som bygger AI -chips for kanten, nye produktlinjer.
ZDNet tok kontakt med Henrik Flodell, Sr.markedssjef i Alif, Philip Lewer, direktør for økosystem og Developer Relations, Machine Learning at Arm og Blair Newman, CTO i Neuton, alle erfarne eksperter på det innebygde rommet. Vi diskuterte deres respektive tilbud og hva som trengs for å få et økosystem for maskinlæring på kanten.
Arm, å bygge et AI -økosystem
Arm er en økosystemmester med mer enn 1000 partnere. Ifølge Lewer er det en viktig grunn til at selskapet var i stand til å sende mer enn 190 milliarder chips basert på teknologien sin over hele verden.
Armbrikker brukes overalt, fra sky datasentre til bærbare datamaskiner og fra wearables til droner. Lewer beskrev Arms AI -plattform som “en samling teknologier og partnerskap som gjør at AI kan skje”.
For Arm er grunnlaget på maskinvarenivå, og AI -plattformen inkluderer alt fra Arm Cortex -prosessorer til Mali -GPUer og Ethos NPUer og mikroNPUer. Cortex-M-familien er et veldig populært valg, ofte inkludert i mikrokontrollere så vel som andre sjetonger. Arms Ethos-N-prosessorserie fokuserer spesielt på slutning av maskinlæring for enheter med lite strøm.
Alifs nylig avslørte Ensemble ™ og Crescendo ™ produktfamilier bruker også Arm's Cortex-M. Ensemblebrikker er rettet mot smarthusprodukter, hvitevarer, salgssteder, robotikk og andre applikasjoner på kanten.
Alif ble grunnlagt i 2019, og Flodell bemerket at motivasjonen var å “utvikle en ny plattform fra grunnen av, basert på den aller nyeste teknologien som virkelig muliggjør funksjonalitet som allestedsnærværende trådløs tilkobling og kantbehandling med AI og maskinlæringsmuligheter “.
Maskinlæringsakselerasjon og flerlags sikkerhet er nøkkelfunksjonene som både Ensemble og Crescendo deler. Crescendo -familien tilbyr også tilkoblings- og posisjoneringsfunksjoner, som Alif -notater gjør dem egnet for smart city, tilkoblet infrastruktur, aktivasporing, helsetjenester og bærbare applikasjoner.
Tilbake i 2018 forårsaket Neuton et sprut ved å kunngjøre et rammeverk for nevrale nettverk som påstår å være langt mer effektivt enn noe annet rammeverk og ikke-nevral algoritme som er tilgjengelig på markedet.
Newman bemerket at selv om Bell Integrator, leverandøren bak Neuton-rammeverket, har eksistert i litt over 17 år, var det omtrent 6 år siden de fokuserte på å bygge nullkode SaaS-løsninger.
Historisk sett la Newman til at Bell Integrator har benyttet seg av alle “tradisjonelle” maskinlæringsrammer som er tilgjengelige. Spørsmålet om ressursknapphet har imidlertid alltid vært vanskelig å navigere. Det er en ting å bygge en maskinlæringsmodell og en annen ting å distribuere den i produksjonen, spesielt på kanten.
Neuton, som bygde modeller for maskinlæring uten kode fra bunnen av
Newman la vekt på to aspekter av Neutons tilnærming, som gikk i strid med etablerte rammeverk for maskinlæring. For det første aspektet uten kode, slik at forskere uten data kan bygge modeller. For det andre den tilpassede arkitekturen som Neutons maskinlæringsmodeller bruker:
“Så snart disse modellene er produsert, kan de umiddelbart, uten interaksjon, integreres i mikrokontrollere. Kundene våre har virkelig fullmakt til å gå gjennom hele livssyklusen for å bringe maskinlæring til kanten uten tekniske ferdigheter”, sa Newman. < /p>
Neuton ble invitert til å bli med i Arms partnerøkosystem etter å ha presentert sin tilnærming til å bygge kompakte og nøyaktige modeller på TinyML EMEA Technical Forum 2021. Hele formålet med Arms partnerøkosystem er å samle selskaper som muliggjør forskjellige evner, sa Lewer.
Å bygge et økosystem for AI på kanten krever samarbeid og arbeid på tvers av maskinvare og programvare.
Getty Images/iStockphoto
Case in point, Alif og Neuton, fortsatte Lewer. Alif bruker Arm's Cortex -design på innovative måter, men det virkelige spørsmålet for brukerne er hvordan de skal distribuere maskinlæringsmodeller på Alifs brikker:
“Det er veldig viktig, spesielt for utviklere som er nærmere konvensjonelle programmeringsbakgrunner, å bygge bro over gapet inn i maskinlæringsverdenen. Så har du noen som Neuton som kommer inn og sier, vel, det er der vi passer inn. Hvis vi har kunder som er fornøyde og partnere som er fornøyde, det er slik vi måler suksess “.
Arm var en naturlig partner for Alif; Flodell var enig fordi de har god IP og fokus på økosystemaktivering: “Vi vet at folk kommer til å være produktive med disse enhetene så snart de får tak i dem”. Sa Flodell.
Spesiell oppmerksomhet er blitt lagt til kraftegenskapene til Alifs produktlinje. Selvfølgelig, forklarte Flodell, vil chips med integrerte tilkoblingsfunksjoner som Crescendo -linjen ha høyere strømkrav sammenlignet med noe som Ensemble.
Alt kommer ned på hvor mye strøm du bruker bare for å delta i et nettverk, og dette er delen Alif har fokusert på å optimalisere. I den forbindelse la han til at Alifs benchmarks viser at Crescendo er 2 til 3 ganger mer nøysom enn chips med lignende egenskaper, noe som ganske enkelt betyr at applikasjoner vil kunne kjøre lenger.
Alif, bygge innebygde kontrollere for begrensede miljøer
For applikasjoner som er utplassert på kanten, er batteriforbruket virkelig valutaen, konkluderte Newman. Neutons tilnærming er å “bygge [modeller] fra grunnen, nevron av nevron. Du trenger bare å bygge modellene dine en gang, og de kommer ekstremt kompakte ut uten å gå på kompromiss med nøyaktigheten”.
Neuton er relativt nytt i partnerskapsspillet. Newman identifiserte imidlertid partnerskapet med Arm som et strategisk for Neutons mål om å demokratisere maskinlæring. For Lewer and Arm er partnerskap en sentral del av strategien deres, som de vil fortsette å utvikle. Selv om Arm har mange partnere, handler det ikke bare om tall, sa Lewer:
“Det handler egentlig om å gjøre disse partnerskapene effektive, og det betyr at vi lener oss inn. Vi bruker mye tid på at hver partner prøver å forstå hvor de prøver å gå, slik at vi kan finne felles grunner. “
Når vi snakker om maskinlæring på kanten, er det viktig å kunne jobbe i et ressursbegrenset miljø, bemerket Flodell. AIs stamtavle er knyttet til datasentre, men dette må endres for virkelige AI-applikasjoner på kanten:
“Når du vil skalere og kjøre i noe som er konfigurert som en mikrokontroller, noen ganger med mindre enn en megabyte et minne, blir det i seg selv en utfordring.
For å legge til det, er AI på noen måter veldig forskjellig fra den tradisjonelle utviklingen som innebygde systemdesignere går gjennom. Det er fremdeles mer i datavitenskapers område å forstå hvordan man stiller modellene for å gi de riktige resultatene.
Å kunne utnytte Arms partnerskapsaktiviteter for å koble seg til selskaper som Neuton, bør kunne bygge bro over dette gapet til få dataforskerne og den innebygde utviklerens ekspertise til å smelte sammen og få modellene og teknologien til å passe til et begrenset system.
Det er virkelig utfordringen. Hvis vi kan overvinne det, åpner det flomportene for adopsjon av denne teknologien. “
Kunstig intelligens
Hva er AI? Alt du trenger å vite om kunstig intelligens AI og datavitenskapsjobber er varme. Her er hva arbeidsgivere ønsker De beste telepresence -robotene for å kjøpe AI blir smartere, raskere. Det skaper vanskelige spørsmål som vi ikke kan svare på AI -jobber blomstrer. Dette er ferdighetene du trenger for å bli ansatt (ZDNet YouTube) Artificial intelligence: Cheat sheet (TechRepublic)
Relaterte emner:
Datasentre 