George Anadiotis Bidragende Forfatter
George har teknologi, data og medier, og han er ikke bange for at bruge dem. Han kommer fra en IT-baggrund og har haft chancen for at lære at spille mange instrumenter på vej til at blive et enmandsband og en orkestrator: At være Gigaom-analytiker, tjene Fortune 500, startups og NGO'er som konsulent, bygge og lede projekter, produkter og teams i alle størrelser og former og involverer sig i blandt andet prisvindende forskning.
Fuld biografi udgivet i Big on Data den 9. december 2021 | Emne: Edge Computing
Jan Jongbooms drøm var med hans egne ord at have enheder, der virkelig forstår, hvad der sker omkring dem. Det var ti år siden, men det var først i 2019, at han for alvor begyndte at handle på det. Det var, da Jongboom og Zach Shelby grundlagde Edge Impulse med en mission om at gøre det muligt for udviklere at skabe den næste generation af intelligente enheder.
I dag annoncerer Edge Impulse $34 millioner i serie B-finansiering ledet af Coatue, hvilket tredobler sin 2022 markedsvurdering og vækstprognose. Coatue slutter sig til eksisterende investorer, Canaan Partners, Acrew Capital, Fika Ventures, Momenta Ventures og Knollwood Investment Advisory, for at afslutte det, holdet kalder “et utroligt år”.
Siden lanceringen i 2019 har næsten 30.000 udviklere fra tusindvis af virksomheder skabt næsten 55.000 tilpassede maskinlæringsprojekter ved hjælp af Edge Impulse, der bygger smartere industri-, logistik-, forbruger- og sundhedsløsninger med kunder, herunder Oura, Polycom, Advantech og NASA. Dens udviklerbase er steget med 4x, med årlig tilbagevendende omsætning vokset med 3x i det sidste år.
Alt det lyder ret imponerende, og et vidnesbyrd om Gartners forudsigelse om, at “inden 2027 vil maskinlæring i form af dyb læring være inkluderet i over 65 % af edge use cases, op fra mindre end 10 % i 2021”. Vi har talt med Jongboom for at lære mere om Edge Impulse.
Gør dumme IoT-enheder nyttige
Jongboom og Shelbys udgangspunkt er, at IoT-enheder er fantastiske, men de er også dumme. De kan optage tidsserier fra forskellige typer sensorer, som f.eks. temperatur eller lyd, men de har ingen anelse om, hvad det betyder, eller hvordan man kan gøre noget nyttigt ud af det.
Da Jongboom mødte Shelby at Arm, hvor de begge arbejdede for omkring tre år siden, begyndte de at tale om, hvad de kunne gøre for at få disse enheder til virkelig at forstå verden. De nåede hurtigt frem til, at maskinlæring var svaret.
Jongboom brugte fastspænding på krybskytteri som et eksempel på anvendelse. Hvis du vil bruge en IoT-enhed til at registrere, når der er en elefant i nærheden, sagde han, har du to muligheder. Den første er at prøve at lave et program, der beskriver, hvordan en elefants auditive input er. Den anden er at bruge eksempler på elefantlyde og lade en maskinlæringsmodel finde ud af det.
Edge Impulse har specialiseret sig i maskinlæring til IoT-enheder. Det betyder, at de skal anvende standard maskinlæringslivscyklussen: indsamle data – togmodel – implementer model – valider model – gentag. Lad os se, hvordan de imødekommer hvert trin i denne proces.
Til dataindsamlingsdelen spekulerede vi på, hvilken slags enheder eller sensorer Edge Impulse understøtter. Jongboom nævnte, at deres økosystem af partnere, lige fra mikrocontrollerudviklere til superspecialiseret silicium til maskinlæring understøtter “alt under solen”.
Der er et par faktorer at overveje, når man overvejer, hvordan en virksomhed grundlagt i 2019 kunne have skabt et sådant økosystem i 2021. Det faktum, at Edge Impulses grundlæggere selv startede som indlejrede udviklere, hvor Shelby tidligere havde solgt sin IoT-startup til Arm, gav dem et forspring, ifølge Jongboom. De vidste, hvad udviklere vil have, og de vidste, hvordan de skulle nå ud til hardwareleverandører. Derudover gjorde de dataindtagelsen til åben kildekode og nem at bruge:
“Det har været en rigtig god historie, hvor vi kan hjælpe siliciumleverandører med at gå på markedet, og efter at vi har silicium at køre på. Det betyder, at vi i fællesskab kan gå ud til kunderne og få en meget bedre historie. Det er ikke — Åh, vi har denne fantastiske maskinlæringsplatform. Det er — vi har denne fantastiske maskinlæringsplatform, og vi har faktisk support fra siliciumleverandørerne, som allerede kører på dine brownfield-enheder. Det er virkelig fantastisk”, bemærkede Jongboom.
Indsaml data – togmodel – implementer model – valider model – gentag
For så vidt angår træning af maskinlæringsmodeller en del af processen, bruger Edge Impulse for det meste off-the-shelf rammer såsom TensorFlow. Ideen der er at abstrahere så meget som muligt med det formål at gøre modelgenerering så brugervenlig som muligt for de mennesker, der er domæneeksperter.
Målet, sagde Jongboom, er at give domæneeksperter værktøjer til at indsamle data, derefter analysere for uregelmæssigheder eller klassificere, hvad der sker, eller forudsige fremtiden. Og det er ikke kun maskinlæring, men også signalbehandling, for “signalbehandling er virkelig rart og forklarligt”.
Edge Impulses arbejdshest er TensorFlow, der bruges via Keras. Hvis du har en dataforsker ombord, så kan du godt redigere modellen, alt hvad du vil. Hvis ikke, behøver du ikke. Så det kan være alt fra lav kode til fuld frihed. Og ja, den lave kodereference betyder, at der er en IDE på billedet her — Studiet.
Edge Impulse Studio er på online IDE, og det er også her, valideringsdelen af processen også sker. Jongboom bemærkede, at dette er virkelig vigtigt i maskinlæring generelt, og endnu mere i edge-applikationer. Det er fordi, hvis du implementerer noget til en enhed eller en maskine, kan det være virkelig svært at rette fejl i driftsindstillinger.
Edge Impulse lader brugere uploade rigtige data til brug for validering, og det kan også generere syntetiske data. Og det giver dem også mulighed for at gribe ind og manuelt foretage korrektioner for falske positive eller falske negative, afhængigt af typen af applikation. Nogle gange er det afgørende, at visse hændelser identificeres, selv på bekostning af falske alarmer, og nogle gange er det ok at gå glip af noget.
Pointen, bemærkede Jongboom, er at skabe applikationer, der er indsigtsfulde og inspirerer til tillid. At få nogen til at gennemgå dataene assisteret af maskinlæringsmodellen gør det meget nemmere at se de svage punkter.
Det sidste trin i processen – implementering – er noget uden for grænserne for Edge Impulse i øjeblikket. Edge Impulse udsender kildekode. Det inkluderer den matematiske model, normaliseringskoden, signalbehandlingskoden, maskinlæringskoden og al efterbehandlingsjustering af modellen.
Ingen kompilerede binære filer, heller ingen royalties på det, sagde Jongboom. Hvordan brugeren integrerer det i deres enhed er op til dem, fortsatte han med at tilføje. Jongboom bemærkede dog, at økosystemet også spiller ind i dette, og det kan være så simpelt som to linjer kode. Den del er også open source.
Edge Impulse EON – den hemmelige sauce til at optimere maskinlæringsmodeller til kanten
Den del, som vi ikke har talt om indtil videre, og som både er central for Edge Impulse og ikke open source, er TinyML-delen. TensorFlow eller en hvilken som helst anden ramme for den sags skyld kan producere modeller, der ikke er et godt match til udrulning på edge-enheder på grund af begrænsningerne på disse enheder med hensyn til strøm og behandlingskapacitet.
Det er her, Edge Impulses EON (Edge Optimized Neural) kommer i spil. Dette er den teknologi, som Edge Impulse brugte til at producere maskinlæringsmodeller, der er passende til implementering i begrænsede enheder på kanten. Den første ting, den gør, er, at den tager højde for alle parametrene for implementeringsmålet og gør to ting.
For det første går EON-tuneren i gang. Jongboom beskrev dette “en super bred søgebase på 1000 forskellige modeller, som vi kunne prøve”. EON-tuner ser på dem, der kan passe på implementeringsmålenheden, og vælger derefter den med den højeste nøjagtighed.
Derefter kompilerer EON-kompileren effektivt neurale netværk til brownfield-enheder. måden det fungerer på, sagde Jongboom, er, at maskinlæringsmodellen fødes ind i en fortolker, som bygger en graf og kører inferensen. Men det er et spildfuldt indlejret system, fordi du skal have tolken plus alle de potentielle tilstande, som tolken kan konstruere.
EON-kompileren kompilerer bare grafen ned til kildekoden og kompilerer den derefter ind. Det sparer mellem 30 og 50 % RAM, hvilket er meget, især i Brownfield-enheder. Compileren er tilgængelig til brug, og de modeller, som folk genererer, er også open source, licenseret under Apache 2.0-licensen, så ingen royalties der. Nogle mennesker vælger faktisk at dele deres modeller med fællesskabet.
Edge Impulse er en software som en serviceplatform. Kunder betaler pr. projekt pr. måned eller pr. datapipeline pr. måned. De betaler også for ting som f.eks. mere beregning, flere samarbejdsfunktioner, storskala datatransformation og integration med din sky for at trække dataene automatisk ind og indlæse disse data.
Edge Impulse har i øjeblikket et team på 40 personer. Målet er at bruge denne serie B-finansiering til at vokse til 80 i det kommende år, med vægt på Solutions Engineering-teamet. Jongboom sagde, at de også sigter mod at blive ved med at vokse fællesskabet og støtte og på samme måde, og at fastholde deres organiske vækst.
Speciel funktion
Data, AI, IoT: The Future of Retail
Den digitale transformation af detailhandel giver mange af fordelene af e-handel til fysisk og mørtel, og resultaterne er lige så forstyrrende.
Læs mere
Data Management