George Anadiotis bidragande skribent
George har teknik, data och media, och han är inte rädd för att använda dem. Han kommer från en IT-bakgrund och har fått chansen att lära sig spela många instrument på vägen mot att bli ett enmansband och en orkestrator: att vara en Gigaom-analytiker, tjäna Fortune 500, startups och icke-statliga organisationer som konsult, bygga och leda projekt, produkter och team av alla storlekar och former, och engagera sig i prisbelönt forskning bland annat.
Fullständig biografi Publicerad i Big on Data den 9 december 2021 | Ämne: Edge Computing
Jan Jongbooms dröm, med hans egna ord, var att ha enheter som verkligen förstår vad som händer runt omkring dem. Det var tio år sedan, men det var inte förrän 2019 som han började agera på riktigt. Det var när Jongboom och Zach Shelby grundade Edge Impulse, med uppdraget att göra det möjligt för utvecklare att skapa nästa generation av intelligenta enheter.
Idag tillkännager Edge Impulse 34 miljoner dollar i serie B-finansiering ledd av Coatue, vilket tredubblar dess 2022 marknadsvärdering och tillväxtprognos. Coatue går med befintliga investerare, Canaan Partners, Acrew Capital, Fika Ventures, Momenta Ventures och Knollwood Investment Advisory, för att avsluta vad teamet kallar “ett otroligt år”.
Sedan lanseringen 2019 har nästan 30 000 utvecklare från tusentals företag skapat nästan 55 000 skräddarsydda maskininlärningsprojekt med Edge Impulse, för att bygga smartare industri-, logistik-, konsument- och hälsolösningar med kunder som Oura, Polycom, Advantech och NASA. Dess utvecklarbas har ökat med 4x, med årliga återkommande intäkter som ökat med 3x under det senaste året.
Allt det där låter ganska imponerande, och ett bevis på Gartners förutsägelse att “år 2027 kommer maskininlärning i form av djupinlärning att inkluderas i över 65 % av edge use-fallen, upp från mindre än 10 % 2021”. Vi kom i kontakt med Jongboom för att lära oss mer om Edge Impulse.
Gör dumma IoT-enheter användbara
Jongboom och Shelbys utgångspunkt är att IoT-enheter är fantastiska, men de är också dumma. De kan spela in tidsserier från olika typer av sensorer, som temperatur eller ljud till exempel, men de har ingen aning om vad det betyder eller hur man gör något användbart av det.
När Jongboom träffade Shelby at Arm, där de båda arbetade för ungefär tre år sedan började de prata om vad de kunde göra för att få dessa enheter att verkligen förstå världen. De kom snabbt fram till att maskininlärning var svaret.
Jongboom använde tjuvjakt som ett exempel. Om du vill använda en IoT-enhet för att upptäcka när det finns en elefant i närheten, sa han, har du två alternativ. Det första är att försöka skapa ett program som beskriver hur en elefants hörselinmatning är. Det andra är att använda prover av elefantljud och låta en maskininlärningsmodell ta reda på det.
Edge Impulse är specialiserat på maskininlärning för IoT-enheter. Detta innebär att de måste tillämpa standardlivscykeln för maskininlärning: samla in data – tågmodell – distribuera modell – validera modell – upprepa. Låt oss se hur de hanterar varje steg i den här processen.
För datainsamlingsdelen undrade vi vilken typ av enheter eller sensorer Edge Impulse stöder. Jongboom nämnde att deras ekosystem av partners, allt från mikrokontrollerutvecklare till superspecialiserat kisel för maskininlärning stöder “allt under solen”.
Det finns några faktorer att tänka på när man funderar på hur ett företag som grundades 2019 kunde ha skapat ett sådant ekosystem till 2021. Det faktum att Edge Impulses grundare själva började som inbäddade utvecklare, där Shelby tidigare sålt sin IoT-startup till Arm, gav dem ett försprång, enligt Jongboom. De visste vad utvecklare ville ha, och de visste hur de skulle nå ut till hårdvaruleverantörer. Dessutom gjorde de datainmatningen öppen källkod och enkel att använda:
“Det har varit en riktigt bra historia där vi kan hjälpa kiselleverantörer att gå ut på marknaden, och efter att vi har kisel att köra på. Det betyder att vi gemensamt kan gå till kunder och ha en mycket bättre historia. Det är inte — Åh, vi har den här fantastiska maskininlärningsplattformen. Det är — vi har den här fantastiska maskininlärningsplattformen, och vi har faktiskt stöd från kiselleverantörerna som redan kommer att köra på dina brownfield-enheter. Det är verkligen fantastiskt”, konstaterade Jongboom.
Samla in data – tågmodell – distribuera modell – validera modell – upprepa
När det gäller utbildningsmodeller för maskininlärning som en del av processen, använder Edge Impulse mestadels off-the-shelf ramverk som TensorFlow. Tanken där är att abstrahera så mycket som möjligt, i syfte att göra modellgenerering så användarvänlig som möjligt för de personer som är domänexperter.
Målet, sa Jongboom, är att ge domänexperter verktyg för att samla in data, sedan analysera efter anomalier eller klassificera vad som händer eller förutsäga framtiden. Och det är inte bara maskininlärning, utan också signalbehandling, eftersom “signalbehandling är riktigt trevlig och förklarlig”.
Edge Impulses arbetshäst är TensorFlow, som används via Keras. Om du har en dataforskare ombord, bra, du kan redigera modellen precis som du vill. Om inte, behöver du inte. Så det kan vara allt från låg kod till full frihet. Och ja, den låga kodreferensen betyder att det finns en IDE i bilden här — Studion.
Edge Impulse Studio är på online-IDE, och det är också där valideringsdelen av processen också sker. Jongboom noterade att detta är väldigt viktigt i maskininlärning i allmänhet, och ännu mer i edge-applikationer. Det beror på att om du distribuerar något till en enhet eller en maskin kan det vara riktigt svårt att korrigera misstag i driftsinställningar.
Edge Impulse låter användare ladda upp riktig data för att använda för validering, och den kan också generera syntetisk data. Och det låter dem också ingripa och manuellt göra korrigeringar för falska positiva eller falska negativa, beroende på typ av applikation. Ibland är det avgörande att vissa händelser identifieras, även till priset av falska larm, och ibland är det ok att missa något.
Poängen, konstaterade Jongboom, är att skapa applikationer som är insiktsfulla och inger förtroende. Att låta någon gå igenom data med hjälp av maskininlärningsmodellen gör det mycket lättare att se de svaga punkterna.
Det sista steget i processen – implementeringen – är något utanför gränserna för Edge Impulse för närvarande. Edge Impulse matar ut källkod. Det inkluderar den matematiska modellen, normaliseringskoden, signalbehandlingskoden, maskininlärningskoden och all efterbehandlingsjustering av modellen.
Inga kompilerade binärfiler, inga royalties på det heller, sa Jongboom. Hur användaren integrerar det i sin enhet är upp till dem, fortsatte han med att tillägga. Men, noterade Jongboom, även ekosystemet spelar in i detta, och det kan vara så enkelt som två rader kod. Den delen är också öppen källkod.
Edge Impulse EON – den hemliga såsen för att optimera maskininlärningsmodeller för kanten
Den del som vi inte har pratat om hittills, och är både central för Edge Impulse och inte öppen källkod, är TinyML-delen. TensorFlow, eller något annat ramverk för den delen, kan producera modeller som inte passar bra för distribution på edge-enheter, på grund av begränsningarna på dessa enheter när det gäller kraft och bearbetningskapacitet.
Det är här Edge Impulses EON (Edge Optimized Neural) kommer in i bilden. Det här är tekniken som Edge Impulse använde för att producera maskininlärningsmodeller som är lämpliga för distribution i begränsade enheter på kanten. Det första den gör är att den tar hänsyn till alla parametrar för utplaceringsmålet och gör två saker.
För det första slår EON-tunern in. Jongboom beskrev detta “en superbred sökbas på 1000 olika modeller som vi skulle kunna prova”. EON-tuner tittar på de som får plats på utplaceringsmålenheten och väljer sedan den med högsta noggrannhet.
Sedan kompilerar EON-kompilatorn effektivt neurala nätverk till brownfield-enheter. hur det fungerar, sa Jongboom, är att maskininlärningsmodellen matas in i en tolk, som bygger en graf och kör inferensen. Men det är ett slösaktigt inbyggt system, eftersom du måste ha tolken plus alla potentiella tillstånd som tolken kan konstruera.
EON-kompilatorn kompilerar bara ner grafen till källkoden och kompilerar den sedan. Det sparar mellan 30 och 50 % av RAM-minnet, vilket är mycket, särskilt i Brownfield-enheter. Kompilatorn är tillgänglig att använda, och modellerna som människor genererar är också öppen källkod, licensierade under Apache 2.0-licensen, så inga royalties där. Vissa människor väljer faktiskt att dela sina modeller med communityn.
Edge Impulse är en mjukvara som en tjänsteplattform. Kunder betalar per projekt och månad, eller per datapipeline per månad. De betalar också för saker som mer datoranvändning, fler samarbetsfunktioner, storskalig datatransformation och integrering med ditt moln för att dra in data automatiskt och ta in den data.
Edge Impulse har för närvarande ett team på 40 personer. Målet är att använda denna serie B-finansiering för att växa till 80 under det kommande året, med tonvikt på Solutions Engineering-teamet. Jongboom sa att de också strävar efter att fortsätta växa gemenskapen och stödja och på samma sätt, och att behålla sin organiska tillväxt.
Specialfunktion
Data, AI, IoT: The Future of Retail
Den digitala transformationen av detaljhandeln ger många av fördelarna av e-handel till fysiskt, och resultaten är lika störande.
Läs mer
Datahantering