OctoML kunngjør den siste utgivelsen av sin plattform, et eksempel på vekst i MLOps

0
172

George Anadiotis Skrevet av George Anadiotis, medvirkende skribent George Anadiotis George Anadiotis Bidragsforfatter

George har teknologi, data og media, og han er ikke redd for å bruke dem. Han kommer fra IT-bakgrunn og har hatt sjansen til å lære å spille mange instrumenter på veien til å bli et enmannsband og en orkestrator: å være en Gigaom-analytiker, tjene Fortune 500, startups og frivillige organisasjoner som konsulent, bygge og lede prosjekter, produkter og team i alle størrelser og former, og bli involvert i prisvinnende forskning blant andre.

Full Bio Publisert i Big on Data 16. desember 2021 | Emne: Kunstig intelligens

Benchmark og distribuer maskinlæringsmodellene dine på AWS, Azure og Google Cloud, eller på kanten, på AMD, Arm, Intel og Nvidia maskinvare. Forbedre ytelsen og bruk rammeverk med åpen kildekode som ONNX Runtime, TensorFlow og TensorFlow Lite og TVM.

Det er OctoMLs tilbud i et nøtteskall. Vi tror det tegner et representativt bilde av dagens landskap i AI-applikasjonsimplementering, et domene også kjent som MLOps. Vi har identifisert MLOps som en sentral del av det pågående skiftet til maskinlæringsdrevne applikasjoner, og introduserte OctoML i mars 2021, i anledning deres Series B-finansieringsrunde.

Lansert i dag på TVMcon 2021, konferanse rundt åpen kildekode-Apache TVM-rammeverket for maskinlæringsakselerasjon, bringer OctoMLs nye utgivelse en rekke nye funksjoner. Vi tok kontakt med OctoML-sjefen og medgründer Luis Ceze for å diskutere OctoMLs fremgang, som en proxy for MLOs-fremgang for øvrig.

Overgå forventningene

Det første å merke seg i denne fremdriftsrapporten er at OctoML har overskredet målene som ble satt av Ceze i mars 2021 . Ceze bemerket den gang at målene for selskapet var å øke antall ansatte, utvide til kanten og gjøre fremskritt mot å legge til støtte for opplæring av maskinlæringsmodeller, utover slutninger som allerede støttes.

Alle disse målene ble nådd i en eller annen grad, med støtte for opplæring av maskinlæringsmodeller som ble dekket i dybden av ZDNets egen Tiernan Ray nylig. Ceze sa at OctoML gjør gode fremskritt på den fronten, med veikartet å lansere dette på OctoML-plattformen på et tidspunkt i 2022.

Det som aldri ble oppført som mål, men skjedde likevel, var nok en finansieringsrunde. Dette fant sted i november 2021, og OctoML mottok 85 millioner dollar i en serie C-runde. Som Ceze bemerket, er det et tegn i tiden. Vi har bokstavelig talt mistet tellingen over de tilsynelatende uendelige finansieringsrundene i AI-området i det siste. Ceze sa at selv om OctoML ikke var ute etter å samle inn mer penger, bestemte de seg for at det ville hjelpe dem å vokse raskere.

Og de vokste. OctoML overskred sine mål når det gjelder rekruttering, har nå et antall ansatte på over 100, og fortsetter å vokse. Dette er bemerkelsesverdig, gitt den vanskelige å finne kombinasjonen av ekspertise innen maskinlæring og maskinvare som OctoML leter etter. La oss se hva mer OctoML har oppnådd, og hvilke nye funksjoner den kunngjør i dag.

Først har den utvidet utvalget av distribusjonsmål til å inkludere Microsoft Azure-målstøtte. OctoML gir nå valg på tvers av alle de tre store skyene, inkludert AWS og Google Cloud Platform, med AMD og Intel CPUer og Nvidia GPUer som målalternativer i hver sky.

1621981355-img-18.png

OctoMLs skiftvekst kan sees på som en proxy for MLOps for øvrig

OctoML

Interessant nok publiserte OctoML nylig noen eksperimenter med Apples M1-prosessor også. Vi spurte Ceze om støtte for det kommer og om støtte for kommende maskinvareleverandører som Blaize, Graphcore eller Samba Nova også er på veikartet.

Ceze svarte at målet med M1-øvelsen var å vise at OctoML enkelt kan ombord på ethvert maskinvaremål, enten dette gjøres i samarbeid med leverandøren eller uavhengig. Støtte for M1, eller for andre maskinvaremål, vil bli lagt til på markedsdrevet basis. De fleste av de kommende leverandørene er klar over OctoML, og mange av dem pinger selskapet for å jobbe med dem eller gjøre det på egenhånd, fortsatte han med å legge til.

Den andre fronten som OctoML er på utvide sin støtte for er kanten. OctoML har nå støtte for Nvidia Jetson AGX Xavier, og Jetson Xavier NX for å gå sammen med Arm A-72 CPUer som bruker 32 og 64 bit OS. Ceze bekreftet det vi også har lagt merke til – det er en enorm vekst i etterspørselen etter avanserte maskinlæringsapplikasjoner.

Flere akselerasjonsmotorer, flere valgmuligheter

På programvaresiden kunngjør OctoML utvidet modellformatstøtte som inkluderer ONNX, TensorFlow Lite og flere TensorFlow-modellpakkeformater, slik at brukere kan laste opp sine trente modeller uten konvertering. Men det er ikke alt.

I tillegg støttes de respektive nye akselerasjonsmotorene – ONNX Runtime, TensorFlow og TensorFlow Lite – i tillegg til OctoMLs “native” TVM-støtte. På denne måten, sa Ceze, kan brukere sammenligne og kontrastere og velge hvilken de vil bruke.

Dette er en avvik fra det som tidligere var en tett kobling mellom åpen kildekode Apache TVM-prosjektet og OctoMLs tilbud. I hovedsak tilbød OctoML programvare-som-en-tjeneste-versjonen av TVM. Nå tilbyr OctoML også flere valg når det gjelder akselerasjonsmotorer. Brukere, bemerket Ceze, har nå muligheten til å gjøre en svært omfattende benchmarking av arbeidsflytene deres:

“Du laster opp modellen, og så kan du velge hvilke maskinvaremål du vil ha i én enkelt arbeidsflyt, som kan være mot alle skyer eller spesifikke kantmål. Og så utfører vi optimaliseringen eller tuning-pakken og gir disse omfattende dataene for å hjelpe du tar avgjørelser om hvordan du skal distribuere i skyen eller edge-enhetene dine», sa Ceze.

I tillegg kommer nå OctoML med det de kaller «en pre-accelerated Model Zoo». Med andre ord, en samling av maskinlæringsmodeller som inkluderer et datamaskinsyn (objektklassifisering og bildedeteksjon) som inkluderer Resnet, YOLO, Mobilenet, Inception og andre, samt et sett med naturlig språkbehandling (NLP) som inkluderer BERT , GPT-2 og mer.

Når det gjelder Apache TVM-fellesskapet, bemerket Ceze at det er 50 % vekst sammenlignet med fjoråret, og momentumet avtar ikke. Ceze nevnte også noen interessante brukstilfeller av OctoML-adopsjon, inkludert Microsoft Watch For og Woven Planet Holdings.

Alt i alt, med tanke på at det bare har gått 6 måneder siden OctoMLs Series B, har veksten vært bemerkelsesverdig. Vi ser det som et eksempel på veksten i MLO-er for øvrig, og vi forventer at dette vil fortsette på denne banen i overskuelig fremtid.

Kunstig intelligens

Arbeidsovervåking på avstand er på vei oppover. Virkningen kan være ødeleggende Piratjakt drone overvåker kriminalitet på åpent hav. Syv måter å gjøre den bredere virksomheten komfortabel med AI Hva er AI? Alt du trenger å vite om kunstig intelligens-datasentre | Digital transformasjon | CXO | Internet of Things | Innovasjon | Enterprise Software