OctoML annoncerer den seneste udgivelse af sin platform, som eksemplificerer vækst i MLOps

0
146

George Anadiotis Skrevet af George Anadiotis, bidragydende skribent George Anadiotis George Anadiotis bidragende skribent

George har teknologi, data og medier, og han er ikke bange for at bruge dem. Han kommer fra en IT-baggrund og har haft chancen for at lære at spille mange instrumenter på vej til at blive et enmandsband og en orkestrator: At være Gigaom-analytiker, tjene Fortune 500, startups og NGO'er som konsulent, bygge og lede projekter, produkter og teams i alle størrelser og former og involverer sig i blandt andet prisvindende forskning.

Fuld biografi udgivet i Big on Data den 16. december 2021 | Emne: Kunstig intelligens

Benchmark og implementer dine maskinlæringsmodeller på AWS, Azure og Google cloud eller på kanten på AMD, Arm, Intel og Nvidia hardware. Forbedre ydeevnen, og brug open source-frameworks såsom ONNX Runtime, TensorFlow og TensorFlow Lite og TVM.

Det er OctoML's tilbud i en nøddeskal. Vi synes, det tegner et repræsentativt billede af nutidens landskab i AI-applikationsimplementering, et domæne også kendt som MLOps. Vi har identificeret MLOps som en vigtig del af det igangværende skift til maskinlæringsdrevne applikationer og introducerede OctoML i marts 2021 i anledning af deres Series B-finansieringsrunde.

Lanceret i dag på TVMcon 2021, konference omkring open source Apache TVM rammen til acceleration af maskinlæring, bringer OctoMLs nye udgivelse en række nye funktioner. Vi talte med OctoMLs administrerende direktør og medstifter Luis Ceze for at diskutere OctoML's fremskridt, som en proxy for MLOps-fremskridt som helhed.

Overstiger forventningerne

Den første ting at bemærke i denne fremskridtsrapport af slagsen er, at OctoML har overskredet de mål, der blev fastsat af Ceze i marts 2021 Ceze bemærkede dengang, at målene for virksomheden var at vokse sit antal ansatte, udvide til kanten og gøre fremskridt i retning af at tilføje støtte til træning af maskinlæringsmodeller, ud over slutninger, som allerede er understøttet.

Alle disse mål blev opfyldt i et eller andet omfang, med understøttelse af træning af maskinlæringsmodeller, der for nylig blev dækket i dybden af ​​ZDNets egen Tiernan Ray. Ceze sagde, at OctoML gør gode fremskridt på den front, med køreplanen at frigive dette på OctoML-platformen på et tidspunkt i 2022.

Hvad der aldrig blev opført som et mål, men alligevel skete, var endnu en finansieringsrunde. Dette fandt sted i november 2021, og OctoML modtog $85 millioner i en serie C-runde. Som Ceze bemærkede, er det et tegn i tiden. Vi har bogstaveligt talt mistet tællingen af ​​de tilsyneladende uendelige finansieringsrunder i AI-området på det seneste. Ceze sagde, at selvom OctoML ikke søgte at rejse flere penge, besluttede de, at det ville hjælpe dem med at vokse hurtigere.

Og de voksede. OctoML overskred sine mål med hensyn til rekruttering, har nu et antal ansatte på over 100 og fortsætter med at vokse. Dette er bemærkelsesværdigt i betragtning af den svære kombination af ekspertise inden for maskinlæring og hardware, som OctoML leder efter. Lad os se, hvad OctoML ellers har opnået, og hvilke nye funktioner det annoncerer i dag.

For det første har det udvidet valget af implementeringsmål til at omfatte Microsoft Azure-målsupport. OctoML giver nu valgmuligheder på tværs af alle tre store skyer, inklusive AWS og Google Cloud Platform, med AMD og Intel CPU'er og Nvidia GPU'er som målmuligheder i hver sky.

1621981355-img-18.png

OctoML's skiftvækst kan ses som en proxy for MLOps som helhed

OctoML

Interessant nok udgav OctoML også for nylig nogle eksperimenter med Apples M1-processor. Vi spurgte Ceze, om support til det er på vej, og om support til kommende hardwareleverandører som Blaize, Graphcore eller Samba Nova også er på køreplanen.

Ceze svarede, at målet med M1-øvelsen var at vise, at OctoML nemt kan ombord på ethvert hardwaremål, uanset om dette sker i samarbejde med leverandøren eller uafhængigt. Understøttelse af M1 eller ethvert andet hardwaremål vil blive tilføjet på markedsdrevet basis. De fleste af de kommende leverandører er opmærksomme på OctoML, og mange af dem pinger virksomheden for at arbejde med dem eller gøre det på egen hånd, fortsatte han med at tilføje.

Den anden front, hvor OctoML er udvide sin støtte til er kanten. OctoML har nu understøttelse af Nvidia Jetson AGX Xavier og Jetson Xavier NX til at gå sammen med Arm A-72 CPU'er, der bruger 32 og 64 bit OS'er. Ceze bekræftede, hvad vi også har bemærket – der er en enorm vækst i efterspørgslen efter edge machine learning-applikationer.

Flere accelerationsmotorer, flere valgmuligheder

På softwaresiden annoncerer OctoML udvidet modelformatunderstøttelse, der inkluderer ONNX, TensorFlow Lite og flere TensorFlow-modelpakkeformater, så brugere kan uploade deres trænede modeller uden konvertering. Men det er ikke alt, der er til det.

Derudover understøttes de respektive nye accelerationsmotorer – ONNX Runtime, TensorFlow og TensorFlow Lite – nu ud over OctoMLs “native” TVM-understøttelse. På denne måde, sagde Ceze, kan brugerne sammenligne og kontrastere og vælge, hvilken de vil bruge.

Dette er en afvigelse fra, hvad der tidligere var en tæt kobling mellem open source Apache TVM-projektet og OctoML's tilbud. I det væsentlige tilbød OctoML software-as-a-service-versionen af ​​TVM. Nu tilbyder OctoML også yderligere valgmuligheder med hensyn til accelerationsmotorer. Brugere, bemærkede Ceze, har nu mulighed for at lave en meget omfattende benchmarking af deres arbejdsgange:

“Du uploader modellen, og så kan du vælge, hvilke hardwaremål du vil have i én enkelt arbejdsgang, som kan være mod alle skyer eller specifikke kantmål. Og så udfører vi optimeringen eller tuning-pakningen benchmark og leverer disse omfattende data for at hjælpe du træffer beslutninger om, hvordan du vil implementere i skyen eller dine edge-enheder”, sagde Ceze.

Derudover kommer OctoML nu med det, de kalder “en præ-accelereret Model Zoo”. Med andre ord, en samling af maskinlæringsmodeller, som inkluderer et computersyn (objektklassificering og billeddetektion), der inkluderer Resnet, YOLO, Mobilenet, Inception og andre, samt et Natural Language Processing (NLP) sæt, der inkluderer BERT , GPT-2 og mere.

Hvad angår Apache TVM-fællesskabet, bemærkede Ceze, at der er en vækst på 50 % sammenlignet med sidste år, og momentum er ikke aftagende. Ceze nævnte også nogle interessante eksempler på anvendelse af OctoML, herunder Microsoft Watch For og Woven Planet Holdings.

Alt i alt, i betragtning af at det kun er gået 6 måneder siden OctoML's Series B, har væksten været bemærkelsesværdig. Vi ser det som et eksempel på væksten i MLO'er som helhed, og vi forventer, at dette vil fortsætte på denne bane i en overskuelig fremtid.

Kunstig intelligens

Fjernarbejdende jobovervågning er i stigning. Virkningen kan være ødelæggende Piratjagt drone overvåger kriminalitet på åbent hav Syv måder at gøre den bredere virksomhed komfortabel med AI Hvad er AI? Alt hvad du behøver at vide om kunstig intelligens-datacentre | Digital transformation | CXO | Internet of Things | Innovation | Enterprise Software