George Anadiotis bidragande skribent
George har teknik, data och media, och han är inte rädd för att använda dem. Han kommer från en IT-bakgrund och har fått chansen att lära sig spela många instrument på vägen mot att bli ett enmansband och en orkestrator: att vara en Gigaom-analytiker, tjäna Fortune 500, startups och icke-statliga organisationer som konsult, bygga och leda projekt, produkter och team av alla storlekar och former, och engagera sig i prisbelönt forskning bland annat.
Fullständig bio publicerad i Big on Data den 16 december 2021 | Ämne: Artificiell intelligens
Benchmarkera och distribuera dina maskininlärningsmodeller på AWS, Azure och Googles moln, eller på kanten, på AMD, Arm, Intel och Nvidia hårdvara. Förbättra prestanda och använd ramverk med öppen källkod som ONNX Runtime, TensorFlow och TensorFlow Lite och TVM.
Det är OctoMLs erbjudande i ett nötskal. Vi tycker att det målar upp en representativ bild av dagens landskap i AI-applikationsdistribution, en domän som även kallas MLOps. Vi har identifierat MLOps som en nyckeldel i det pågående övergången till maskininlärningsdrivna applikationer och introducerade OctoML i mars 2021, med anledning av deras Serie B-finansieringsrunda.
Lanserades idag på TVMcon 2021, konferens runt Apache TVM-ramverket med öppen källkod för acceleration av maskininlärning, ger OctoMLs nya version ett antal nya funktioner. Vi träffade OctoMLs vd och medgrundare Luis Ceze för att diskutera OctoML:s framsteg, som en proxy för MLO:s framsteg i stort.
Överförväntningar
Det första att notera i denna lägesrapport är att OctoML har överträffat de mål som sattes upp av Ceze i mars 2021. Ceze noterade då att målen för företaget var att växa sitt antal anställda, expandera till kanten och göra framsteg för att lägga till stöd för utbildning av maskininlärningsmodeller, bortom slutledningar som redan stöds.
Alla dessa mål uppfylldes i någon eller annan utsträckning, med stöd för utbildning av maskininlärningsmodeller som täcks på djupet av ZDNets egen Tiernan Ray nyligen. Ceze sa att OctoML gör goda framsteg på den fronten, med färdplanen att släppa detta på OctoML-plattformen någon gång under 2022.
Det som aldrig listades som mål, men som ändå hände, var ytterligare en finansieringsrunda. Detta ägde rum i november 2021 och OctoML fick 85 miljoner USD i en serie C-omgång. Som Ceze noterade är det ett tecken i tiden. Vi har bokstavligen tappat räkningen på de till synes aldrig sinande finansieringsrundorna i AI-utrymmet på sistone. Ceze sa att även om OctoML inte var ute efter att samla in mer pengar, bestämde de sig för att det skulle hjälpa dem att växa snabbare.
Och de växte. OctoML överträffade sina mål när det gäller rekrytering, har nu ett antal anställda på över 100 och fortsätter att växa. Detta är anmärkningsvärt med tanke på den svåra att hitta kombinationen av expertis inom maskininlärning och hårdvara som OctoML letar efter. Låt oss se vad mer OctoML har åstadkommit och vilka nya funktioner det tillkännager idag.
Först har det utökat valet av distributionsmål till att inkludera Microsoft Azure-målstöd. OctoML erbjuder nu valmöjligheter för alla tre stora moln, inklusive AWS och Google Cloud Platform, med AMD- och Intel-processorer och NVIDIA GPU:er som målalternativ i varje moln.
OctoML:s skifttillväxt kan ses som en proxy för MLOps i stort
OctoML
Intressant nog publicerade OctoML nyligen några experiment med Apples M1-processor också. Vi frågade Ceze om stöd för det kommer, och om stöd för kommande hårdvaruleverantörer som Blaize, Graphcore eller Samba Nova också finns på färdplanen.
Ceze svarade att målet med M1-övningen var att visa att OctoML enkelt kan ta med vilket hårdvarumål som helst, oavsett om detta görs i samarbete med leverantören eller oberoende. Stöd för M1, eller för något annat hårdvarumål, kommer att läggas till på marknadsbaserad basis. De flesta av de kommande leverantörerna är medvetna om OctoML, och många av dem pingar företaget för att arbeta med dem, eller göra det på egen hand, fortsatte han med att tillägga.
Den andra fronten där OctoML utökar sitt stöd för är kanten. OctoML har nu stöd för NVIDIA Jetson AGX Xavier och Jetson Xavier NX för att gå tillsammans med Arm A-72-processorer som använder 32 och 64 bitars operativsystem. Ceze verifierade det vi också har noterat – det finns en enorm tillväxt i efterfrågan på avancerade maskininlärningsapplikationer.
Fler accelerationsmotorer, fler valmöjligheter
På mjukvarusidan tillkännager OctoML utökat modellformatstöd som inkluderar ONNX, TensorFlow Lite och flera TensorFlow-modellpaketeringsformat, så att användare kan ladda upp sina tränade modeller utan konvertering. Men det är inte allt som finns.
Dessutom stöds nu respektive nya accelerationsmotorer – ONNX Runtime, TensorFlow och TensorFlow Lite – förutom OctoML:s “native” TVM-stöd. På så sätt, sa Ceze, kan användare jämföra och kontrastera och välja vilken de vill använda.
Detta är en avvikelse från vad som tidigare var en tät koppling mellan Apache TVM-projektet med öppen källkod och OctoMLs erbjudande. I huvudsak erbjöd OctoML programvaruversionen av TVM. Nu erbjuder OctoML även ytterligare val när det gäller accelerationsmotorer. Användare, noterade Ceze, har nu möjlighet att göra en mycket omfattande benchmarking av sina arbetsflöden:
“Du laddar upp modellen och sedan kan du välja vilka hårdvarumål du vill ha i ett enda arbetsflöde, som kan vara mot alla moln eller specifika kantmål. Och sedan gör vi optimeringen eller trimningen av förpackningens benchmark och tillhandahåller denna omfattande data för att hjälpa du fattar beslut om hur du ska distribuera i molnet eller dina edge-enheter”, sa Ceze.
Dessutom kommer OctoML nu med vad de kallar “a pre-accelerated Model Zoo”. Med andra ord, en samling maskininlärningsmodeller som inkluderar en uppsättning datorseende (objektklassificering och bilddetektering) som inkluderar Resnet, YOLO, Mobilenet, Inception och andra, såväl som en uppsättning Natural Language Processing (NLP) som inkluderar BERT , GPT-2 och mer.
När det gäller Apache TVM-communityt, noterade Ceze att det finns en tillväxt på 50 % jämfört med förra året, och momentumet avtar inte. Ceze nämnde också några intressanta användningsfall av OctoML-användning, inklusive Microsoft Watch For och Woven Planet Holdings.
Allt som allt, med tanke på att det bara har gått sex månader sedan OctoMLs serie B, har tillväxten varit anmärkningsvärd. Vi ser det som ett exempel på tillväxten av MLOps i stort, och vi förväntar oss att detta kommer att fortsätta på den här banan under överskådlig framtid.
Utvalda
Log4j-hot: Vad du behöver att veta och hur du skyddar dig själv 2022: En stor revolution inom robotteknik Covid-testning: De bästa snabbtestsatserna hemma De bästa tekniska produkterna från 2021 års datacenter | Digital transformation | CXO | Internet of Things | Innovation | Företagsprogramvara