Jonathan Greig er en journalist baseret i New York City.
Fuld bio den 24. februar 2022 | Emne: IBM
IBM og Bloomberg annoncerede torsdag, at KServe tilslutter sig LF AI & Data Foundation som sit seneste inkubationsprojekt. KServe leverer en Kubernetes Custom Resource Definition til at betjene maskinlæringsmodeller på vilkårlige rammer og understøtter adskillige IBM-produkter, herunder Watson Assistant.
Bloomberg, Google, IBM, Nvidia, Seldon og andre organisationer samarbejdede med KServe Project Community for at frigive og udgive det som open source.
I et blogindlæg sagde IBMs Animesh Singh og Bloombergs Dan Sun og Alexa Griffith, at de talte på vegne af KServe-fællesskabet og udråbte LF AI & Data Foundation for sit arbejde “at opbygge et økosystem til at opretholde innovation inden for kunstig intelligens og data open source-projekter.”
Ifølge virksomhederne sigter KServe mod at løse produktionsmodeller, der tjener use cases ved at levere effektive grænseflader med høj abstraktion til almindelige ML-frameworks som TensorFlow, XGBoost, Scikit-learn, PyTorch og ONNX.
“KServe indkapsler kompleksiteten af autoskalering, netværk, sundhedstjek og serverkonfiguration for at bringe banebrydende servicefunktioner som GPU Autoscaling, Scale to Zero og Canary Rollouts til dine ML-implementeringer. Det muliggør en enkel, pluggbar og komplet historie til produktion ML-servering, herunder forudsigelse, forbehandling, efterbehandling og forklaring,” sagde Singh, Sun og Griffith.
Animesh Singh, CTO og direktør for Watson AI hos IBM, sagde, at virksomheden både er medstifter og bruger af KServe. Singh sagde, at hundredtusindvis af modeller kører samtidigt for internet-skala AI-applikationer som IBM Watson Assistant og IBM Watson Natural Language Understanding.
Også: 100 dage efter IBM splittet underskriver Kyndryl strategisk cloud-pagt med AWS
Singh tilføjede, at ModelMesh fra IBM, open source og tilgængelig som en del af KServe-projektet løser udfordringen med bekostelig containerstyring og giver dem effektivt mulighed for at køre hundredtusindvis af modeller i en enkelt produktionsinstallation med minimalt fodaftryk.
Nvidia senior direktør for produktstyring for accelereret computing Paresh Kharya forklarede, at Nvidia Triton Inference Server arbejder i låsetrin med KServe for at indkapsle kompleksiteten i implementering og skalering af AI i Kubernetes via dens serverløse inferencing-ramme.
“Nvidia fortsætter med at være en aktiv bidragyder til KServe open source-fællesskabsprojektet for at understøtte ubesværet implementering af AI-maskinlæringsmodeller i stor skala,” sagde Kharya.
KServe hjælper også Bloomberg med at udvide sin brug af AI i Bloomberg Terminal og andre virksomhedsprodukter, ifølge Bloombergs leder af AI-ingeniør Anju Kambadur. Kambadur forklarede, at Bloomberg ønsker at bevæge sig hurtigt fra idé til prototype til produktion og er nødt til at sikre, at modeller udvikler sig problemfrit, når de først er bygget til at tage højde for ændringer i data.
“Dette er vigtigt ikke kun for at bygge bedre produkter hurtigere, men også for at sikre, at vi låser op for det kreative potentiale hos vores AI-forskere uden at belaste dem med at skrive tonsvis af boilerplate-kode. I den forbindelse er jeg både begejstret og taknemmelig for, at KServe har taget imod sådanne skridt,” sagde Kambadur.
Mark Winter, softwareingeniør hos den populære sydkoreanske søgemaskine Naver Search, tilføjede, at KServe har givet dem mulighed for at modernisere deres AI-serveringsinfrastruktur og leveret de nødvendige værktøjer til at håndtere trafikskaleringsforskellene mellem dag- og natcyklusser.
“Ved at levere en standardiseret grænseflade oven på Knative og Kubernetes giver KServe vores AI-forskere mulighed for at fokusere på at skabe bedre modeller og sætte deres hårde arbejde i produktion uden at blive eksperter i at levere og administrere yderst tilgængelige backend-tjenester,” sagde Winter.
Meddelelsen kommer forud for udgivelsen af KServe 0.8, som en talsmand sagde ville have funktioner som en ny ServingRuntime-tilpasset ressource, ModelMesh multi-navneområde-afstemning, forbedret CloudEvent og gRPC-understøttelse og KServe v2 REST API-integration med TorchServe.
Ifølge talsmanden har Roadmap for v1.0 en stabiliseret API, der forener ModelMesh- og enkeltmodelserveringsimplementeringer og mere avancerede inferensgraffunktioner.
IBM
Log4j: Google og IBM efterlyser en liste over kritiske open source-projekter IBM, Linux Foundation, Clemson går sammen om en bæredygtig afgrødeinformationsplatform CISA tilføjer 15 udnyttede sårbarheder fra IBM , Microsoft og flere til at katalogisere IBM, siger Samsung, at deres chip kunne give telefoner 'ugelang' batterilevetid Big Data Analytics | Kunstig intelligens | Sky | Enterprise Software | Datacentre