IBM Clouds serverløse veikart går fra suppe til nøtter

0
115

 Tony Baer (dbInsight)

Av Tony Baer (dbInsight) for Big on Data | 8. september 2021 – 12:00 GMT (13:00 BST) | Tema: Big Data Analytics

serverless.jpg

Serverløs databehandling har kommet langt siden den var ydmyk, med programmering av enkle funksjonstjenester som vanligvis implementeres i lette web- eller mobilapper. I en nylig orientering med analytikere gjennomgikk IBM planene for serverløse tjenester i nettskyen, og fremtiden peker på nesten det motsatte av enkle funksjoner: applikasjoner for kompleks superdatamaskin.

Det er en del av en pågående utvidelse av IBM Cloud Code Engine, som først ble lansert tidligere i år, for å bli en bred plattform for automatisering av distribusjon og kjøring av kode på tvers av et bredt spekter av brukstilfeller, fra funksjoner til PaaS, batchjobber og containere -som en tjeneste. Som vi vil merke nedenfor, er utvidelsen til superdatamaskiner et markert skifte fra den langt ydmykere opprinnelsen til serverløs databehandling. Men også en del av veikartet er at motoren skal omfatte et komplett spekter av tjenester, som starter med funksjoner som en tjeneste som IBM har tilbudt i en årrekke.

Serverless har alltid handlet om enkelhet. I utgangspunktet identifiserte den eliminerer behovet for utviklere for å tilby eller skalere infrastruktur. Den veiledende antagelsen er at utviklere må være dyktige i dataspråkene du velger – hovedsakelig Java, JavaScript, Python – men de skal ikke bekymre seg for å sette opp eller administrere distribuert infrastruktur, for ikke å nevne internene til Kubernetes (K8s).

Som nevnt ovenfor tilbyr IBM allerede det grunnleggende: funksjoner som en tjeneste. Det samme gjør alle de andre store skyleverandørene. Det var der serverless startet: på det tidspunktet var toppmoderne evne til å automatisk tilveiebringe og autoskalere relativt enkle, kortvarige arbeidsmengder på vareberegningsforekomster. IBMs planer for Code Engine går utover automatisk levering og automatisk skalering for automatisk å containere applikasjonen din. Og det er mer. IBMs veikart for Cloud Code Engine omfatter også en Platform-as-a-Service (PaaS) som vil containere, distribuere, skalere og kjøre kode. Under den samme paraplytjenesten vil Code Engine også støtte batchjobber, der kundene tar med jobben, og den vil distribuere, skalere og kjøre den. Det samme gjelder containere, enten som kundene utvikler eller får fra tredjeparter.

Og IBM er ute etter serverløs Code Engine for å forenkle onramp til populære open source -rammer som Ray, CodeFlare, Spark, TensorFlow, og så videre. IBMs Project CodeFlare er et åpen kildekode -prosjekt designet for å forenkle integreringen av komplekse ML- og AI -rørledninger gjennom et felles API; den er bygget på toppen av Ray -prosjektet som kommer ut av UC Berkeleys RISELab, som gir et API for å samle distribuert databehandling sat skala. Vi ga bakgrunn om Rays bane i et stykke som dukket opp på disse sidene for noen uker siden. Dette innlegget beskriver trinnene for å sette opp Ray in Code Engine; vi vil gjerne se den neste fasen, der Code Engine gir midler til å automatisere mange av disse trinnene og fjerne behovet for kommandolinjegrensesnitt.

En annen del av puslespillet er å bygge ny mellomvare som ville la AI -arbeidsmengder kjøre i hybridsky, med IBM Cloud Satellite som tiltenkt leveringsbil. Trening og inferanse (produksjon) arbeidsmengder for AI vil kreve orkestrering av flere verktøy og kjøretider.

Dette er ikke farens serverløse. Å komme til batchjobber, applikasjoner, containere og superdatamaskiner øker kompleksiteten i oppgaven for serverless. Det er ikke lenger et spørsmål om automatisk fordeling av det samme varebetegnelsen for kompakte funksjoner, for nå er arbeidsmengden like mangfoldig som den vanlige IT -eiendommen. Det er verdener med forskjeller for beregningsinstansene som automatisk blir tilveiebrakt for batchjobber mot enkle funksjoner, for ikke å nevne nevrale nettverk og massivt parallelle beregninger som kan assosieres med superdatamaskin og dype læringsarbeidsmengder. Én størrelse passer ikke til alle.

IBM har knapt vært alene om å utvide rekkevidden til serverless utover funksjoner. tjenestene som tilbys av hver av de store skyleverandørene har også utvidet seg utover funksjoner. For eksempel støtter AWS kjøring av containere, hendelsesdrevne apper og arbeidsflyter, og synkronisering av GraphQL APIer (for mobilapper). På Azure er det serverløse tjenester for databehandling, arbeidsflytorkestrering, containeriserte AI -tjenester. Google Cloud tilbyr tjenester for kjøring av containerisert og webapphosting.

Serverless har også skapt en stor tilstedeværelse i datarommet, der mange operative og analytiske dataplattformer tilbys som serverløse, enten som alternativ eller som standard. For eksempel Amazon DynamoDB og Aurora; Azure SQL Database og Cosmos DB; og Google Cloud BigQuery og Firestore tilbys serverfritt, enten som standard eller som alternativer. Det samme gjelder MongoDB og DataStax, som de siste månedene har rullet ut serverløst. Det samme gjelder datarelaterte tjenester som AWS Glue og Azure Data Factory for datatransformasjon og Amazon Kinesis og Google Cloud Dataflow for datastrømming.

Imidlertid er ingenting et ytterligere skrik fra opprinnelsen til serverless (for funksjoner) som tanken om å bringe serverless til superdatamaskin, alias høyytelsesdatamaskin eller HPC, eller på folkemunne, pinlig parallelle beregningsbelastninger. Dette er mye mer utfordrende terreng fordi datarørledninger og beregninger er langt mer komplekse og mer utfordrende å modellere. Selv om noen former for superdatamaskin bare kan kjede sammen masser av varemaskinvare, kan andre arbeidsmengder (spesielt med dyp læring) kreve mer spesialiserte forekomster, eller en blanding av varer og spesialisert silisium, minne og lagring, og så videre.

Nå skal vi toppe det: Til syvende og sist er IBMs strekkemål å gjøre kvantecomputing tilgjengelig som en serverløs tjeneste. IBM er kanskje ikke den eneste skyleverandøren som tar serverless utover sine beskjedne røtter med å distribuere funksjoner, men det er absolutt ambisiøst med å ta serverless til ekstrem beregning.

Disclosure: IBM er en dbInsight -klient.

< h3 class = "heading"> Big Data

Hvor er IBMs hybridsky -lanseringsplate? Syv måter å gjøre sanntidsteknologi reell for organisasjonen Maskinlæring på kanten: TinyML blir stor Hva skjer videre med Cloudera? McDonald's ønsker å 'demokratisere' maskinlæring for alle brukere på tvers av operasjonene

Relaterte emner:

Cloud Digital Transformation Robotics Internet of Things Innovation Enterprise Software

Av Tony Baer (dbInsight) for Stor på data | 8. september 2021 – 12:00 GMT (13:00 BST) | Tema: Big Data Analytics