Apache Gnist er en enormt populær udførelse rammer for at køre data engineering og machine learning arbejdsmængder. Det beføjelser Databricks platform og er tilgængelig i både lokal og cloud-baseret Hadoop-tjenester, som Azure HDInsight, Amazon EMR og Google Cloud Dataproc. Det kan køre på Mesos klynger.
Men hvad med du bare ønsker at køre din Gnist arbejdspres på en Kubernetres (k8s) klynge sans Mesos, og uden Hadoop GARN strings attached? Mens Gnist, først tilføjet Kubernetes-specifikke funktioner i sin 2.3 udgivelsen, og forbedret dem i 2.4, at få en Gnist til at køre lokalt på k8s, i en fuldt integreret måde, kan stadig være en udfordring.
Kube operatør
I dag er Google, der har skabt Kubernetes i første omgang, er at annoncere beta-udgivelsen af den Kubernetes Operatør for Apache Gnist — “Gnist Operatør” for korte. Spark Operatør giver Gnisten til at køre lokalt på k8s klynger og dermed giver Gnist applikationer-det være de agtede til analytics, data, teknik eller machine learning — at implementere disse klynger, som de ville enhver Gnist eksempel.
Spark Operator ‘ s Arkitektur
Kredit: Google
Ifølge Google, Spark Operatør er en Kubernetes custom-controller, som anvender brugerdefinerede ressourcer for deklarativ specifikation af Gnist-programmer, er det også understøtter automatisk genstarte og cron-baseret, planlagte programmer. Yderligere, udviklere, data ingeniører og data kan forskerne skabe deklarativ specifikationer, der beskriver deres Gnist programmer og bruge indfødte Kubernetes værktøj (fx kubectl) til at administrere deres applikationer.
Få din dag
Spark Operatøren er tilgængelig på Google Cloud Platform (GCP) Markedsplads for Kubernetes, i form af Google-Klik for at Indsætte containere, for at lette installationen for at Google Kubernetes Motor (GKE). Men Spark Operatøren er et open source-projekt, og kan anvendes til enhver Kubernetes miljø, og projektet er GitHub hjemmeside giver Roret chart-baseret kommandolinje instruktioner til installationen.
Det vil være interessant at se, om de kan lide af Amazon og Microsoft vil godkende og tilbyder enkel implementering af Gnist-Operatør til deres egen Kubernetes tjenester (Elastisk Container Service/EKS og Azure Kubernetes Service/AKS, henholdsvis). Det ville være en god service til deres kunder, som ikke ønsker at have overhead af en EMR, HDInsight eller Databricks arbejdsplads og klynge.
Et tu, Hadoop?
Da mange ikke-Databricks Gnist klynger har faktisk køre på Hadoop, frigivelse af Gnist Operatør rejser spørgsmålet om, hvorvidt Hadoop ‘ s indflydelse er aftagende. Men Hadoop-teamet er ikke hvile. For eksempel, den Åbne Hybrid Arkitektur Initiativ er fokuseret på containerization af Hadoop. Desuden Hadoop 3.2 blev frigivet i sidste uge, og, blandt andre funktioner, der inkluderer understøttelse for Tensorflow, nye forbindelse til Azure Data Søen Opbevaring Gen2 og udvidede tilslutningsmuligheder til Amazon S3 storage.
Som sædvanlig, sådan robust konkurrence til fordel for kunder.
Relaterede Emner:
Cloud
Digital Transformation
Robotteknologi
Tingenes Internet
Innovation
Virksomhedens Software