Apache Gnista är en enormt populär genomförandet av regelverket för kör-data teknik och lärande arbetsbelastning. Det driver Databricks plattform och är tillgängligt både på lokaler och moln-baserade Hadoop tjänster, som Azure HDInsight, Amazon EMR och Google Cloud Dataproc. Den kan köras på Mesos kluster.
Men vad du vill bara att köra din Gnista arbetsbelastning på en Kubernetres (k8s) kluster sans Mesos, och utan Hadoop GARN förbehåll? Medan Gnista först lagt Kubernetes-specifika funktioner i sin 2.3 utsläpp och förbättrade dem i 2.4, att få Gnistan att köras på k8s, i ett fullt integrerat sätt, kan fortfarande vara en utmaning.
Kube operatör
Idag, Google, vilket skapade Kubernetes i första hand, är att tillkännage betaversionen av Kubernetes Operatör för Apache Gnista — “Gnista Operatör” för kort. Gnista Operatören Gnista för att köras på k8s kluster och därmed gör det möjligt för Spark-program-vara som de föresatt för analys, data teknik eller maskininlärning-för att distribuera dessa kluster som de skulle ha någon Gnista exempel.
Gnista Operatörens Arkitektur
Kredit: Google
Enligt Google, Spark Operatören är en Kubernetes egen kontroller som använder egna resurser för deklarativa specifikation av Gnista program; det också stöder automatisk omstart och cron-baserade, schemalagda program. Ytterligare, utvecklare, data ingenjörer och data forskare kan skapa deklarativ specifikationer som beskriver deras Gnista applikationer och använda inhemska Kubernetes verktyg (t ex kubectl) för att hantera sina ansökningar.
Få din dag
Gnista Operatör finns tillgänglig på Google Cloud Platform (GCP) Marknadsplats för Kubernetes, i form av Google-Klicka om du vill Distribuera behållare för enkel distribution till Google Kubernetes Motor (GKE). Men Spark Operatör är ett open source-projekt och kan användas till alla Kubernetes miljön, och projektet är GitHub-sida ger Rodret diagram-baserade kommandoraden instruktioner för installation.
Det ska bli intressant att se om de tycker om Amazon och Microsoft kommer att stödja och erbjuder enkel distribution av Gnista Operatör för sina egna Kubernetes tjänster (Elastisk Container Service/EKS och Azure Kubernetes Service/AKS, respektive). Detta skulle vara en bra service till sina kunder som inte vill ha overhead av en EMR, HDInsight eller Databricks arbetsyta och kluster.
Et tu, Hadoop?
Eftersom många icke-Databricks Gnista kluster har i själva verket drivs på Hadoop, utsläpp av Gnista Operatör väcker frågan om Hadoop s inflytande minskar. Men Hadoop laget inte vila heller. Till exempel den Öppna Hybrid Arkitektur Initiativ är inriktat på containerization av Hadoop. Dessutom, Hadoop 3.2 släpptes förra veckan och som, bland andra funktioner, innehåller inbyggt stöd för Tensorflow, nya anslutningar till Azure Data Sjön Lagring Gen2 och förbättrade anslutningsmöjligheter till Amazon S3 lagring.
Som vanligt, så robust konkurrens är till nytta för kunderna.
Relaterade Ämnen:
Cloud
Digital Omvandling
Robotteknik
Sakernas Internet
Innovation
Affärssystem