Apache Spark è un molto popolare framework di esecuzione per l’esecuzione di dati ingegneria e di apprendimento automatico dei carichi di lavoro. Esso alimenta il Databricks piattaforma ed è disponibile sia on-premise e cloud-based di Hadoop servizi, come Azure HDInsight, Amazon EMR e Google Cloud Dataproc. Esso può essere eseguito in Mesos cluster di troppo.
Ma cosa si desidera eseguire la vostra Scintilla carichi di lavoro Kubernetres (k8s) cluster sans Mesos, e senza Hadoop FILATO stringhe allegate? Mentre la Scintilla prima aggiunto Kubernetes funzioni specifiche nella sua versione 2.3, e migliorate in 2.4, ottenendo Scintilla per eseguire in modo nativo su k8s, in un sistema completamente integrato di moda, può ancora essere una sfida.
Kube operatore
Oggi, Google, che ha creato Kubernetes, in primo luogo, annuncia la versione beta del Kubernetes Operatore per Apache Scintilla — “Scintilla Operatore”. Scintilla Operatore consente Scintilla per eseguire in modo nativo su k8s cluster e permette quindi la Scintilla applicazioni — si intendeva per analytics, dati di ingegneria o di una macchina di apprendimento — per la distribuzione di questi cluster come farebbero con qualsiasi Scintilla istanza.
Scintilla dell’Operatore Architettura
Credito: Google
Secondo Google, la Scintilla Operatore è un Kubernetes personalizzato controller che utilizza risorse personalizzate per dichiarativa specifica di Scintilla applicazioni; supporta il riavvio automatico e cron-based, in programma applicazioni. Inoltre, gli sviluppatori, i dati tecnici e dati gli scienziati possono creare dichiarativa specifiche che descrivono la loro Scintilla di applicazioni e l’utilizzo nativo Kubernetes utensili (ad esempio kubectl) per gestire le proprie applicazioni.
Ottenere il vostro oggi
Scintilla Operatore è disponibile sul Google Cloud Platform (GCP) Mercato per Kubernetes, in forma di Clic di Google per la Distribuzione dei contenitori, per l’implementazione di Google Kubernetes Motore (GKE). Ma la Scintilla Operatore è un progetto open source e può essere distribuito in Kubernetes ambiente, e il progetto GitHub sito fornisce Timone grafico basato su riga di comando istruzioni di installazione.
Sarà interessante vedere se il calibro di Amazon e Microsoft si approva e offre il comfort e la distribuzione della Scintilla Operatore per la loro Kubernetes servizi (Elastico Servizio Container/EKS e Azure Kubernetes Servizio/AKS, rispettivamente). Così facendo sarebbe un ottimo servizio per i clienti che non desiderano avere le spese di gestione di un EMR, HDInsight o Databricks di lavoro e di cluster.
Et tu, Hadoop?
Dal momento che molti non-Databricks Scintilla cluster hanno, infatti, eseguito su Hadoop, il rilascio di Scintilla Operatore solleva la questione se Hadoop influenza è in calo. Ma Hadoop team non è a riposo. Per esempio, l’Open Architettura Ibrida Iniziativa è incentrata sulla containerizzazione di Hadoop. Inoltre, Hadoop 3.2 è stato rilasciato la settimana scorsa e, tra le altre caratteristiche, include il supporto nativo per Tensorflow, la nuova connettività di Dati Azure Lago di Archiviazione Gen2 e connettività avanzata di Amazon S3 archiviazione.
Come di consueto, ad una forte concorrenza a vantaggio dei clienti.
Argomenti Correlati:
Cloud
La Trasformazione Digitale
Robotica
Internet delle Cose
L’innovazione
Enterprise Software