La montée de Kubernetes incarne la transition du big data pour les données flexible

0
164

Zero

Kubernetes n’est pas exactement sous le radar de la technologie. Kubecon, le principal événement pour Kubernetes aux états-unis, a été vendu pendant un certain temps. Des gens comme Sarah Wells, directeur technique pour les Opérations et la Fiabilité Du Financial Times, commentaire sur sa croissance phénoménale comme un signe que la technologie est “crossing the chasm” pour atteindre les adopteurs précoces.

Le facteur clé derrière Kubernetes popularité est sa capacité à aider les personnes dont le travail est de s’assurer que les applications sont parfaitement déployé et a couru sur le site et dans le cloud. Kubernetes est l’évolution de l’appui simple, les apatrides, les applications, à des applications pilotées par les données, et de la plate-forme de données de fournisseurs de la prise de note.

Aussi: Kubernetes etcd données projet rejoint CNCF

ZDNet a parlé avec deux des pionniers de la transition de big data de données flexible, DataStax et hortonworks a. Leurs idées nous aider à la carte où nous en sommes sur ce chemin.

Big Data de Données Flexible

C’est pas un secret: le Big data comme nous le savons, il est mort. Pas que les données de volume, variété, vélocité, et la véracité sont montrer le moindre signe de la rupture — au contraire. C’est juste que les réalités de la technologie sous-jacente ont changé, et avec eux, les architectures et l’économie sont en train de changer.

Hadoop, par exemple, qui a été l’enfant d’affiche du big data ère, a été construite dans un monde avec différentes hypothèses fondamentales que le monde dans lequel nous vivons aujourd’hui. Un monde dans lequel la latence du réseau a été un goulot d’étranglement majeur, de cloud et de stockage n’était pas une option de la concurrence. Dans ce monde, la plupart des données sur site, et de s’assurer de données a été co-situé à calculer pour éviter d’avoir à les déplacer à fait beaucoup de sens.

Aujourd’hui, la latence du réseau est moins un problème pour les fournisseurs de cloud, et il y en a plus de choix, donc on parle de multi-cloud. En outre, pour une série de raisons, de nombreuses organisations sont également déployer leurs propres clouds privés sur les lieux, nous parlons donc bien de cloud hybride. Nous sommes face à une situation dans laquelle des données est toujours grand, mais il doit aussi être flexible.

band-20861920.jpg

Le Big Data ne veut plus dire grand chose. De données a été grand, et seulement de plus en plus importants, pour un certain temps. Les données d’aujourd’hui doit aussi être flexible en termes d’options de stockage.

Les Applications qui génèrent et utilisent les données doivent être déployés dans le multi-cloud et les environnements de cloud hybrides de façon transparente. C’est où les conteneurs — et Kubernetes — entrée. Vous pouvez penser à des conteneurs comme un fichier zip pour les applications, et Kubernetes comme un système d’exploitation qui fait en sorte que tous les conteneurs peuvent avoir les ressources dont ils ont besoin pour s’exécuter.

Les nuages ont été en grande partie construit sur l’abstraction de la machine virtuelle. Une machine virtuelle est une couche sur le dessus du matériel qui émule une machine physique avec un système d’exploitation — sur lequel les applications peuvent être déployées. Le problème avec cette approche, cependant, est qu’il n’est pas fine, et il introduit les dépendances.

Si l’application A besoin de la version 1 de la bibliothèque de l’X pour fonctionner, et l’application B besoins de la version 2, ce n’est pas si facile à gérer. Et si Une application se bloque, il y a une chance qu’il va mettre à bas l’ensemble de la machine virtuelle, touchant de l’application B aussi. L’idée était donc de tout inclure une application doit s’exécuter dans un conteneur, sans dépendances externes.

Aussi: Canonical fait Kubernetes se déplace

D’abord, pour garder les choses simples, les conteneurs ont été conçus pour les éphémères applications seulement: durée de vie Relativement courte des applications qui n’ont pas besoin de stocker l’état. Mais comme les conteneurs sont de plus en plus populaire comme un moyen d’homogénéiser le déploiement de l’application à travers le multi-cloud et le cloud hybride, nous avons atteint un point d’inflexion. Kubernetes a augmenté comme le standard de facto du système d’exploitation pour le cloud ère.

Kubernetes aide à orchestrer des conteneurs: Il fournit les ressources dont ils ont besoin, et de la gestion de leur cycle de vie. Comme ayant apatrides applications annule la promesse d’un système d’exploitation pour le cloud, les conteneurs ont commencé à ajouter des mécanismes de soutien des applications globales. Plate-forme de données fournisseurs allez avec le flux, et le portage de leurs plates-formes à exécuter sur Kubernetes.

Allez cloud native

Saumitra Buragohain, vice-président de la Gestion Produit chez hortonworks a, l’un des principaux Hadoop vendeurs ont récemment fusionné avec Cloudera, a noté que les entreprises exécutent souvent des apatrides services sur Kubernetes:

“Quatre-vingts pour cent des applications sur Kubernetes sont apatrides, et comme persistante de la technologie de stockage pour les conteneurs mûrit, plus PostgreSQL ou MySQL va commencer à être déployé sur Kubernetes conteneurs.

Lorsque cela se produit, toutes les parties de la micro-architecture de services peuvent alors être hébergé sur Kubernetes, qui est un chemin d’évolution. Il y a aussi les mesures de sécurité de la pratique qui a été conçu pour bare-metal et que les applications sont déployées sur les conteneurs, les outils existants doivent évoluer. Ainsi, la Kubernetes éco-système va continuer à évoluer et c’est la raison pour laquelle nous avons jeté notre chapeau à participer dans le Cloud Native Calcul de Fondation (CNCF).”

hybrid-cloud-comparison.png

Le cloud hybride et multi cloud stratégies sont les nouvelles de la normale, et la base de données de la charge de travail à graviter vers eux. Image: Tom est IL Pro

Mais le PostgreSQLs et MySQLs du monde ne sont pas tous là pour se déployer sur Kubernetes. DataStax Entreprise (DSE), une base de données propriétaire basé sur l’open source Cassandra est une base de données NoSQL, mais qui ne peuvent pas faire beaucoup de différence à la fin. Au moins en termes de la fin pour objectif d’aborder les multi-cloud et les environnements de cloud hybrides pour le déploiement.

Aussi: Red Hat mélanges Kubernetes dans Red Hat OpenStack Platform 14

Kathryn Erickson, directeur des Partenariats Stratégiques chez DataStax, a noté que Kubernetes est un excellent exemple de l’open source dans l’action:

“La communauté et les fournisseurs de soutien Kubernetes fourni une solution révolutionnaire de mise à l’échelle apatrides apps. La prochaine étape logique est de simplifier la gestion des infrastructures par l’intégration de la base de données backends l’appui de ces apatrides applications dans la même orchestration de la couche.

Nous voyons la communauté de répondre à cette demande et l’évolution du projet d’appui à la plus dynamique de services. Ce qui a impliqué de multiples approches et parfois faux départs, mais c’est la nature du développement communautaire et du Kubernetes convergent sur une histoire couronnée de succès ici.”

DataStax faisait partie d’une initiative lancée par la Mésosphère sous le nom de Conteneur 2.0 quelques années en arrière. À en juger par le fait que la Mésosphère, a rejoint le Kubernetes camp, en ajoutant le support de son DC/plate-forme OS, l’initiative n’a probablement pas décoller. La chose importante ici, cependant, n’est pas tant de savoir si c’est DC/OS ou Kubernetes que devient le système d’exploitation cloud, mais plus afin que de telles options existent.

Défis et opportunités

Le portage de quelque chose comme Hadoop ou DSE pour travailler sur Kubernetes ne sera pas indolore. Buragohain concédé il y a eu des défis en cours de route. Il dit que certains sont traités et certains sont encore à régler, et c’est là une occasion de mensonges. Buragohain noté le stockage persistant, de la planification, de la sécurité, et la mise en réseau comme les principaux défis à travailler sur”

“Le manque de stockage persistant a été d’une faiblesse connue de conteneurs depuis maintenant trois ans et il y a eu de nombreuses activités en démarrage et les grands clients. Cependant, la résolution de la persistance (par exemple un bloc d’interface de stockage) doit aller de pair avec la résolution de l’échelle parce que Kubernetes est conçu pour un grand déploiement qui est résilient.

C’est pourquoi fortement d’investir dans la prochaine génération de stockage est essentielle, car elle permettra à la révision du HDFS l’architecture et les solutions de l’échelle et de plusieurs protocoles (iSCSI, NFS, S3) avec conteneur de stockage de l’interface. Il existe de nombreuses autres considérations, telles que la localité de calcul/stockage ou une forte cohérence. Par exemple, HBase est faible latence conception nécessite de calcul/stockage de co-localisé.”

Erickson a également noté que l’orchestration des applications globales est possible maintenant que Stateful Ensembles ont mûri, mais il y a encore certaines tâches qui sont plus faciles à automatiser les uns que les autres:

Aussi: Red Hat présente Kubernetes Opérateurs de logiciels outils de développement

“L’ajout d’un nœud est simple, mais l’enlever avec un état de nœud nécessite une meilleure intégration pour s’assurer que Kubernetes gracieusement poignées de redistribution de ce nœud de données.

Un autre point douloureux que nous avons est que l’amélioration des points de DSE peut être aussi simple que des conteneurs de remplacement, alors que les principales mises à jour nécessitent supplémentaires orchestration, qui varie selon les parties de la base de données d’un client a activé. Essentiellement, toute l’automatisation de la base de données opérationnelle des tâches exige non seulement une compréhension profonde de la DSE, mais aussi de Kubernetes.”

Il peut être utile de noter ici que la façon Kubernetes est différent d’un “régulier” du système d’exploitation est qu’il est basé sur différentes métaphores — les événements, les ruisseaux, les files d’attente et les blocs. Kubernetes est fondamentalement asynchrone. Par conséquent, la question de la planification de l’emploi, par exemple, doit être résolue dans un cadre différent.

dtcdnohxcairakm.jpg

Kubernetes est construit sur un événement piloté par métaphore. Cela signifie qu’un certain nombre de choses doivent être réinventé à travailler sur elle. Image: Michael Gasch

Dans le big data monde, dit Buragohain, les clients ont les analystes d’affaires en cours d’exécution interactive sous-deuxième requêtes de reporting, d’ingénierie des données de l’exécution d’un lot de travail ETL, ou des données scientifiques très GPU intensif modèle d’apprentissage, de formation, et ils ont tous des besoins différents:

“L’élastique paradigme doit également être pris en charge, comme des milliers de big data les travaux sont exécutés dans un partage multi-locataire de cluster. Hortonworks a a investi dans le monde les plus endurcis planificateur, Apache FIL, de fournir des files d’attente pour la soumission de travaux. Au fil des ans, nous avons investi dans diverses techniques telles que la file d’attente de priorité, min/max de la capacité, l’affinité anti-affinité etc.

Celles-ci ont été durcies, avec des années de déploiements de production dans certaines des plus grandes bases d’installation. Kubernetes ne dispose pas d’une capacité planificateur comme le FIL et nous voyons une opportunité pour nous-mêmes.”

Buragohain a ajouté qu’en tant que clients de passer d’un métal nu serveurs conteneurs du monde, existant stratégies de pare-feu ne peut pas fonctionner, donc un paradigme de sécurité pour le nouveau conteneur monde est sans aucun doute nécessaire.

Aussi: Kubernetes la première grande faille de sécurité découverte

En termes de réseau, il a noté, les conteneurs ne peuvent pas parler à d’autres contenants en différentes machines sur des réseaux moins un réseau de superposition est créé – à la différence d’une machine physique ou virtuelle avec un pile de réseau:

“Kubernetes a fait un bon travail dans la création d’un conteneur normalisé interface réseau de sorte que les conteneurs peuvent tirer profit de tiers software defined networking cadre comme Calico. Cela exige maintenant ceux qui travaillent avec le serveur, les conteneurs, les réseaux et les applications à travailler plus étroitement ensemble.

Quand à soutenir les Grands les charges de Données sur Kubernetes, les entreprises ont besoin d’investir dans un récipient d’interface réseau et assurez-vous que toutes les charges de travail de travail à la fin à travers le réseau/sécurité/stockage/conteneurs”.

Aller de l’avant

Les deux DataStax et hortonworks a semblent converger sur la convergence: Ils notent que, pour que quelque chose comme un nuage natif du système d’exploitation à émerger, permettant big data pour devenir flexibles de données, de nombreux aspects doivent être résolus. Pour que cela fonctionne, à son tour, le consensus et la coordination sera nécessaire. Cela pourrait également impliquer des compromis?

Existe-il une sorte de best practices, ou potentiellement standard, l’évolution de l’ (sans doute) des expériences communes de différents fournisseurs de données dans leur Kubernetes voyage? Ou sommes-nous plus de chances de voir des solutions propriétaires venant de certains fournisseurs dans ce domaine?

DOIT LIRE

Le PDG de Google vante les mérites d ‘”intégrité” de produits de l’avant de la Maison de témoignage (CNET)Comment déployer votre premier pod sur un CentOS Kubernetes (TechRepublic)Google se retire de la compétition pour $10 MILLIARDS Pentagone contrat de nuage (CNET)Comment faire pour installer un Kubernetes cluster sur CentOS 7 (TechRepublic)

Erickson a dit DataStax n’est pas de faire des compromis pour s’exécuter sur Kubernetes, mais en constante évolution pour répondre à la demande des clients dans cet espace: “Fournissant des images Docker est un début, mais nous avons aussi vient de sortir un métriques collector qui regroupe DSE métriques et s’intègre avec les solutions de surveillance comme Prométhée et Grafana.

Erickson ajouté: “Nous sommes également aider les clients à prendre des mesures en vue Kubernetes en leur prodiguant des conseils sur l’utilisation de courtiers qui font de DSE d’une découvrable de service dans Kubernetes sans une intégration en profondeur.”

datafragmentation.png

Une multitude d’approches différentes, et les vendeurs, doivent converger pour faire un nuage-système d’exploitation natif de travail. Image De: Martin Kleppman

Buragohain de noter que Kubernetes est en grande partie un effort de la communauté fondée sur la collaboration à travers une grande variété de technologies de mise en réseau/stockage/de sécurité), il y a donc un net avantage ici pour les vendeurs avec un modèle open source.

“C’est la raison pour laquelle nous souhaitons participer à la CNCF et d’aider l’ensemble de la communauté avec un grand centré sur les données de l’architecture, basé sur Kubernetes,” Buragohain dit.

Erickson croit Kubernetes deviendra un outil important pour favoriser les pour sans serveur et architectures d’applications, qui finira par dominer la façon dont les utilisateurs interagissent avec les bases de données:

“Pour l’orchestration de la base de données elle-même, que nous allons mener avec l’open source Kubernetes de l’outillage et des conseils qui peuvent être adaptés pour travailler au sein de notre Entreprise Partenaire technologique implémentations client demande le justifie.

Pour la base de données de cloud offres, le sous-jacent d’orchestration de matière en moins car il est transparent pour les utilisateurs finaux. Comme Kubernetes mûrit, base de données de sociétés remplacera archaïque automatisation des backends avec Kubernetes.

En particulier, il y a beaucoup de demande pour les hybrides technologie de base de données qui peut fonctionner de la même façon sur site et dans le cloud, et Kubernetes peuvent jouer un grand rôle dans l’activation d’automatisation des opérations dans les deux mondes.”

Précédente et de la couverture liée:

Bitnami Kubernetes Production d’Exécution publié

Voulez un digne de confiance, complet Kubernetes paquet qui n’est pas lié à un fournisseur spécifique? Alors vous devriez en parler à Bitnami.

Au-delà de Kubernetes: Istio service réseau mesh

Kubernetes rend la gestion des conteneurs sur le cloud est plus facile, et Istio le rend encore plus fort par l’ajout d’un réseau de services de maillage.

VMWare acquiert Heptio dans l’entreprise Kubernetes adoption pousser

VMWare espère que cette acquisition va accélérer l’intégration de solutions de cloud dans l’entreprise.

Cloud Foundry embrasse Kubernetes

Kubernetes maîtrise de cloud de gestion de conteneurs prend un autre pas en avant.

Google mains hors de contrôle de Kubernetes des ressources de cloud

Cloud Native de l’Informatique de la Fondation des membres de la communauté sera de gérer le Kubernetes du projet les ressources du cloud, avec l’aide de 9 millions de dollars de subvention de la part de Google.

Rubriques Connexes:

Cloud

Big Data Analytics

L’Innovation

CXO

L’Intelligence Artificielle

Des Logiciels D’Entreprise

0