Kubernetes (K8s), de open source container orchestration-platform, is een big deal, alle rond de industrie. En verder container-technologie per se, K8s is echt een cluster computing platform, waardoor het steeds belangrijker wordt in het big data-ruimte. Ondertussen, de grote cloud-big data-services, inclusief Amazon Web Services (AWS’) Elastische MapReduce (EMR), Microsoft ‘ s Azure, HDInsight (HDI) en Google Cloud Dataproc — tot nu toe elke Apache Vonk op van de virtuele machine op basis van Hadoop-clusters. In deze dag en leeftijd, zou het niet uitvoeren van Vonk direct op K8s clusters meer voor de hand?
Niet verrassend, Google, het bedrijf dat gemaakt K8s, denkt het antwoord op die vraag is ja. En zo, vandaag is de aankondiging van de Alpha release van Cloud Dataproc voor Kubernetes (K8s Dataproc), waardoor de Vonk om direct uit te voeren op Google Kubernetes Motor (GKE) op basis van K8s clusters. De dienst belooft om de complexiteit te verminderen, in termen van open source data components’ inter-afhankelijkheden, en de meeneembaarheid van de Spark toepassingen. Dat moet het mogelijk maken van gegevens ingenieurs, analytics experts en gegevens wetenschappers om hun Spark workloads in een gestroomlijnde manier, met minder integratie en versiebeheer gedoe.
Het rippen van GAREN
In een briefing met ZDNet, James Malone, Product Manager bij Google Cloud uitgelegd hoe Dataproc gebruikers in staat zullen zijn om het verleden met behulp van statische Hadoop/Spark distributies die alles uitvoeren op Hadoop s GAREN (“nog een andere resource manager”) en voer in plaats daarvan zuiver Vonk banen rechtstreeks op K8s. Dit aanbod bouwt voort op de Kubernetes Operator voor Apache Vonk (“Spark Operator”) dat Google weer geïntroduceerd in januari maakt Google het eerste grote cloud-provider aan te bieden een Kubernetes op basis van big data PaaS (Platform as a Service) product.
Lees ook: Google kondigt Kubernetes Operator voor Apache Vonk
De Vonk Operator gemaakt waarop Vonk op K8s mogelijk al, maar Malone legde me uit dat er er zijn goede en betere manieren om dit te doen. Terwijl de DIY-aanpak van de implementatie van Vonk naar uw eigen K8s cluster is goed, het is in wezen een IaaS (Infrastructure as a Service) aanpak. Als zodanig, het vereist een K8s vaardigheden en stelt de klant in de kosten van alles, waaronder ook software, de implementatie en het cluster onderhoud. K8s Dataproc is beter, omdat het biedt Dataproc de service level agreement (SLA), Google Cloud Platform geoptimaliseerd voor de open source-componenten en-via de Dataproc API — abstractie van de K8s details en vaardigheden eisen, het leveren van een geïntegreerd beheer en veiligheid.
Multi-cloud, multi-engine
Malone zei, er is zelfs een multi-cloud-ondersteuning spelen hier. Terwijl ik begreep niet goed hoe of wanneer dat zou schoppen in, het lijkt te betekenen dat, naast GKE, Amazon Elastic Kubernetes Service (EKS) en Azure Kubernetes Diensten (AKS) K8s clusters kan worden ondersteund, met Google ‘ s recent aangekondigde Anthos technologie ogenschijnlijk een rol spelen. En er is een ecosysteem spelen hier zo goed, waardoor 3rd party leveranciers te integreren in hun eigen componenten in K8s Dataproc container beelden en clusters.
Ondersteuning voor andere open source analytics-onderdelen, inclusief Apache Flink, Presto en Apache Druid is gepland. Malone vertelde me dat de steun voor de Apache Hive is ook mogelijk, maar dat de opvang van de volledige Hadoop stack zal lastig zijn. Dat gezegd hebbende, als ik begrepen Malone ‘ s bredere punt juist, K8s Dataproc is bedoeld om een “post-Hadoop” aanbieden, in ieder geval.
Het delen van de zorg
K8s Dataproc is mogelijk gemaakt door wijzigingen in de Dataproc service en Google-led verandert aan de open source analytics motoren zelf. De laatste wordt gecontroleerd en verbonden aan het reguliere open source takken van de motoren, waardoor het mogelijk is, in feite, voor AWS en Microsoft te implementeren vergelijkbare re-platformactie van de EMR en HDI, respectievelijk. Malone zei dat Google zou niet zijn radeloos moet dat gebeuren, aangezien het ziet zo ‘ n evolutie van de cloud, big data platforms als een zegen voor de industrie in het algemeen. Dat, op zijn beurt, is in overeenstemming met de houding ten opzichte van de vaststelling van K8s zelf, waardoor het hele ding volledige cirkel.
Verwante Onderwerpen:
Cloud
Digitale Transformatie
Robotica
Het Internet van Dingen
Innovatie
Enterprise Software