×
kafka-logo.png
Misschien was het een klein wonder dat het gewicht van een paar ZDnet bloggers niet zinken van de pier op die Kafka Top dreef gisteren, maar er is weinig twijfel dat Kafka-technologie is veel meer overeind. Samenvloeiende de meest recente jaarlijkse Kafka onderzoek, gepubliceerd in juni, vond meer dan 90 procent van de respondenten geacht Kafka als missie-kritisch naar hun data-infrastructuur, en dat query ‘ s op Stack Overflow groeide met meer dan 50 procent gedurende het jaar.
Een paar jaar terug, hebben we gekeken naar hoe Kafka naar voren als de big data firehose. Fast forward naar het heden, en nu, zelfs AWS heeft gekregen in de wet, de invoering van een eigen managed Kafka dienst te gaan tegen zijn eigen Kinesis. Met de recente introductie van DocumentDB, AWS is niet sentimenteel over het beschermen van de eigen aanbod als genoeg klanten vraag open source. Ook Google Cloud biedt de Dataflow van de dienst voor het bouwen van gedistribueerde gegevens pijpleidingen, heeft ook een partnerschap met Samenvloeiende voor haar managed hosting Kafka service.
Groot op Gegevens van collega Andrew Brust bedekt de nieuwste Samenvloeiende 5.2 platform release van gisteren, met de nieuwste release van het toevoegen van een aantal van de ontwikkelaar goodies zoals het maken van C++, Python, Ga, en .NET dezelfde eerste klas burger status lang genoten door Java.
De vraag is dus, gezien het feit dat Kafka is uitgegroeid tot de de facto standaard motor voor gedistribueerde big data, messaging, waar komt Samenvloeiing van hier ga?
Rekening houdend met de populariteit, Samenvloeiende samen met andere open source-leveranciers in het oprichten van zijn eigen licentie muren van vorig jaar te houden op de cloud jongens van het maken van geld op zijn eigen IP. Ja, er is de gebruikelijke gratis developer edition, waar u kunt monteer de volledige Samenvloeiing stack voor een enkele makelaar in uw sandbox. Buiten dat, is er de Samenvloeiing van de Gemeenschap licentie die het mogelijk maakt de typische open source rechten, behalve dat je niet kan omdraaien en bieden uw eigen SaaS-cloud service. Dat is voor functies zoals KSQL, connectoren, schema-register, en de REST proxy. En dan is er de eigen Samenvloeiende Enterprise-licentie voor functies zoals de management console.
Kafka ‘ s succes heeft voortbewogen Samenvloeiende in de eenhoorn grondgebied, zo Groot op Gegevens van collega George Anadiotis gemeld, afgelopen januari. Met een frisse $125 miljoen financieringsronde van het bedrijf een waardering heeft gekregen om een gek $2,5 miljard. Dat vraagt vergelijkingen met Databricks, die zelf kreeg nog een $250 miljoen infusie van de volgende maand om de waardering voor $2,75 miljard.
Beide bedrijven lijken te worden na soortgelijke trajecten. Ze hebben beide gemaakt populaire open source technologieën die zitten in het midden van de stapel. Maar ze deed het uiteindelijk om verschillende redenen. Van de twee, Kafka is duidelijk de minder glamoureuze – het biedt de onderliggende leidingen voor het inschakelen van de soorten van gedistribueerde gegevens van pijpleidingen die zijn gebruikt voor de bouw van grootschalige real-time streaming toepassingen. Wanneer Kafka werkt, je ziet het niet, maar je ziet de dashboards die werken op het, of zie je de modellen die het consumeren van al die gegevens. Omgekeerd, Vonkje meer van de schijnwerpers, want het bevat het berekenen engines en de uitgebreide bibliotheek van kaders en algoritmen voor het genereren van de analyses. Terwijl de Vonk is niet het einde, het is veel dichter bij dan Kafka.
Als business strategieën, Databricks heeft gevolgd meer van de klassieke open core model, met de elementen buiten de runtime wordt buiten de grenzen van het Apache project, terwijl Samenvloeiende, zoals hierboven is opgemerkt, heeft een meer complexe benadering.
Als gevolg van dat meer van het spotlicht schijnt op Vonk heeft getrokken veel meer concurrentie. Spark ‘ s IOPS-intensieve karakter betekent dat het niet altijd de beste tool voor de job, in het bijzonder voor rekenintensieve diep leren modellen waar de Vonk is dat aan te passen. Er zijn kaders zoals H2O, die werken met, maar ook onafhankelijk van Spark. Ook is de machine learning diensten die worden aangeboden door cloud providers meestal bypass Vonk. En terwijl de Apache Vonk-project is gewerkt aan het verbeteren van de prestaties van R en Python programming, veel gebruikers van de Anaconda en CRAN gemeenschappen kunnen gebruik maken van andere uitvoering motoren voor het schalen van hun modellen.
Door contrast, Kafka, zitten buiten de schijnwerpers, heeft getrokken veel meer bescheiden concurrentie. Zeker, de Hadoop mensen hebben verplaatst bericht tussenhandel rechtstreeks in het cluster (MapR Beken) of hulpprogramma ‘ s die concurreren met die van Samenvloeiende (hallo Hortonworks Dataflow), maar hun aandacht deze dagen is meer gericht op het maken van hun platforms cloud-inheemse, in plaats van te proberen om te concurreren met Kafka. In plaats daarvan, de echte concurrentie is met de cloud-aanbieders die hun eigen accommodatie.
Of misschien coopetition is het meer geschikt termijn. Samenvloeiende loopt de cloud op AWS en Google Cloud (we wachten op de tijd wanneer ze live gaan op Azure), maar met Google, de relatie is meer formeel. We willen graag GCP OEM de Samenvloeiing technologie om te maken een volledig ondersteunde service naast Dataflow op dezelfde manier dat Azure Databricks is nu een officieel onderdeel van de Azuurblauwe portfolio. Hoewel we niet verwachten dat een Azuurblauwe Databricks-zoals aankondigingen te komen van Google Cloud en Samenvloeiende volgende week op VOLGENDE, we zijn nieuwsgierig om te zien wat ze hebben hun mouwen.
Big Data
AI en big data versus ethiek: Hoe zorg je ervoor dat je de kunstmatige intelligentie project is op weg de juiste manier
Wil je een data scientist? Vijf manieren om te zorgen dat die baan in de data science
Streamlio, een open-core streaming data stof voor het cloud-tijdperk
Is Google ‘ s Snorkelen DryBell de toekomst van enterprise data management?
Californië wil Silicon Valley betaalt u een data-dividend (CNET)
4 stappen naar gebruikers-buy-in voor big data (TechRepublic)
Verwante Onderwerpen:
Cloud
Digitale Transformatie
Robotica
Het Internet van Dingen
Innovatie
Enterprise Software