×
kafka-logotyp.png
Kanske var det ett smärre mirakel att vikten av ett par ZDnet bloggare inte sjunka piren som Kafka Toppmötet flöt i går, men det är knappast någon tvekan om att Kafka-tekniken är mycket flytande. Sammanflytande: s senaste årliga Kafka-undersökningen, som offentliggjordes i juni förra året, som finns över 90 procent av de tillfrågade anses Kafka som kritiska till sina uppgifter infrastruktur, och att frågor som på Stack Overflow ökade med över 50 procent under året.
För ett par år tillbaka, vi tittade på hur Kafka fram som big data firehose. Snabbspola framåt till idag, och nu, även AWS har fått in den handling, att införa sin egen lyckats Kafka service för att gå upp mot sin egen Kinesis. Som med sin senaste införandet av DocumentDB och lyckades Kubernetes tjänster, AWS är inte sentimental om att skydda sina egna erbjudanden när tillräckligt många kunder kräver öppen källkod. Likaså, Google Cloud, som har Dataflöde service för att bygga distribuerade data rörledningar, har även ett partnerskap med Utväxta för att vara värd sitt förvaltade Kafka service.
Stora på Data kollega Andrew Brust omfattas de senaste Sammanflytande 5.2 plattform release igår, visar den senaste utgåvan lägga till ett antal utvecklare godbitar som gör C++, Python, Gå, och .NET samma första klassens medborgare länge haft status av Java.
Så frågan är, med tanke på det faktum att Kafka har blivit de facto-standard motor för distribuerade big data meddelanden, där inte Sammanflytande gå härifrån?
Ta del av sin popularitet, Sammanflytande anslöt sig till de andra open source leverantörer i uppförandet av sin egen licens väggar förra året för att hålla moln killar från att tjäna pengar på sin egen IP. Ja, det är den vanliga gratis developer edition, där du kan montera den full Utväxta stacken för en enda mäklare i din sandlåda. Utöver det, det är Sammanflytande Community licens som tillåter att den typiska öppen källkod privilegier – förutom att du inte kan vända och erbjuda dina egna SaaS-tjänst i molnet. Det är för funktioner som KSQL, kontakter, schema registret, och RESTEN proxy. Och sedan är det egenutvecklade Sammanflytande Enterprise-licens för funktioner som management console.
Kafka ‘ s framgång har drivit Sammanflytande till unicorn territorium, som är Stora på att Data kollega George Anadiotis rapporterade i januari förra året. Med en fräsch $125 miljoner-finansiering omgången, företagets värdering har fått till en galen sek 2,5 miljarder. Som frågar jämförelser med Databricks, som själv fick en annan $250 miljoner infusion följande månad för att få sin värdering till $2.75 miljarder kronor.
Båda bolagen verkar vara efter en liknande banor. De har båda skapat populära open source-tekniker som sitter i mitten av högen. Men de har utvecklats för olika skäl. Av de två, Kafka är klart mindre glamorösa – det är den underliggande vvs för att möjliggöra olika typer av distribuerade data rörledningar som används för att bygga massivt skalas real-time streaming applikationer. När Kafka fungerar, du behöver inte se det, men du ser instrumentpaneler som fungerar på toppen av det, eller ser du de modeller som konsumerar all data. Omvänt, en Gnista blir mer i rampljuset, eftersom det innehåller beräkna motorer och stora bibliotek av strukturer och algoritmer för att generera analytics. Medan Spark är inte den fronten, det är mycket närmare till den än Kafka.
Som till företagens strategier, Databricks har följt flera av de klassiska öppna core-modellen, med faktorer utanför runtime är utanför gränserna för Apache-projektet, medan Sammanflytande, som nämnts ovan, har tagit en mer komplex strategi.
Vilket visar att mer av spotlight lyser på Spark, det har tagit långt mer konkurrens. Spark är IOPS-intensiv karaktär innebär att det inte alltid är det bästa verktyget för jobbet-speciellt för datorintensiva djupt lärande modeller där Gnistan är att behöva anpassa sig. Det finns ramar som H2O att arbeta med, men även oberoende av Spark. Likaså, maskininlärning tjänst som erbjuds av molnet leverantörer vanligtvis bypass Gnista. Och medan Apache Spark-projektet har arbetat för att förbättra prestanda för R-och Python programmering, många användare från Anaconda och CRAN samhällen kan använda andra utförande motorer för skalning sina modeller.
Däremot, Kafka, sitter utanför rampljuset, har dragit betydligt mer blygsam konkurrens. Visst, Hadoop folk har antingen flyttat meddelande förmedling direkt i klustret (MapR Strömmar) eller ge dem verktyg att konkurrera med Sammanflytande (hej Hortonworks Dataflöde), men deras uppmärksamhet dessa dagar är mer inriktad på att göra sina plattformar cloud-infödda, snarare än att försöka konkurrera med Kafka. Istället, verklig konkurrens är med moln-leverantörer som gör sina egna boende.
Eller kanske coopetition är mer passande term. Sammanflytande driver sina moln på AWS och Google Cloud (vi väntar på den tid då de går live på Azure), men med Google, förhållandet är mer formell. Vi vill GCP OEM Sammanflytande teknik för att göra det till en fullt stöds service tillsammans med Dataflöde på samma sätt som Azure Databricks är nu en del av den formella Azure portfölj. Även om vi inte räknar med någon Azure Databricks-liknande meddelanden kommer från Google Cloud och Sammanflytande nästa vecka på NÄSTA, vi ska vara nyfiken på att se vad de har upp sina ärmar.
Big Data
AI och big data vs etik: Hur att se till att din artificiell intelligens projektet är på väg rätt sätt
Vill vara en data scientist? Fem sätt att få det jobb i data-vetenskap
Streamlio, ett open-core strömmande data tyg för molnet era
Är Googles Snorkla DryBell framtiden för företagets data management?
Kalifornien vill Silicon Valley för att betala dig en data utdelning (CNET)
4 steg för att användaren buy-in för big data (TechRepublic)
Relaterade Ämnen:
Cloud
Digital Omvandling
Robotteknik
Sakernas Internet
Innovation
Affärssystem