Sammanflytande, den leverantör som erbjuder en kommersiell version och tjänster för öppen källkod Apache Kafka-plattform, som precis fått 125 miljoner dollar i finansiering. Detta har lanserat Sammanflytande till unicorn territorium med en värdering av 2,5 miljarder dollar. Du vet förmodligen detta nu, och om du har varit följande, du vet också varför och hur Sammanflytande fick till denna punkt.
ZDNet har varit att hålla koll på Kafka och Sammanflytande: s evolution, och nyheten var ett bra tillfälle att fånga upp med Jay Kreps, Sammanflytande VD. Här är det lowdown på hur Kafka kommer att utvecklas från och med nu, de senaste uppdateringarna på data streaming landskap, och sist men inte minst, vad allt detta betyder för molnet och öppen källkod.
Historien hittills
Att få en finansiering av denna storleksordning, och från denna typ av investerare, handlar om mer än pengar. Det handlar mest om en bekräftelse av värdeerbjudande och affärsmodell. Sammanflytande måste göra något rätt med Kafka. Inte illa för ett företag, för vilket gemensamt mantra var att det inte är mainstream nog. Tydligen utsikterna för dess prenumerationsbaserade erbjuder såg bra ut till investerare.
Också: AI chip unicorn som är på väg att revolutionera allt har datoriserad Graf på sin Kärnverksamhet
Vad Kafka gör är att den fungerar som gateway för kontinuerlig, realtid bearbetning av data. Det stöd för bearbetning av data som en ström av händelser, snarare än som diskreta data poäng. Detta är ett paradigmskifte som möjliggör att bygga realtidsapplikationer. Medan begreppet är inte nytt, som meddelande bussar till exempel har funnits ett tag, ett par saker har gjort Kafka stå ut.
Sammanflytande tillväxten har grundat sig på ett abonnemang affärsmodell
Den första är den skala som Kafka kan göra detta. Skillnaden, enligt Kreps, är att äldre system kunde inte hantera den omfattning som Kafka: “Vi kan skala upp till biljoner meddelanden. Nya stil, cloud data systems är bara bättre på detta, sådana tekniker som inte fanns innan. Vi dragit när vi kom runt lite senare.”
Den andra saken är att Kafka gör mer än att direkt trafik, eller budskap, till rätt mottagare med snabbhet och tillförlitlighet. Det kan också gälla förändringar och affärslogik för att meddelandet nyttolast. Detta är viktigt, eftersom det ger en realtid bearbetning lager. Det innebär i huvudsak att Kafka kan agera som värd för microservices-baserade program, och detta är något Kreps har nämnts som ett strategiskt mål, som i det förflutna.
Också: Data, kristallkulor, letar glas, och koka grodor: Granska 2018, förutsäga 2019
Kreps bekräftade att Kafka har varit mycket framgångsrik med microservices användningsfall. Han nämnde en undersökning på microservices antagande som visar att över 50 procent av företagen med tanke på microservice antar Kafka, samt några exempel på Kafka antagande som en Microservices plattform som Capital One och Yelp. Kreps lagts på att de är fokuserade på att vinna i bäcken bearbetning utrymme, vilket innebär förskott till saker som KSQL.
Realtid bearbetning av data: Ett paradigmskifte, och ett nytt ekosystem
KSQL är bland Kafkas senaste tillskotten och största framgångar. Det är förmågan att använda SQL-syntax för realtid, vilket gör saker och ting mycket enklare. Intressant, detta är en del där det finns konkurrens med andra plattformar. Arkitekturer för realtidsbearbetning ofta har Kafka som startpunkt, med andra plattformar plocka upp händelser nedströms och tillämpa ytterligare bearbetning.
En av dessa plattformar är Apache Samza, som också härrör från LinkedIn som Kafka. Samza nyligen släppt version 1.0, även införa SQL, samt en uppdatering av sitt API, baserad på Apache-Balk. Apache Beam är ett open-source-projekt som ger en enhetlig API, vilket gör att rörledningarna ska flyttas över utförande motorer, inklusive Samza, Spark, eller Flink. Kafka inte stöd Balk, och vi undrade om detta ändras saker och ting på något sätt. Inte riktigt.
Kreps ser Samza som mer av en föregångare till den stream processing har nu i Kafka: “Det var byggt och öppen källkod med mitt lag när jag var på LinkedIn. Det finns fortfarande kvar, eftersom dessa projekt med öppen källkod alltid göra, men Kafka ‘ s stream bearbetning har tagit det till nästa nivå, både i fråga om omfattningen av antagandet, affärsbeslut kapacitet, flexibilitet, eller de funktioner API ger.”
En annan sak som just hände är att data Hantverkare, försäljare kör Apache Flink, en av de andra plattformar i realtid databehandling utrymme, fick bara förvärvas genom att Alibaba för €90 miljoner. Kreps sa att han var riktigt glad för folket på data Hantverkare att ha hittat vad som verkar vara en bra exit och önskar dem lycka till på Alibaba:
“Vi vill inte se stream processing utrymme som nollsummespel. Den stora majoriteten av användare av Flink använda den med Kafka som källa för sin stream. Så om folk gör sina stream behandling med Kafkas egen stream processkapacitet eller med en extern behandling lager som Flink på toppen av Kafka, vi är glada att se människor antar och bygga denna typ av händelse streaming plattform”, Kreps sagt.
På cloud nummer 9
Ja, detta är inte ett nollsummespel, och varje plattform har sin egen plats i den tekniska arkitekturen. Men det kanske mest intressanta aspekten av detta är motsättningen mellan öppen källkod plattform leverantörer och leverantörer moln. data Hantverkare har förvärvats genom ett moln leverantör, och vi har sett varför detta är meningsfullt för båda sidor. Men som Sammanflytande vill fortsätta att växa i molnet, den befinner sig i mitten av denna konflikt.
Också: Alibaba Blinkar: att Bygga ett open source -, data-driven cloud imperium i realtid
Kreps noteras att hybrid-on-prem och molntyper är ett företag verkligheten, så att de kommer att fortsätta att möta sina kunder där de är:
“Vi fortsätter att driva våra moln strategi framåt och för kunder i produktionen, vilket innebär tillägg som förvaltning och övervakning verktyg.
Vi vill ge en strömmande data service för att stödja alla kunder på deras resa till en händelse som drivs av företag. Att ge en produkt som både on-prem och i molnet är viktigt att tjäna ett modernt företag som är verksamma i hybrid-och globalt distribuerade miljöer.”
Hybrid cloud och multi moln strategier är det nya normala, och databasen arbetsbelastning är att söka sig mot dem. Bild: Tom ‘ s IT Pro
Detta är en verklighet för alla data som plattform för säljaren, inte bara för Sammanflytande. Kubernetes lovar att bli de facto operativsystem för multi-och hybrid cloud, som Kafka har vidtagit åtgärder för att stödja det. Vi frågade Kreps vad han ser nästa, och om vi kan förvänta oss för exempel Utväxta för att gå med Moln Native-Stiftelsen. Kreps sade att Kafka tillsammans med Kubernetes kan göra strömmande data överallt.
Men nyligen, AWS meddelade en hanterad version på Kafka, och Sammanflytande sällat sig av öppen källkod leverantörer som gjorde ändringar i sina licenser för att se till att detta inte händer. Vi frågade Kreps till vilken grad detta var en del av deras egen strategi, och till vilken grad har det varit underförstått “styrd” av behovet av att presentera en hållbar affärsmodell för att investerare. Hur har samhället reagerat? Vad sägs om moln-leverantörer?
Öppen källkod i den verkliga världen
Kreps noteras att Kafka licens faktiskt inte har förändrats. Vad som har förändrats, säger han, är det licens för de komponenter de råvaror runt om Kafka. I det blogginlägg som gjorde denna förändring allmänheten, Kreps försvarat denna dom mot två möjliga påståenden, som är diametralt motsatt till varandra: att Sammanflytande gör detta för att rädda sitt vacklande affärer, eller för att se fler vinster. Kreps en gång hävdade verksamhet går riktigt bra.
Också: Bortom experter: Jobb, uppgifter och kompetens för en data driven Framtida Arbete
Men han fortsatte med att lägga, de tror att det rätta sättet att bygga upp grundläggande infrastruktur lager med öppen kod:
“Som arbetsbelastning flytta till molnet vi behöver en mekanism för att värna denna frihet samtidigt som det möjliggör en cykel av investeringar, och detta är vår motivation för att få tillstånd en förändring.
Det finns ingen standardiserad, “limited purpose” licens ännu. Vi åkte med en lösning som ger de flesta av de samma rättigheter som gör Apache 2.0. Vi definierade våra uteslutas syfte så snävt som möjligt för att uppnå vårt syfte. Om en vanlig lösning i det utrymme som uppstår, vi är öppna för att överväga det.”
Så, är detta en säker och försvarbart att flytta? Är detta fortfarande öppen källkod? Kreps och menade att det är open-source-program som inte behöver detta, som lös bidrag och organisatoriska struktur är tillräckligt. Men den typ av programvara Sammanflytande är byggnaden är verkligen svårt och kräver en organisation för att stödja det, och organisationen kräver en livskraftig affärsmodell. Detta är logiskt för oss. Open Source Foundation verkar inte överens om, men detta kan vara en trångsynt uppfattning.
Jaron Lanier har gjort så att “allt gratis” – tankegång som har varit rådande bland människor bakom inrättandet av den tidiga internet har lett till att den typ av twisted annons-baserade affärsmodeller och oligopol i sin tur bakom många av de frågor som vi arbetar med nu. Att göra samma misstag igen med moln inte skulle vara klokt.
Eftersom det inte finns något sådant som en gratis lunch, mer rationella, rättvisa och tydliga affärsmodeller är, desto bättre för alla i längden. Den konflikt av intressen mellan öppen källkod kommersiella plattformar och moln leverantörer verkar som ett fall av (mestadels) immateriella jämfört med (mestadels) materiella resurser och kapital.
Även: Starta omskolning revolution utan mig: Framtida Arbete trender och mjuka data på mjuka färdigheter
Öppen källkod leverantörer som Sammanflytande har visat att det inte bara är det möjligt att bygga en bättre produkt att använda på open source-modellen, men du kan också bygga en lönsam verksamhet grundar sig på detta. Moln-leverantörer som bidrar ingenting till öppen källkod, och ändå försöka dra nytta av det genom att förpacka det som en tjänst som direkt konkurrerar med de tjänster som erbjuds av dess skapare bör inte vara tillåtet att göra detta.
Underlåtenhet att inse detta undergräver intressen av alla som bidrar till öppen källkod. Ha livskraftiga öppen källkod affärsmodeller är viktiga för spridning av öppen källkod. Open Source Foundation bör få över sina dogmer, och arbetar med öppen källkod leverantörer och medarbetare att komma fram till en fungerande lösning.
Tidigare och relaterade täckning:
Ganska låg nivå, ganska big deal: Apache Kafka och Sammanflytande med Öppen Källkod gå mainstream
Apache Kafka är bra och allt, men det är en ” early adopter sak, går den konventionella visdomen. Jay Kreps, Kafka co-creator och Sammanflytande VD, digresses. Vanliga antagandet är som händer, och det händer nu, säger han, samtidigt som de kommenterar den senaste utvecklingen i branschen.
Sammanflytande utgåva lägger till enterprise, developer, sakernas internet kunniga att Apache Kafka
Sammanflytande, företaget grundat av skaparna av strömmande data plattform för Apache Kafka, är att tillkännage en ny release idag. Sammanflytande Plattform 5.0, baserat på gårdagens release av öppen källkod Kafka 2.0, lägger företaget säkerhet, nya resurser för återställning, massor av utvecklare funktioner, och viktigt för sakernas internet som stöd.
Relaterade Ämnen:
Hantering Av Data
Affärssystem
Linux
Utvecklare
Säkerhet