Samenvloeiende brengt volledig beheerde Kafka naar de Google Cloud Platform
De samenwerking tussen Samenvloeiende en Google breidt de Kafka-ecosysteem, waardoor het makkelijker wordt om te consumeren met Google Cloud services voor machine learning analytics en nog veel meer. Lees meer: https://zd.net/2KLSOn8
Gloednieuwe, je bent retro.
Deze Lastige aforisme van een song kwam voor de geest eenmaal meer van een paar jaar terug, toen Streamlio kwam van stealth. Streamlio is een offer voor de real-time verwerking van gegevens op basis van een aantal Apache open source-projecten, en het direct concurreert met Samenvloeiende en Apache Kafka, dat is de kern van Samenvloeiende ‘ s aanbieden. Wat is het punt dat te doen?
Ook: de Verwerking van de tijdreeks van gegevens: Wat zijn de opties?
In 2017, Apache Kafka werd algemeen beschouwd als een early adopter ding: Aanwezig in veel whiteboard architectuur schema ‘ s, maar niet noodzakelijkerwijs op grote schaal wordt toegepast in de productie in de bedrijven. Sindsdien Kafka heeft gelegd op een vordering tot enterprise adoptie, en Samenvloeiende heeft verworven open-core eenhoorn status na haar laatste middelen. Dit maakt het niet makkelijker maken voor de wedstrijd, uiteraard.
De vraag blijft dan: Waarom zou iemand dit doen, en hoe kan het werken? Streamlio het antwoord op de waarom-deel lijkt te zijn dat, ondanks de nieuwe, voor sommigen, Kafka is retro. Als naar het hoe: Een aanbod zoeken om zich te positioneren als een Kafka alternatief zou zijn om aanzienlijk sneller/betrouwbaarder, terwijl ook compatibel met Kafka en het aanbieden van de opties die Kafka biedt.
Nu, Streamlio is de aankondiging van een managed cloud service, dichter bij haar visie. ZDNet besproken met Karthik Ramasamy en Jon Bock, Streamlio ‘ s CEO en oprichter en vice-president van marketing, respectievelijk over de visie en de uitvoering daarvan.
Real-time analytics
Ramasamy bio heeft meer dan twee decennia van ervaring in de real-time verwerking van gegevens, parallel databases, big data-infrastructuur en netwerken. Hij was engineering manager en technical lead voor real-time analytics op Twitter, waar hij co-creëerde de Apache Reiger real-time engine.
Ook: Het verleden, het heden en de toekomst van de streaming
Ramasamy de mede-oprichters zijn Matteo Merli, ex-Yahoo, architect en lead developer voor Apache Pulsar en een PMC lid van Apache Boekhouder, en Sanjeev Kulkarni, ook voormalige Twitter technische voorsprong voor real-time analytics en Twitter Reiger co-creator.
Het team is zeker niet ontbreken enterprise-ervaring, en dit is een onderdeel van Streamlio de boodschap. Dat verklaart ook waarom Streamlio erin geslaagd om Een Financiering van $7,5 miljoen met Lightspeed, die als Ramasamy opgemerkt is ook betrokken geweest bij andere open-core bedrijven.
Ramasamy opgemerkt dat Streamlio het personeelsbestand lager is dan 100 mensen op dit punt. Hij heeft er ook op gewezen, echter, dat Apache Pulsar, dat is de kern van Streamlio, heeft meer dan 100 medewerkers en 3.000 sterren op Github. De andere twee Apache projecten op die Streamlio is gebaseerd Reiger en Boekhouder.
Pulsar is de bovenste laag voor Streamlio, en biedt een API is, die is Kafka-compatibele — maar er zijn nuances. Er zijn architectonische verschillen met Kafka, die volgens de Streamlio team kan worden gekookt tot het feit dat Streamlio heeft een ontkoppelde laag architectuur. Wat zien we als de kern van deze, vooral wanneer het gaat over het uitvoeren van Streamlio in de cloud, is Boekhouder.
Boek houden en multi-temperatuur opslag in de cloud
Boekhouder is de storage laag voor Streamlio. Het werd ontworpen met de mogelijkheid voor het implementeren van een vorm van wat gaat door de naam van multi-temperatuur voor opslag beheer. Hot gegevens, of gegevens die zijn recente/veelvuldig gebruikt, wordt bewaard in een snellere opslag media. Koude gegevens, of gegevens die zijn minder recente/vaak gebruikt, is gelost om langzamer secundaire opslag.
Ook: Gegevens, kristallen bollen, op zoek glazen, met een kooktraject kikkers
Wat maakt deze bijzonder relevant voor Streamlio de cloud beheerde versie op AWS is het feit dat de Boekhouder ondersteunt S3, AWS storage-laag. Streamlio de leidinggevenden benadrukt dat andere streaming platforms zoals Kafka, Flink, of de Vonk niet over deze mogelijkheid ingebouwd.
Apache Pulsar gelaagde opslag, het uitladen van de mogelijkheden.
Kafka opslag is gecentreerd rond een alleen-toevoegen inloggen abstractie, vergelijkbaar met Boekhouder. Flink gebruikt RocksDB als een persistentie laag, en Spark maakt gebruik van Parket. Terwijl al deze kan worden geconfigureerd om te werken met S3 in de een of andere manier, Streamlio vorderingen Boekhouder is sneller en gemakkelijker te gebruiken, zonder speciale configuratie en tuning.
Boekhouder wordt ook gebruikt door Pravega, en sinds het lijkt een differentiatie punt voor Streamlio, vroegen we ons af hoe haalbaar is het voor anderen te nemen en te integreren Boekhouder. Ramasamy erop gewezen dat dit zou vereisen een uitgebreide herinrichting, en het feit dat Streamlio biedt een geïntegreerde stapel op de top van de Boekhouder is een onderdeel van de toegevoegde waarde propositie.
Zoals vaak het geval is met upstarts beweren superieure prestaties, Streamlio gepubliceerd van een benchmark, volgens welke Streamlio toont tot 150 procent verbetering ten opzichte van Kafka in termen van doorstroom, behoud van maximaal 60 procent lagere latency. Streamlio de prijzen voor de AWS beheerde versie is gebaseerd op de doorvoer, hoewel er werd opgemerkt dat de AWS prijzen zijn gebaseerd op bijvoorbeeld de vermogens van toepassing.
Dierenverzorger en SQL in de cloud
Streamlio maakt ook gebruik van Apache Dierenverzorger, die wordt als verouderd beschouwd en een single point of failure, meestal gebruikt voor het beheren van Hadoop-clusters on-premise. Met behulp van Dierenverzorger in AWS leek niet veel zin te maken naar ons, dus we vroegen ons af wat de reden was. Ramasamy zei dat Dierenverzorger wordt niet gebruikt voor het beheren van Streamlio, alleen om te dienen metadata. Hij ging op aan toevoegen dat Dierenverzorger is “onzichtbaar” en Streamlio de cloud-dienst is container-gebaseerd.
Ook: Real-time verwerking van gegevens net meer opties
Streamlio beschikt ook over een aantal andere interessante architecturale keuzes, waaronder de ondersteuning voor serverloze functies en SQL. De laatste is geïmplementeerd met behulp van Presto, de SQL engine open-source door Facebook. Dit, op zijn beurt, heeft een aantal interessante gevolgen.
Aan de ene kant betekent het Streamlio voordelen door het feit dat de Presto is ontworpen ter ondersteuning van standaard ANSI SQL-semantiek, en kan worden gebruikt voor het integreren van andere bronnen. Dus, via Presto, Streamlio gebruikers kunnen dingen doen, zoals het koppelen van data in Streamlio met externe tabellen, en het gebruik van BI-hulpprogramma ‘ s op de top van Presto. Aan de andere kant, dit ontwerp betekent dat de query ‘ s zijn niet werkelijk gedaan zijn op de inkomende streaming data in real-time.
Streamlio architectuur.
Bij de bespreking van dit Ramasamy zei dat dit een bewuste keuze was, en het heeft te maken met de globale visie voor Streamlio. Voor Ramasamy, streaming platforms zijn niet bedoeld als vervanging van databases. Wat hij ziet als het einddoel, echter, gaat voorbij aan de mogelijkheid in te nemen gegevens en de verzending naar de juiste ontvangers. Hetzij via de Pup-Sub berichten of Queueing, Streamlio wil om haar gebruikers voor het uitvoeren van snelle analyses over inkomende gegevens.
Voor een meer diepgaande analyse, echter, Ramasamy liever uitstellen tot het aanbod specifiek voor deze. Wat hij ziet het als de rol van Streamlio is om op te treden als de gegevens stof te vergemakkelijken data beweging, waar die gegevens kunnen afkomstig zijn uit, of te worden gericht aan: De rand, in de cloud of het datacenter.
Streamlio de positionering en strategie
Dat lijkt me een goed gerichte visie voor Streamlio. De cloud is hier te blijven, maar on-premise datacenters zijn niet weg te gaan, en toepassingen op de rand ook moeten communiceren met hun gegevens. De miljoen dollar vraag is: Waarom kies Streamlio over een aantal alternatieven? Alle gegevens streaming platforms wilt deze rol te spelen, en elk van hen heeft een aantal dingen gaan voor.
Ook: Apache Pijl: De weinig gegevens accelerator die kon
Streamlio, in tegenstelling tot Kafka, een Vonk of Flink, niet uitziet als een early adopter wat op dit punt. Hoewel er echt technische voordelen Streamlio de architectuur, de realiteit is dat de concurrentie in de toekomst is, in termen van looptijd, de vaststelling, financiering en mindshare. Maar dat is niet te zeggen Streamlio is een verloren zaak is, of dat er niemand is met behulp van het-verre van dat.
Naast het gebruik in de productie bij Yahoo en Twitter, Streamlio heeft adopters, zoals Zhaopin (Monster.com bedrijf in China) en STICorp voor. STICorp daadwerkelijk gebruikt Streamlio te vervangen Kafka, hoewel het is de moeite waard op te merken dat hier Ramasamy gewezen Streamlio is niet een drop-in vervanger voor Kafka.
Een data stof is een metafoor gebruikt voor de aanduiding van een laag weven van data uit verschillende bronnen samen.
(Afbeelding: Fancycrave op Unsplash)
Er is een API-compatibiliteit, maar de manier waarop het werkt is door het passeren van code gebruik te maken van Kafka API-aanroepen door middel van een tool die vervangt deze met de bijbehorende Streamlio API-aanroepen. Ramasamy opgemerkt dat deze garanties functionele equivalentie, maar het betekent niet dat er sprake is van 100 procent correspondentie tussen Kafka en Streamlio Api ‘ s, zoals ze weerspiegelen verschillende onderliggende modellen. Streamlio ook opgemerkt dat er een prototype integratie met Apache Bundel, die ze zal zich verder ontwikkelen als er voldoende interesse van de klant.
Een bredere punt hier te maken, te tekenen over de vergelijking tussen Samenvloeiende en Streamlio, zou dat van het doen van open source business. Vooral in het licht van de AWS de vork van Elastische, de nieuwste aflevering in een voortdurende escalatie tussen open source enterprise leveranciers en AWS. Als Streamlio is net zo succesvol als de anderen in de markt, zou het dan niet nog een ander doel voor AWS krediet? Hoe zou hij reageren?
Ramasamy denkt 2019 zal in het teken van het verval van open source steun van een business model, en dankzij de snelle opkomst van open-source SaaS als een groeimarkt en key business model voor open source in het algemeen. Hij voorspelt dat we zullen zien dat leveranciers zoeken om te concurreren en te differentiëren op hun vermogen om te voorzien in de best mogelijke software-as-a-service — maar de hefboomwerking van open source technologie in plaats van een eigen aanbod:
“We zullen zien [verkopers] werken om de toegevoegde waarde van flexibiliteit, elasticiteit en de prestaties specifiek voor cloud-en SaaS-omgevingen om te leveren wat de klant steeds meer zien als de belangrijkste waarde-toevoegen: Zorgen dat klanten zich kunt richten op het ontwikkelen van hun applicaties en besteden minder tijd aan de zorg voor en het voeden van de onderliggende technologie die de toepassingen gebruiken.”
Dat lijkt te worden weerspiegeld in Streamlio de strategie ook. Open-source componenten, integreren, uitbreiden en bouwen van een commercieel aanbod op de top van het. Of dat is het einde-in open source is een andere discussie. Maar het is wat Streamlio is het wedden op.
Verwante artikelen:
Kafka is de vaststelling van haar toeholdPulsar afgestudeerden een Apache project op het hoogste niveau Hortonworks ups zijn Kafka GameFrom big data AI: Waar zijn we nowGogo migreert naar AWS, de ogen, de real-time gegevens processingThis opstarten denkt dat hij weet hoe de snelheid van real-time analyticsBy 2025 bijna 30 procent van de gegenereerde gegevens worden real-timeArcadia Direct voor KSQL: Streaming data-analyse Wat te doen met de gegevens? De evolutie van de gegevens platformsWhy AI en machine learning rijdt gegevens meren gegevens hubsPredictions voor 2019 in gegevens, analyses en AI
Verwante Onderwerpen:
Cloud
Digitale Transformatie
Robotica
Het Internet van Dingen
Innovatie
Enterprise Software