Nul
Streaming is een van de top trends die we hebben te houden. De laatste episode in die saga was het toevoegen van ZUUR mogelijkheden om Apache Flink, zoals gedekt door ZDNet is Tony Baer vorige week. Deze aankondiging, aangebracht op Flink Vooruit in Berlijn, was het decor voor een diepgaande gesprekken die we hadden met managers, engineers en gebruikers, die kunnen helpen om de dingen in een context.
Om te beginnen met, zoals Baer opgemerkt, is er een API voor Flink kan worden gedownload van GitHub, maar het werkt alleen voor een enkele stroom. De versie met de “loper” voor meerdere parallelle stromen is een deel van de gegevens Ambachtslieden platform – de commerciële incarnatie van Fling.
Ook: Apache neemt Flink ZUUR
Dit is niet verwonderlijk, aangezien de gegevens uit Ambachtslieden, de leverancier die ondersteuning biedt voor het Flink en telt een groot deel van de full-time medewerkers heeft een open kern van het beleid. Dat is een zeer gemeenschappelijk beleid in de open source wereld, en dat de gegevens Ambachtslieden/Flink (de belangrijkste concurrent, Databricks / Apache Vonk, is ook nemen.
Hoeveel streaming motoren heeft de wereld nodig?
Als Baer zou zeggen, hoeveel streaming motoren heeft de wereld nodig? Goede vraag, die ook kan worden rephrased als twee follow-up vragen: hoeveel leveranciers kunnen overleven doen wat gegevens Ambachtslieden en Databricks doen, of hoe kiest u een streaming engine?
Het antwoord op de eerste vraag is precies twee, op dit punt: gegevens Ambachtslieden en Databricks. Een derde concurrent, DataTorrent, en de Apache Apex-motor, die hebben we een tijdje terug, ging buik omhoog. Lijkt het ongewone “we zullen alles doen, inclusief het bouwen van onze concurrent motor” bericht was een laatste poging om overeind te blijven door het aannemen van een aanpak die meer geneigd om een advies dan een verkoper achter een open source project.
Ook: Real-time toepassingen gaan plaatsen
Één van beide manier, dit betekent dat er een aantal weeskinderen in de open-source streaming oplossingen van de ruimte nu: Platforms zonder een leverancier om ondersteuning te bieden, een geharde versie, en het sturen van hun ontwikkeling. Naast Apex, de lijst bevat ook de Apache Storm en Apache Samza. Storm is ouder en meer volwassen dan Samza, en heeft ook enige steun van Hortonworks.
Hortonworks’ core business ‘ is geen streaming, echter, en als je het wilt gebruiken Storm en enterprise support-niveaus, het lijkt erop dat u zult hebben om te gaan voor de hele Hortonworks stapel, ook. We weten niet of Hortonworks heeft plannen om de stap te zetten voor de Storm, maar we hebben niet een dergelijke signalen op dit punt.
Er zijn ook een aantal van closed-source oplossingen voor streaming, maar het lijkt alsof ze hebben een zware strijd te strijden. Zij hebben hun verdiensten en het klantenbestand te laten zien, maar veel van die is gebaseerd op verouderde contracten en relaties. In een “try before you buy,” fast-paced, open-source wereld, en een groeiende markt voor streaming, het winnen van nieuwe contracten zal niet makkelijk worden.
Ook: De Toekomst van de Toekomst: de Spark en Big Data Inzichten
En dan hebben we ook nog de cloud leveranciers, natuurlijk: AWS met Kinesis, Google Cloud met Dataflow, en Azuurblauw met Stroom Analytics. De gebruikelijke motief speelt hier, als goed. Deze motoren kunnen wel of niet degenen zijn die het best geschikt is voor uw behoeften. Maar als je al AWS, Google Cloud, of Azure, ze maken het heel gemakkelijk en verleidelijk om u aan te melden en te integreren in hun streaming-oplossing in uw toepassingen.
Streaming motoren vaststelling en de concurrentie
Het bespreken van de streaming markt met Kostas Tzoumas, gegevens Ambachtslieden’ CEO, Tzoumas was duidelijk over wat hij ziet als de grootste concurrentie voor de gegevens Ambachtslieden: Legacy. Tzoumas bewust afgezien van het vergelijken van gegevens Ambachtslieden/Flink aan andere opties, gericht in plaats van op hun inspanningen om uit te reiken en op te schalen in termen van promotie en verkoop.
Zijn opvattingen resoneerde met veel Flink Vooruit aanwezigen, waaronder een aantal van gegevens Ambachtslieden meest high-profile klanten. Afgevaardigden met tal van technische hands-on ervaring van de wil van Alibaba, Netflix, en Microsoft, al benadrukt dat het veranderen van het paradigma en het leren werken met streaming is iets wat ze hebben om te leren en verspreid het woord voor elke dag.
Ook: We onderbreken deze revolutie: Apache Vonk wijzigingen van de regels
Een aantal van hun opmerkingen werden rond zaken zoals de noodzaak om de streaming te werken met alle van de betrouwbaarheid, dat is een gegeven in de batch wereld, om te leren om te programmeren in een meer doordachte manier, in vergelijking met single-threaded toepassingen, en het verhogen van het niveau van abstractie. gegevens Ambachtslieden lijkt te luisteren, te oordelen naar wat in zijn agenda.
De evolutie van streaming. (Afbeelding: Gegevens Ambachtslieden)
Hadden We het al over de introductie van ZUUR om tegemoet te komen aan de betrouwbaarheid, die voor een groot deel gedreven door de behoeften van grote financiële en e-commerce organisaties die gebruik maken van de gegevens Ambachtslieden platform. Een andere belangrijke inzet voor Flink is vooraf in de richting van de eenwording van Api ‘ s voor streaming en batch, die Alibaba heeft gewerkt en worden geïntegreerd in de kern Flink codebase.
Ook: Spark Top 2018 Voorbeeld: het plaatsen van AI up-front
Flink heeft een aantal Api ‘ s — gegevensstromen, gegevens, functies van het proces, de tafel API, en als te laat, SQL, die ontwikkelaars kunnen gebruiken voor verschillende aspecten van hun behandeling. Idealiter zouden de mensen graag gebruik van SQL voor alles. Dit zou niet alleen een vereenvoudiging van het leven van ontwikkelaars, maar ook Flink meer toegankelijk zijn voor niet-technische gebruikers.
De noodzaak om gegevens Ambachtslieden duurzaam iets te maken met de andere keuzes gemaakt te worden. Het feit dat de gegevens Ambachtslieden platform is niet beschikbaar in de cloud, bijvoorbeeld, is een opvallend verschil met Databricks, die touts een alleen-cloud-strategie voor haar eigen platform, het spelen van de iPaaS kaart.
Maar als uw belangrijkste klanten zijn kolossen met hun eigen infrastructuur, zoals het geval lijkt te zijn voor gegevens Ambachtslieden, door het aanbieden van een cloud-versie maakt het minder zin. Dat kan ook verklaren Tzoumas’ reactie toen hij zei dat ze niet concurreren met Databricks/Spark veel. Niet dat Flink is niet aantrekkelijk voor kleinere organisaties, maar het verhaal van het gebruik van plus Flink wat steun en advies, in plaats van de gegevens Ambachtslieden platform, was één hoorden we vaak meer van hen.
Gegevens Ambachtslieden en Apache Flink vooruit gaan
Apache Flink de (twin) versies 1.4 en 1.5 waren van de soort in te voeren wat onaantrekkelijk, niet erg populair, maar hoogst noodzakelijke verbeteringen. Ze gingen allemaal over de productie-implementatie en stabiliteit opties, en zij bedoeld backwards compatibility moest worden gebroken. Dit is de reden waarom we hoorden veel gebruikers nog steeds rollen met 1.3, hoewel verbeteringen in 1.6, meestal in streaming SQL, de verleiding aantal om de sprong te wagen en te upgraden.
Ook: De top 10 van big data kaders gebruikt in de onderneming TechRepublic
Nu, dat hard, onaantrekkelijk werk is grotendeels voorbij. Een belangrijk deel van die gegevens Ambachtslieden gericht aan te pakken is het containervervoer van Flink, of kunnen gebruiken als een bibliotheek met Docker en Kubernetes, in wat ze noemen Reactieve modus.
Andere items in de agenda voor de nabije toekomst zijn onder andere auto-scaling, tijd-versiebeheer van tabel-joins (een veel nodig hebben in een wereld waar de data wordt continu bijgewerkt), en SQL voor de patroon-analyse. SQL is extnded met de MATCH_RECOGNIZE mogelijkheid de richting van dit doel, en de gegevens Ambachtslieden wil om dit te Flink.
Een andere interessante richting is openstelling voor Python via Apache Bundel. Hoewel de Breedte en Flink zijn conceptueel gezien vrij dicht, als de gegevens Ambachtslieden CTO Stephan Ewen opgemerkt tot nu Flink hebben geen materiële voordelen te profiteren door worden afgestemd op de Balk. Maar de ondersteuning voor Python is aan het veranderen.
Beam is de invoering van een kader waarbinnen de Api ‘ s in andere talen dan Java kan worden ondersteund, en de Python is de eerste. Volgens de Apache Beam mensen, deze wordt geleverd zonder ondraaglijke compromissen in de snelheid van uitvoering ten opzichte van Java — iets van 10 procent in de scenario ‘ s die ze hebben kunnen testen.
Dit betekent dat Flink kan nu worden geprogrammeerd in Python, ook via de Bundel, die is nogal belangrijk gegeven van de prevalentie van Python voor data science en machine learning scenario ‘ s. Ewen bevestigd worden, op te merken, echter, dat is niet over te geven Java op elk moment snel.
Ook: Hortonworks onthult stappenplan te maken Hadoop cloud-native
Databricks/Spark aan de andere kant heeft ondersteuning voor Python voor een tijdje nu, die kunnen helpen uit te leggen wat we waarnemen als een brede differentiatie tussen de twee platforms: Flink wordt meer gebruikt als een snelle verwerking stateful motor, met ZUUR door de versterking van haar positie als de integratie-hub voor de real-time enterprise, terwijl de Vonk wordt meer gebruikt als een data science — analytics ruggengraat, met Python en notebook integratie bijdragen aan de populariteit.
Natuurlijk zijn er overlappingen, en de dingen zijn niet zo helder als dat. In ieder geval, het is de moeite waard op te merken dat gegevens Ambachtslieden ZUUR ondersteuning is gepatenteerd, wat betekent dat in tegenstelling tot stateful streaming, Databricks zal niet in staat zijn om te introduceren in zijn eigen platform zo gemakkelijk. Ongeacht, Databricks en Vonk zijn vooruitgang te boeken op hun eigen baan, en we delen meer op dat binnenkort.
Vorige en aanverwante dekking:
Cisco plooien Vonk in Webex als Webex-Teams
Webex Teams neemt alle van de functies voor samenwerking in Cisco Vonk en biedt hen naast de functies op basis van de Webex-conferencing-platform.
Deze opstarten denkt dat hij weet hoe de snelheid van real-time analyses op het ton van de gegevens
Making sense van de enorme hoeveelheden data die wordt verzameld door bedrijven is een probleem voor het bedrijfsleven dat Iguazio zegt dat het gekraakt is.
Apache Flink: Heeft de wereld nodig een andere streaming engine?
Terwijl het nog aan te trekken kritische massa commerciële ondersteuning, Apache Flink belooft een leemte op te vullen dat niet aan andere open source streaming motoren: het toevoegen van replay en terugdraaien naar de streaming-applicatie.
Ga met de stroom: Unbounded verwerking van gegevens met Apache Flink
Streaming is hot in big data, en Apache Flink is één van de belangrijkste technologieën in deze ruimte. Wat maakt het anders, wat nieuwe functies zijn opgenomen in de nieuwste versie, en wat is haar rol in het veroveren van de big data-wereld?
Verwante Onderwerpen:
Big Data Analytics
Innovatie
CXO
Kunstmatige Intelligentie
Enterprise Software
Opslag
0