< p class = "meta"> Av Tony Baer (dbInsight) for Big on Data | 15. juni 2021 – 12:00 GMT (13:00 BST) | Emne: Big Data Analytics
Kilde: Nutanix
DataStax kunngjør i dag betaversjonen av Astra Streaming, en ny frittstående tjeneste for Astra-skyen som skal fungere uavhengig av og integrere med Astra DB (tidligere kalt DataStax Astra). Den nye tjenesten er basert på teknologi som kom med Kesque-oppkjøpet tilbake i januar og erstattet Luna-streamingtjenesten. Og nei, ikke forveksle dette med den mobile Android-appen Astra Streaming Studio som forbrukerne kan laste ned fra Google Play-butikken.
Når Astra Streaming blir lagt til i Astra-porteføljen, vil det ha støtte for flere skyer, og selv om det tilbys gratis (med øvre grenser) i løpet av den offentlige betaversjonen, vil den til slutt bli priset på en lønnsom basis når tjenesten kommer i generell utgivelse./p>
Den underliggende teknologien er basert på Apache Pulsar, en publiserings-/abonnementsmelding (PubSub) som ofte sammenlignes med den bedre kjente Apache Kafka. Og faktisk lover DataStax at tjenesten vil være kompatibel med Kafka via en eksisterende innpakning; Selv om den ikke var tilgjengelig i løpet av betaversionen, forventer vi at funksjonen vil bli publisert med produksjonsutgivelsen. Tibco og IBM og i internettiden som JMS og RabbitMQ. Kafka er langt bedre kjent på blokken for den nåværende generasjonen, utviklet på LinkedIn mens Pulsar kom ut av Yahoo, begge er Apache-prosjekter på toppnivå.
Det er en rekke likheter mellom Pulsar og Kafka; begge var designet for å skalere ut, leverer lange holdbarhetsgarantier, støtter replikering på tvers av geografier, har et bredt spekter av driftsverktøy og (for nå) en gjensidig avhengighet av Apache Zookeeper for lagring av metadata.
Men det er også viktige arkitektoniske forskjeller mellom Pulsar og Kafka. Blant de mest grunnleggende forskjellene er at Pulsar skyver meldinger til abonnenter mens Kafka krever at abonnenter trekker dem ned. Og arkitektonisk er Kafka enklere; det kombinerer meldingsmegler og utholdenhet i samme nivå, mens Pulsar deler dem opp. Dette fører til mange debatter og ganske voldsomme rivaliseringer som er den overlegne tilnærmingen.
For eksempel hevder Pulsar-støttespillere at trelagsarkitekturen (som også inkluderer Zookeeper) er mer fleksibel og skalerbar. Lastbalansering av meldingsbehandling er automatisk, og det separate utholdenhetslaget gjør at meglerarbeid kan fordeles og spres over flere noder uten å miste data. Kafka-støttespillere motbeviser at deres tilnærming resulterer i en enklere arkitektur med halvparten så mange servere og er mer økonomisk. De planlegger også å forenkle arkitekturen ytterligere ved å fjerne Zookeeper, men dette er fortsatt et pågående arbeid.
Det er ytterligere debatter som PubSub-systemet replikerer data mer effektivt; lagrer data bare en gang; støtter nøyaktig én gang transaksjoner; gir dypere støtte for meldingskø; er enklere å konfigurere, og gir høyere gjennomstrømning. Og det er enda flere debatter om støtte for multitenancy, lagdelt lagring, tillatt meldingsstørrelse. Før Kesque ble anskaffet av DataStax, la den ut begrunnelsen for å velge Pulsar.
Alt i alt minner denne debatten veldig om debatten om Spark Streaming vs Flink. Begge angrep det samme problemet fra speilbildetilnærminger, og en dukket opp mye tidligere og trakk bredere (nesten universell) bransjestøtte. Likevel, til tross for Sparks markedsforsprang og brede tilstedeværelse, har Flink trivdes, et av mange streamingalternativer til Sparks microbatching. Og til tross for Kafkas allestedsnærværende tilstedeværelse i markedet, har Pulsar hentet støtte fra noen husstandsnavn som Splunk, hvis støtte kom gjennom Streamlio-oppkjøpet.
DataStax avduking av Astra Streaming er ikke akkurat en overraskelse. Skriften var på veggen da DataStax kjøpte Kesque tilbake i januar, som tilbød sin egen Luna Pulsar-tjeneste. Forskjellen med Astra Streaming er mer enn en rebranding. Mens kunder måtte administrere Luna, vil Astra Streaming være fullstendig DataStax-administrert.
Disclosure: DataStax er en dbInsight-klient.
Big Data
Hvor er IBMs hybridsky launchpad? Syv måter å gjøre sanntidsteknologi virkelig for organisasjonen din Maskinlæring på kanten: TinyML blir stor Hva er neste for Cloudera? McDonald's ønsker å 'demokratisere' maskinlæring for alle brukere på tvers av virksomheten.
Relaterte emner:
Cloud Digital Transformation Robotics Internet of Things Innovasjon Enterprise Software 