Zero
Apache Kafka, l’open source distribuito sistema di messaggistica, ha progressivamente scavato un punto d’appoggio de facto in tempo reale standard di intermediazione messaggi in ambienti. E se si pensa di aver visto questo lettore prima, è perché avete.
Anche: Pulsar laureati per essere un Apache progetto di primo livello
Oltre ad essere compagni di ZDNet Tony Baer lettore per il suo pezzo commentando Kafka utilizzo di indagine nel mese di luglio, probabilmente avete letto qualcosa lungo queste linee altrove, o avuto quella sensazione di te. Sì, Kafka è nella maggior parte delle lavagne, ma è soprattutto il lavagne di “early adopters”, è il succo di Baer di analisi.
Con Kafka Vertice dando il via oggi a San Francisco, abbiamo colto l’occasione per una chiacchierata con Jay Kreps, Kafka, co-creatore e Confluenti amministratore delegato, in tutte le cose Kafka, così come l’ampio paesaggio.
Andare mainstream
Kreps manifestato la sua convinzione che nell’ultimo anno Kafka è effettivamente andato mainstream. Come prova a sostegno di questa affermazione, ha citato i casi di utilizzo in quattro dei cinque più grandi banche negli stati UNITI, così come la Banca del Canada: “sono Questi 200 anni, le organizzazioni, e non saltare la prima tecnologia di Silicon Valley. Stiamo andando mainstream in una grande strada,” Kreps affermato, pur menzionare anche grande vendita al dettaglio i casi di utilizzo.
Mentre non abbiamo alcun motivo di mettere in discussione questi casi è difficile valutare se questo si traduce per l’adozione a maggioranza del mercato. Tradizionalmente, la grande finanza e la vendita al dettaglio sono in prima linea in tempo reale caso di utilizzo di adozione.
Anche: interrompiamo questa rivoluzione: Apache Scintilla cambia le regole del gioco
Ancora, si può prendere un po per questo spill over, quindi dipende da ciò che si considera “normale.” Guardando Kafka Vertice, però, vediamo un mix di Confluente del personale e nomi della famiglia, che è la norma per eventi di questa portata.
Ma ciò che sta guidando questa adozione? Qualcosa di livello piuttosto basso, il che è un grosso abbastanza, secondo Kreps: La capacità di integrare sistemi eterogenei tramite messaggistica, e per fare questo su larga scala e in tempo reale. Non è che questo è un romanzo idea di messaggistica è stato intorno per un po ‘ ed è la premessa principale di Enterprise Service Bus (ESB) soluzioni per anni.
Concettualmente, Kafka non è tutto ciò che è diverso. La differenza, Kreps, ha detto, è che i vecchi sistemi non sono stati in grado di gestire la scala di Kafka che può: “Possiamo scalare a migliaia di miliardi di messaggi. Nuovo stile, il cloud di sistemi di dati sono solo meglio a questo, tali tecniche non esisteva prima. Abbiamo usufruito come siamo arrivati un po ‘ tardi.”
Andando cloud e in tempo reale
Il cloud è qualcosa di Kreps sottolineato, e la discussione circa gli ultimi sviluppi in campo era centrata intorno ad esso. La recente Cloudera – Hortonworks fusione, per esempio, tocca anche questo, secondo Kreps.
“È stata una mossa intelligente. Si tratta di due imprese che competono per lo stesso prodotto, il che rende la concorrenza più agguerrita, ironia della sorte. Si potrebbe pensare che è gente con punti di vista differenti che per competere in modo più ferocemente, ma in realtà le persone con opinioni simili. Che hanno davvero mostrato anche il modello di business,” Kreps, ha detto.
Anche: Kafka: La storia finora
Kreps ritiene che questo concorso ha rallentato il progresso nel core Hadoop, come il bisogno di differenziazione ha portato a una maggiore attenzione verso il bordo caratteristiche. Caso in punto, ha fatto notare, il fatto che HDFS, Hadoop file di sistema, che storicamente è sempre stata una componente chiave della sua proposta di valore, non è più il più economico modo per memorizzare i carichi di dati — cloud storage è ora.
Questo potrebbe anche essere interpretato come un segno del passaggio dall’elaborazione in batch in Hadoop ha iniziato da e verso l’elaborazione in tempo reale. Anche se Hadoop è stato gradualmente aumentato di un intero ecosistema, tra cui lo streaming di motori, la maggioranza dei casi di utilizzo sono ancora orientato al batch, ritiene Kreps. Come si evolverà, il tempo ci dirà.
Il cloud sta guadagnando la gravità in termini di dati, dati e infrastrutture piattaforme bisogno di lavoro e on-premise. (Immagine: ktsimage, Getty Images/iStockphoto)
Nonostante Kreps, indicando il cloud come un punto intorno, e Hadoop in movimento verso di esso nell’ultimo paio di anni, Confluenti non ha intenzione di perseguire una nuvola di sola politica. In contrapposizione alla scienza di dati i carichi di lavoro, che possono essere ospitati on premise o nel cloud, il tipo di infrastruttura di dati di Kafka che deve lavorare su entrambi, sostenuto Kreps.
Dal momento che molte aziende hanno ancora enormi investimenti in software e l’infrastruttura costruita negli anni, nei loro centri dati, qualsiasi passaggio al cloud, sarà graduale. Confluenti la versione hosted di Kafka plus estensioni proprietarie continuerà a lavorare senza soluzione di continuità con la premessa di Kafka o Confluenti open source, ha detto Kreps. Egli ha inoltre sottolineato Kafka supporto per Kubernetes, sottolineando che qualsiasi stateful dati di sistema è a mettere in qualche sforzo per fare questo lavoro.
Streaming coopetition e in tempo reale della macchina di apprendimento
In termini di differenziazione con le altre piattaforme di streaming, Kreps sottolineato che questi sono per lo più orientati verso analytics, mentre Kafka è l’infrastruttura su cui i sistemi operativi possono essere, e sono, costruito. Quando vi chiedete se Kafka potrebbe anche essere in movimento in analytics direzione, Kreps non ha dato alcuna indicazione, e messo in dubbio l’applicabilità della real time machine learning (ML):
Inoltre: Uno sguardo all’interno di Apache Kafka adozione TechRepublic
“Che cosa è l’uso di una macchina in tempo reale piattaforma e-learning? Quando ero a scuola, per ironia della sorte il focus del mio consulenti è in tempo reale ML — paradossalmente, perché la ML non era molto popolare allora, figuriamoci in tempo reale ML.
Siamo stati in lotta per il nome di un comune sistema di produzione utilizzando in tempo reale ML. E l’idea di avere un ML algoritmo di riqualificare stesso in tempo reale non è necessariamente positivo. La maggior parte del tempo, lo sforzo è quello di avere abbastanza controlli ed equilibri in luoghi per assicurarsi ML funziona davvero, anche quando si lavora con i dati del lotto.
E se si guarda a ML algoritmi costruito da persone che costruiscono i database e le infrastrutture, non sono mai un bene, che è normale. C’è un separato ecosistema per la scienza di dati, e la roba migliore è separato dai grandi progetti di infrastrutture.
La realtà è che la Scintilla di machine learning è in gran parte utilizzato per offline ML. Streaming riunisce tutti i dati necessari per questo, e Kafka collabora con altre piattaforme di streaming, troppo.”
Kafka è un elemento chiave in streaming paesaggio, ma anche opere complementari ad altre piattaforme di streaming.
Più spesso che no, Kafka sembra essere menzionato nello stesso respiro, o la lavagna, con un certo numero di altri sistemi, anche in streaming. Anche se alcuni potrebbero dire che questo significa che sarà difficile per Kafka a venire, per la sua posizione in quelle architetture significa anche che è altrettanto difficile portarlo fuori dall’equazione.
Anche se nessun grande annuncio è riservato per questo Kafka Vertice, Kafka e Confluenti hanno avuto alcuni di coloro che nell’ultimo anno — KSQL e la versione 5.0 di essere i più importanti — e sembra essere sulla buona strada per il mainstream.
Precedente e relativa copertura:
Confluenti versione aggiunge enterprise, sviluppatore, IoT esperti di Apache Kafka
Confluenti, l’azienda fondata dai creatori di dati in streaming piattaforma Apache Kafka, è l’annuncio di una nuova release di oggi. Confluenti Piattaforma 5.0, di ieri rilascio di open source Kafka 2.0, aggiunge sicurezza aziendale, nuove funzionalità di disaster recovery, con un sacco di funzionalità per gli sviluppatori, e importante IoT supporto.
Hortonworks ups suo Kafka Gioco
Davanti gli Strati della conferenza il mese prossimo, Hortonworks è messa a fuoco sullo streaming dei dati, in quanto introduce un nuovo Kafka strumento di gestione e aggiunge alcuni miglioramenti per il suo flusso di dati prodotto.
Kafka è stabilire il suo appiglio
Dati gasdotti sono stati il titolo della terza indagine annuale di Apache Kafka uso. Dietro l’evidenza aneddotica di una base di utenti in crescita, Kafka è ancora in fase di early adopter e competenze rimangono difficili da trovare.
Confluenti porta completamente gestito da Kafka a Google Cloud Platform
La partnership tra Confluenti e Google estende il Kafka ecosistema, rendendo più facile consumare con Google Cloud services per l’apprendimento automatico, analytics e di più.
Argomenti Correlati:
Big Data Analytics
L’innovazione
CXO
Intelligenza Artificiale
Enterprise Software
Archiviazione
0