Una mappa di derivazione di Confluent Stream Governance che traccia l'origine del contenuto dell'argomento Kafka da un connettore dati, un argomento Kafka sorgente e diverse query ksqlDB.
Credito: Confluent
Alla conferenza virtuale del Kafka Summit di oggi, lo sponsor dell'evento e la società fondata dai creatori di Apache Kafka, Confluent, ha annunciato la sua nuova suite di Stream Governance per la gestione dei dati in streaming in tempo reale. Il servizio cloud gestito è, secondo l'azienda, la prima soluzione di questo tipo sul mercato e mira a portare governance e protezione dei dati in movimento paragonabili a ciò che è diventato standard per i dati inattivi.
< h3>Obiettivi e pilastri
ZDNet ha parlato con il co-fondatore e CEO di Confluent, Jay Kreps, che ha spiegato che Stream Governance si rivolge alle due maggiori preoccupazioni delle organizzazioni moderne quando si tratta di dati: come sbloccare tutto e tuttavia farlo in modo sicuro, protetto e conforme con quadri di protezione dei dati industriali e normativi che continuano ad aumentare di numero.
Stream Governance si concentra su tre pilastri: la rilevabilità, la tracciabilità e la qualità dei dati. La suite lo fa attraverso il suo catalogo di flussi, il lignaggio del flusso (nella foto nella schermata all'inizio di questo post) e i componenti di qualità del flusso, rispettivamente. Kreps di Confluent ha sottolineato che, a causa del modo in cui funziona lo streaming dei dati, il suo governo può essere svolto in gran parte su base automatizzata. Con i volumi di dati prevalenti oggi, questo è un fatto positivo.
A grande richiesta
Kreps ha affermato a ZDNet che un gran numero di esigenze di governance derivano dal trasferimento dei dati, ma la maggior parte delle soluzioni di data governance e catalogo dati tradizionali si concentra sui dati inattivi. L'obiettivo di Confluent è colmare questo divario e farlo in un modo che si integri con quelle piattaforme molto tradizionali. In altre parole, Stream Governance è focalizzata sulla creazione di fiducia nei dati in tempo reale che si muovono in un'azienda e non sta cercando di sostituire piattaforme, framework e standard di governance dei dati commerciali e open source esistenti.
Kreps afferma che il set di funzionalità di Stream Governance è guidato al 100% dalla domanda dei clienti, a sua volta catalizzata dal Regolamento generale sulla protezione dei dati dell'UE (GDPR), dal California's Consumer Protection Act (CCPA) e da altre certificazioni e normative, sia esistenti che emergenti. Ad alimentare la domanda dei clienti sono anche la crescita tradizionale dei volumi di dati e l'aumento dei casi d'uso per la trasformazione del business digitale.
Orizzonti più ampi?
Sebbene Confluent intenda mantenere Stream Governance incentrato sullo streaming di dati, in alcune organizzazioni tale ambito potrebbe non essere limitato. Confluent ha già annunciato tecnologie come “Infinite Storage” nella sua piattaforma Confluent Cloud, che consente agli argomenti di Kafka di fungere da repository di dati persistenti, piuttosto che solo strade per il transito dei dati. Con questo in mente, l'ambito di influenza di Stream Governance potrebbe essere davvero ampio, così come l'idea che tutti i set di dati possano essere visti come istanze speciali di flussi di dati.
Leggi anche: Confluent annuncia Infinite Storage per Apache Kafka
Non importa cosa, lasciare i flussi di dati non governati, con il senno di poi, è un po' come lasciare uno speciale computer non protetto da firewall. È imprudente, pericoloso e antigienico. La gestione dei dati in streaming è un gradito supporto all'idea che tutti i dati debbano essere tracciati e protetti mentre, allo stesso tempo, curati, aperti e disponibili, in un contesto gestito.
Argomenti correlati:
Grandi Data Analytics Innovation CXO Intelligenza artificiale Enterprise Software Storage 