En sammanflytande Stream Governance -släktkarta som spårar källan för Kafka -ämnesinnehåll från en datakontakt, ett Kafka -ämne från källan och flera ksqlDB -frågor.
Credit: Confluent
På den virtuella konferensen i Kafka Summit idag meddelar evenemangets sponsor och företag som grundades av Apache Kafkas skapare, Confluent, sin nya Stream Governance-paket för styrning av strömmande data i realtid. Den hanterade molntjänsten är, enligt företaget, den första lösningen på marknaden och syftar till att föra styrning och skydd till data-i-rörelse jämförbar med vad som har blivit standard för data-at-rest.
< h3> Mål och pelare
ZDNet pratade med Confluents medgrundare och VD, Jay Kreps, som förklarade att Stream Governance riktar sig mot moderna organisationers två största bekymmer när det gäller data: hur man låser upp allt och ändå gör det på ett sätt som är säkert, säkert och i överensstämmelse med industriella och reglerande dataskyddsramar som fortsätter att öka i antal.
Stream Governance koncentrerar sig på tre pelare: dataens upptäckbarhet, spårbarhet och kvalitet. Sviten gör det genom sin strömkatalog, strömlinje (bild på skärmdumpen högst upp i detta inlägg) respektive strömkvalitetskomponenter. Confluent's Kreps gjorde poängen att, på grund av hur dataströmning fungerar, kan styrningen av det i stor utsträckning ske automatiskt. Eftersom datavolymerna är vanliga idag är det ett välkommet faktum.
Efter populär efterfrågan
Kreps hävdade för ZDNet att ett stort antal styrningsbehov kommer från när data flyttas, men de flesta vanliga datastyrnings- och datakataloglösningar fokuserar på data-at-rest. Confluents mål är att överbrygga den klyftan och göra det på ett sätt som integreras med de väldigt vanliga plattformarna. Med andra ord är Stream Governance inriktat på att skapa förtroende för realtidsdata som rör sig i ett företag och försöker inte förtränga befintliga kommersiella plattformar, ramverk och standarder för datastyrning.
Kreps säger att Stream Governances funktionsuppsättning drivs till 100% av kundernas efterfrågan, katalyseras av EU: s allmänna dataskyddsförordning (GDPR), Kaliforniens konsumentskyddslag (CCPA) och andra certifieringar och regler, både befintliga och nya. Kundernas efterfrågan väcker också den vanliga tillväxten i datavolymer och ökande användningsfall för digital affärstransformation.
Vidare horisonter?
Även om Confluent har för avsikt att hålla Stream Governance fokuserat på strömning av data, kan det i vissa organisationer inte vara så smalt. Confluent har tidigare tillkännagivit teknik som “Infinite Storage” i sin Confluent Cloud -plattform, vilket gör att Kafka -ämnen kan fungera som ihållande datalager, snarare än bara vägar för dataöverföring. Med det i åtanke kan Stream Governances omfattning av inflytande verkligen vara stort, och likaså föreställningen att alla datamängder kan ses som speciella instanser av dataströmmar.
Läs också: Confluent tillkännager Infinite Storage för Apache Kafka
Oavsett vad, lämnar dataströmmar ostyrda, i efterhand, lite som att lämna en special ändamålsdator oskyddad av en brandvägg. Det är obetydligt, osäkert och ohygieniskt. Styrande strömningsdata är ett välkommet stöd för tanken att all data måste spåras och skyddas samtidigt som den är curerad, öppen och tillgänglig i ett hanterat sammanhang.
Relaterade ämnen:
Big Data Analytics Innovation CXO Artificial Intelligence Enterprise Software Storage