Een Confluent Stream Governance-afstammingskaart die de bron van Kafka-onderwerpinhoud traceert van een gegevensconnector, een bron Kafka-onderwerp en verschillende ksqlDB-query's.
Credit: Confluent
Op de virtuele conferentie van Kafka Summit vandaag kondigt de sponsor en het bedrijf van het evenement, opgericht door de makers van Apache Kafka, Confluent, zijn nieuwe Stream Governance-suite aan voor het beheer van realtime, streaminggegevens. De beheerde cloudservice is volgens het bedrijf de eerste dergelijke oplossing op de markt en heeft tot doel governance en bescherming van data-in-motion vergelijkbaar te maken met wat de standaard is geworden voor data-at-rest.
< h3>Doelen en pijlers
ZDNet sprak met de mede-oprichter en CEO van Confluent, Jay Kreps, die uitlegde dat Stream Governance zich richt op de twee grootste zorgen van moderne organisaties als het gaat om gegevens: hoe alles te ontgrendelen en toch te doen op een manier die veilig, beveiligd en in overeenstemming is met industriële en regelgevende kaders voor gegevensbescherming die in aantal blijven toenemen.
Stream Governance concentreert zich op drie pijlers: de vindbaarheid, traceerbaarheid en kwaliteit van gegevens. De suite doet dit via respectievelijk zijn streamcatalogus, stream lineage (afgebeeld in de schermafbeelding bovenaan dit bericht) en streamkwaliteitscomponenten. Confluent's Kreps maakte het punt dat, vanwege de manier waarop datastreaming werkt, het beheer ervan grotendeels geautomatiseerd kan worden gedaan. Met de huidige datavolumes is dat een welkom feit.
Op veler verzoek
Kreps beweerde tegen ZDNet dat een groot aantal governance-behoeften voortkomt uit het verplaatsen van gegevens, maar de meeste mainstream-oplossingen voor datagovernance en datacatalogus richten zich op data-at-rest. Het doel van Confluent is om die kloof te overbruggen en dit te doen op een manier die integreert met die zeer reguliere platforms. Met andere woorden, Stream Governance is gericht op het vestigen van vertrouwen in de realtime gegevens die door een bedrijf worden verplaatst, en probeert niet bestaande commerciële en open source datagovernanceplatforms, -kaders en -standaarden te vervangen.
Kreps zegt dat de functieset van Stream Governance 100% wordt aangedreven door de vraag van de klant, zelf gekatalyseerd door de Algemene Verordening Gegevensbescherming (GDPR) van de EU, de Californische Consumer Protection Act (CCPA) en andere certificeringen en voorschriften, zowel bestaande als opkomende. De vraag van klanten wordt ook gestimuleerd door de reguliere groei van datavolumes en toenemende gebruiksscenario's voor digitale bedrijfstransformatie.
Bredere horizonten?
Hoewel Confluent van plan is Stream Governance gericht te houden op het streamen van gegevens, is dat bereik bij bepaalde organisaties misschien niet beperkt. Confluent heeft eerder technologieën aangekondigd zoals “Infinite Storage” in zijn Confluent Cloud-platform, waardoor Kafka-onderwerpen kunnen dienen als permanente gegevensopslagplaatsen, in plaats van alleen wegen voor gegevensoverdracht. Met dat in gedachten zou de invloedssfeer van Stream Governance inderdaad groot kunnen zijn, net als het idee dat alle datasets kunnen worden gezien als speciale instanties van datastromen.
Lees ook: Confluent kondigt Infinite Storage aan voor Apache Kafka
Wat er ook gebeurt, het ongecontroleerd laten van datastromen lijkt achteraf een beetje op het achterlaten van een speciale computer onbeschermd door een firewall. Het is onvoorzichtig, onveilig en onhygiënisch. Het beheer van streaminggegevens is welkome ondersteuning voor het idee dat alle gegevens moeten worden bijgehouden en beschermd, terwijl ze tegelijkertijd moeten worden beheerd, open en beschikbaar zijn, in een beheerde context.
Verwante onderwerpen:
Groot Data Analytics Innovatie CXO Kunstmatige Intelligentie Enterprise Software Opslag 