Tony Baer (dbInsight) Bidragende skribent
Ovum
Fuld bio udgivet i Big on Data den 4. januar 2022 | Emne: Big Data
Vores bud på datamesh skaffede en sådan respons sidste år, at vi vidste, at emnet fortjente sit eget syn i 2022.
Ifølge Google Trends var “data mesh” et af de emner, der brøt internettet i 2021 – i endnu højere grad end “data lakehouse”. Det er dog et emne, der adresserer et smertepunkt: Vi dumper alle mulige data i datasøer eller andre siloer, så mister vi overblikket over dem eller bruger og styrer dem ikke tilstrækkeligt.
Efter et par års inkubation forventer vi nu, at datamasker vil trække deres første seriøse undersøgelse.
Datamesh er en idé, der, afhængigt af hvem du taler med, er opstået af Mark Beyer hos Gartner eller Zhamak Dehghani hos Thoughtworks. For en ordens skyld brugte de begge det samme udtryk, og de adresserer begge den afbrydelse, der opstår, når du samler enorme mængder af data – og forsøger derefter at finde ud af, hvem der ejer dem, og hvordan de skal tilgås og styres. Men det er omtrent alt, de har til fælles.
Gartners koncept handler mere om at mønstre organiseringen af metadata ud fra principper, der er beslægtet med fysiske mesh-netværk. Når man låner inspiration fra Metcalfes lov, da antallet af metadata-“knudepunkter” i et datanet breder sig, jo mere fuldt udformet bliver metadataene (der kan være en form for AI-selvlæring involveret). Med Gartner-forskningen fast bag en betalingsmur, burde det ikke være overraskende, at konceptet udviklet hos Thoughtworks overtog samtalen. Det er baseret på selvorganiserende domæner, der sætter livscyklustilgange til behandling af data som produkter, tager ejerskab over alt fra datapipelines til styring og sikkerhed. På den måde tænker teams mere bredt om deres data end blot at bygge pipelines eller organisere datasæt.
Datamasker adresserer en række gyldige bekymringer om begrænsningerne ved top-down-styring eller ejerskab af data. Men på nuværende tidspunkt, som koncept, er datamasker endnu ikke fuldstændigt udfyldt, især når det kommer til selvbetjening eller fødereret styring. Den gængse forestilling om datamasker er, at domænerne med den relevante fagekspertise bør være dem, der ejer dataene og administrerer dem fra vugge til grav. Det er en bottom-up-tilgang til datastyring og -styring, som teoretisk burde forbedre ansvarlighed. Ulempen er, at datamasker, hvis de ikke administreres korrekt, kan forstærke eller udbrede datasiloer, hvilket fører til spild, duplikering og inkonsekvent styring og styring.
Også: Data mesh: Skal du prøve dette derhjemme?
Vi mener ikke, at datanetværk er tilstrækkeligt defineret til at fungere på tværs af virksomheder, men vi mener, at datanetværk kan vise sig at være effektive, når de implementeres i en mere beskeden skala. Specifikt når de implementeres på tværs af teams, der allerede deler en fælles kontekst, der kan stamme fra historier om samarbejde og/eller fra at have delt, tilstødende eller overlappende fagekspertise. I en virksomhed kunne vi forudse grupper af datamasker, der opstår omkring fokuserede discipliner, såsom kundeoplevelse, supply chain management, produktudvikling og så videre.
Indtil nu har det samlede arbejde, der er offentliggjort om datamasker, generelt været positivt, og vi forventer at se leverandører på tværs af dataområdet “datamesh-vaske” deres produkter i 2022. Vi taler om databaser, BI, governance, ELT/data transformation, datakatalogisering, forespørgselsføderering og informationslivscyklusstyring. Leverandører vil udsende marketingmeddelelser for at vise, hvordan deres tilbud kan understøtte teams, der bygger datanetværk. Ja, der vil endda være en virtuel konference, der finder sted hurtigere, end du tror.
Men husk på, at data mesh er en proces- og arkitektonisk tilgang, der uddelegerer ansvaret for specifikke datasæt til de “domæner”, der har den nødvendige ekspertise i faget. Data mesh er ikke en teknologi. Forhåbentlig vil leverandører ikke springe over hajen og placere deres tilbud som data mesh-produkter.
Vores følelse af forestående tilbageslag stammer fra de mange private beskeder, vi modtog til vores LinkedIn-indlæg, der giver en teaser til, hvad der blev offentliggjort her . Kernen i disse beskeder var, at datamasker kunne forværre datasiloproblemer, som allerede eksisterer i de fleste virksomheder. Vi mener, at det er en meget gyldig bekymring.
Selv hvis datamasker som koncept var fuldstændigt udfyldt og skudsikkert, er et tegn på, at ideen bliver taget alvorligt, i graden af offentlig kontrol. Så det faktum, at der opstår et tilbageslag, er faktisk en afspejling af graden af, at datamasker har ramt et reelt smertepunkt.
Men der er også en anden kicker: datamasker er ofte blevet sammenlignet med datastrukturer . Datastrukturer er designet til at fremme adgang til data på tværs af logiske og fysiske lagre, så vi mener, at kontrasterende datamasker til datastrukturer er en falsk dikotomi.
Behold den tanke.
En udfordring er, at definitionen af datastruktur er ret sløret. Prøv denne fra NetApp: “Et datastof er i sit hjerte en integreret dataarkitektur, der er adaptiv, fleksibel og sikker. På mange måder er et datastof en ny strategisk tilgang til din virksomheds storage-drift, en der låser op for det bedste fra cloud, core og edge.” Er det sløret nok for dig? Til vores formål vil vi blot sige, at et datastof starter med et fælles metadata-bagplan, så når forskellige teams beskriver deres dataprodukter, taler de alle fra et fælles nodeark.
Her er endnu en forudsigelse, der fremhæver, at datamasker og datastrukturer faktisk har synergi: Vi forventer, at almindelige metadata-backplanes vil blive et sleeper-problem i år, hvilket reagerer på behovet for at give mening i alle data – især når de akkumuleres i skyen.
Du behøver muligvis ikke et datanet for at begynde at bygge et datastruktur. Men hvis du overvejer at starte et datamesh-initiativ, så tænk ikke engang på at komme i gang uden en form for datastruktur.
Dette er anden del af vores Data Outlook for 2022. Klik her for en del en, hvor vi giver vores bud på streamingkonvergens i realtid, maskinlæring og datastyring.
ZDNet anbefaler
Covid-test: De bedste hurtige testsæt derhjemme De 10 bedste smartphones, der er tilgængelige nu Vind morgenmad med vores yndlingsvaffelmaskine. De bedste iPads: Hvilken model skal du købe?
Datacentre | Digital transformation | Robotik | Internet of Things | Innovation | Enterprise Software