Tony Baer (dbInsight) Bidragsforfatter
Ovum
Full bio publisert i Big on Data 4. januar 2022 | Emne: Big Data
Vårt syn på datanettverk fikk en slik respons i fjor at vi visste at emnet fortjente sine egne utsikter i 2022.
Ifølge Google Trends var «data mesh» et av temaene som brøt internett i 2021 – enda mer enn «data lakehouse». Det er imidlertid et tema som tar opp et smertepunkt: Vi dumper alle slags data i datainnsjøer eller andre siloer, så mister vi oversikten over dem eller bruker og styrer dem ikke tilstrekkelig.
Etter et par år med inkubasjon, forventer vi nå at datanettverk vil få deres første seriøse granskning.
Datamesh er en idé som, avhengig av hvem du snakker med, ble oppstått av Mark Beyer hos Gartner eller Zhamak Dehghani hos Thoughtworks. For ordens skyld brukte de begge samme begrep, og de adresserer begge frakoblingen som oppstår når du samler enorme mengder data – og prøver deretter å finne ut hvem som eier den og hvordan den skal få tilgang til og styres. Men det er omtrent alt de har til felles.
Gartners konsept handler mer om å mønstre organiseringen av metadata etter prinsipper som er beslektet med fysiske mesh-nettverk. Ved å låne inspirasjon fra Metcalfes lov, ettersom antallet metadata-“noder” i et datanett sprer seg, jo mer fullstendig utformet blir metadataene (det kan være en eller annen form for AI-selvlæring involvert). Med Gartner-forskningen fast bak en betalingsmur, burde det ikke være overraskende at konseptet utviklet ved Thoughtworks tok over samtalen. Det er basert på selvorganiserende domener med livssyklustilnærminger for å behandle data som produkter, og ta eierskap til alt fra datapipelines til styring og sikkerhet. Ved å gjøre dette, tenker team bredere om dataene sine enn bare å bygge pipelines eller organisere datasett.
Datanettverk adresserer en rekke gyldige bekymringer om begrensningene ved top-down-styring eller eierskap av data. Men for tiden, som konsept, er datanettverk ennå ikke fullstendig utformet, spesielt når det gjelder selvbetjening eller føderert styring. Den gående forestillingen om datamasker er at domenene med passende fagkompetanse bør være de som eier dataene og administrerer dem fra vugge til grav. Det er en nedenfra og opp-tilnærming til datahåndtering og styring som teoretisk sett skal forbedre ansvarlighet. Ulempen er at, ikke riktig administrert, kan datanettverk forsterke eller spre datasiloer, noe som fører til sløsing, duplisering og inkonsekvent styring og styring.
Også: Data mesh: Bør du prøve dette hjemme?
Vi tror ikke at datanettverk er tilstrekkelig definert til å fungere på tvers av bedrifter, men vi tror at datanettverk kan vise seg å være effektive når de implementeres i en mer beskjeden skala. Spesielt når de implementeres på tvers av team som allerede deler en felles kontekst som kan stamme fra historier om samarbeid og/eller fra å ha delt, tilstøtende eller overlappende fagekspertise. I en bedrift kan vi forutse grupper av datanettverk som dukker opp rundt fokuserte disipliner, som kundeopplevelse, forsyningskjedestyring, produktutvikling og så videre.
Inntil nå har innholdet som er publisert om datamasker generelt vært positivt, og vi forventer å se leverandører på tvers av dataområdet «datamesh-vaske» produktene sine i 2022. Vi snakker om databaser, BI, styring, ELT/data transformasjon, datakatalogisering, spørringsføderasjon og administrasjon av informasjonslivssyklus. Leverandører vil legge ut markedsføringsmeldinger for å vise hvordan tilbudene deres kan støtte team som bygger datanettverk. Ja, det vil til og med være en virtuell konferanse som skjer raskere enn du tror.
Men husk at datanettverk er en prosess og arkitektonisk tilnærming som delegerer ansvaret for spesifikke datasett til “domenene” som har den nødvendige fagkompetansen. Datamesh er ikke en teknologi. Forhåpentligvis vil ikke leverandører hoppe over haien og posisjonere tilbudene sine som datanettprodukter.
Vår følelse av forestående tilbakeslag stammer fra de mange private meldingene vi mottok til LinkedIn-innlegget vårt som gir en teaser til det som ble publisert her . Kjernen i disse meldingene var at datanettverk kunne forverre datasiloproblemer som allerede eksisterer i de fleste virksomheter. Vi mener det er en svært gyldig bekymring.
Selv om datanettverk som konsept var fullstendig utformet og skuddsikkert, er et tegn på at ideen blir tatt på alvor ved graden av offentlig gransking. Så det faktum at et tilbakeslag oppstår er faktisk en refleksjon av graden av datanettverk har truffet et reelt smertepunkt.
Men det er også en annen kicker: datanettverk har ofte blitt kontrastert med datastrukturer . Datastrukturer er designet for å fremme tilgang til data på tvers av logiske og fysiske lagre, så vi tror at kontrasterende datanettverk til datastrukturer er en falsk dikotomi.
Ta den tanken.
En utfordring er at definisjonen av datastoff er ganske tåkete. Prøv denne fra NetApp: “En datastruktur er, i sitt hjerte, en integrert dataarkitektur som er adaptiv, fleksibel og sikker. På mange måter er en datastruktur en ny strategisk tilnærming til bedriftens lagringsoperasjon, en som låser opp det beste av cloud, core og edge.” Er det uklart nok for deg? For våre formål vil vi bare si at en datastruktur starter med et felles metadata-bakplan, så når forskjellige team beskriver dataproduktene sine, snakker de alle fra et felles noteark.
Her er enda en spådom som fremhever at datanettverk og datastrukturer faktisk har synergi: Vi forventer at vanlige metadata-bakplan vil bli et sovende problem i år, og reagerer på behovet for å forstå alle dataene – spesielt ettersom de akkumuleres i skyen.
Du trenger kanskje ikke et datanettverk for å begynne å bygge en datastruktur. Men hvis du vurderer å starte et datanett-initiativ, ikke engang tenk på å komme i gang uten en form for datastruktur.
Dette er den andre delen av vår Data Outlook for 2022. Klikk her for del en, der vi gir vårt syn på strømmekonvergens i sanntid, maskinlæring og dataadministrasjon.
ZDNet anbefaler
Covid-testing: De beste hurtigtestsettene hjemme De 10 beste smarttelefonene som er tilgjengelige nå Vinn frokost med våre favorittvaffelstekere De beste iPadene: Hvilken modell bør du kjøpe?
Datasentre | Digital transformasjon | Robotikk | Internet of Things | Innovasjon | Enterprise Software