Tony Baer (dbInsight) Bidragande skribent
Ovum
Fullständig bio publicerad i Big on Data den 4 januari 2022 | Ämne: Big Data
Vår syn på datanät fick så stor respons förra året att vi visste att ämnet förtjänade sin egen syn på 2022.
Enligt Google Trends var “datamesh” ett av ämnena som bröt internet 2021 – ännu mer än “data lakehouse”. Det är dock ett ämne som tar upp en smärtpunkt: vi dumpar alla typer av data i datasjöar eller andra silos, sedan tappar vi koll på dem eller använder och styr dem inte tillräckligt.
Efter ett par års inkubation förväntar vi oss nu att datanät kommer att bli föremål för sin första seriösa granskning.
Datamesh är en idé som, beroende på vem du pratar med, skapades av Mark Beyer på Gartner eller Zhamak Dehghani på Thoughtworks. För ordens skull använde de båda samma term, och de adresserar båda den frånkoppling som uppstår när du samlar stora mängder data – och försöker sedan ta reda på vem som äger den och hur den ska nås och styras. Men det är ungefär allt de har gemensamt.
Gartners koncept handlar mer om att mönstra organisationen av metadata utifrån principer som är besläktade med fysiska mesh-nätverk. Genom att låna inspiration från Metcalfes lag, eftersom antalet metadata-“noder” i ett datanät förökar sig, desto mer fullständigt utformad blir metadatan (det kan vara någon form av AI-självlärande inblandad). Med Gartner-forskningen fast bakom en betalvägg borde det inte vara förvånande att konceptet som utvecklats på Thoughtworks tog över samtalet. Det bygger på självorganiserande domäner som satsar på livscykelmetoder för att behandla data som produkter, ta ägarskap över allt från datapipelines till styrning och säkerhet. På så sätt tänker team mer brett om sin data utöver att bara bygga pipelines eller organisera datamängder.
Datamaskor adresserar ett antal giltiga farhågor om begränsningarna för top-down-hantering eller ägande av data. Men för närvarande, som koncept, är datanät ännu inte helt färdiga, särskilt när det gäller självbetjäning eller federerad styrning. Den gängse uppfattningen om datanät är att domänerna med lämplig ämnesexpertis bör vara de som äger data och hanterar den från vagga till grav. Det är en bottom-up-strategi för datahantering och styrning som teoretiskt sett bör förbättra ansvarsskyldigheten. Nackdelen är att datanät, om de inte hanteras korrekt, kan förstärka eller föröka datasilos, vilket leder till slöseri, dubbelarbete och inkonsekvent hantering och styrning.
Även: Data mesh: Ska du prova det här hemma?
Vi tror inte att datanät är tillräckligt definierat för att fungera över företag, men vi tror att datanät kan visa sig vara effektiva när de implementeras i en mer blygsam skala. Specifikt när de implementeras över team som redan delar ett gemensamt sammanhang som kan härröra från historia av samarbete och/eller från att ha delad, angränsande eller överlappande ämnesexpertis. I ett företag skulle vi kunna förutse grupper av datanät som dyker upp kring fokuserade discipliner, såsom kundupplevelse, supply chain management, produktutveckling och så vidare.
Fram till nu har det arbete som publicerats om datanät varit generellt positivt, och vi förväntar oss att se leverantörer i datautrymmet “datamesh tvätta” sina produkter 2022. Vi pratar om databaser, BI, styrning, ELT/data transformation, datakatalogisering, frågefederation och informationslivscykelhantering. Leverantörer kommer att lägga ut marknadsföringsmeddelanden för att visa hur deras erbjudanden kan stödja team som bygger datanät. Ja, det kommer till och med att bli en virtuell konferens tidigare än du tror.
Men kom ihåg att datanät är ett process- och arkitektoniskt tillvägagångssätt som delegerar ansvaret för specifika datamängder till de “domäner” som har den erforderliga sakkunskapen. Datamesh är inte en teknik. Förhoppningsvis kommer leverantörer inte att hoppa över hajen och positionera sina erbjudanden som datanätprodukter.
Vår känsla av förestående motreaktion härrör från de många privata meddelanden vi fick till vårt LinkedIn-inlägg som ger en teaser till vad som publicerades här . Kärnan i dessa meddelanden var att datanätverk kunde förvärra datasiloproblem som redan finns i de flesta företag. Vi anser att det är en mycket giltig oro.
Även om datanät som koncept var fullständigt utarbetade och skottsäkra, är ett tecken på att idén tas på allvar genom graden av offentlig granskning. Och så, det faktum att ett bakslag inträffar är faktiskt en återspegling av graden av att datanät har träffat en verklig smärtpunkt.
Men det finns också en annan kicker: datanät har ofta kontrasterats med dataväv. . Datatyger är utformade för att främja åtkomst till data över logiska och fysiska butiker, så vi tror att kontrasterande datanät till dataväv är en falsk dikotomi.
Vänta på den tanken.
En utmaning är att definitionen av dataväv är ganska oklar. Prova den här från NetApp: “En dataväv är i sitt hjärta en integrerad dataarkitektur som är anpassningsbar, flexibel och säker. På många sätt är en dataväv ett nytt strategiskt tillvägagångssätt för din företagslagringsverksamhet, en som låser upp det bästa av moln, kärna och kant.” Är det flummigt nog för dig? För våra syften anger vi bara att ett datatyg börjar med ett gemensamt metadatabakplan, så när olika team beskriver sina dataprodukter talar de alla från ett gemensamt notblad.
Här är ytterligare en förutsägelse som lyfter fram att datanät och dataväv faktiskt har synergi: Vi förväntar oss att vanliga metadatabakplan kommer att bli en sovande fråga i år, vilket svarar mot behovet av att förstå all data – särskilt när den ackumuleras i molnet.
Du kanske inte behöver ett datanät för att börja bygga ett datatyg. Men om du funderar på att starta ett datanätinitiativ, tänk inte ens på att komma igång utan någon form av dataväv.
Detta är den andra delen av vår Data Outlook för 2022. Klicka här för en del en, där vi tillhandahåller vår syn på strömningskonvergens i realtid, maskininlärning och datahantering.
ZDNet rekommenderar
Covid-testning: De bästa snabbtestsatserna hemma De 10 bästa smartphones som finns tillgängliga nu Vinn frukost med våra favoritvåffelbryggare De bästa iPads: Vilken modell ska du köpa?
Datacenter | Digital transformation | Robotik | Internet of Things | Innovation | Företagsprogramvara