Microsoft skapar den första automatisk DNA-lagring av data retrieval system
Microsoft anser att syntetiska DNA kan bli nästa stora språng i långsiktig datalagring.
Läs mer: https://zd.net/2Jv8oHT
Arkitekter kan välja en primär cloud service provider och/eller som Hadoop system för att hysa sina uppgifter. Flytta, omforma, katalogisering, och ecb-data är en annan historia, så arkitekter kom till mig efter att kasta upp sina armar för att söka lösningar för att tämja den information tyg, tänkte att de måste saknas något: “finns det inte en enda plattform?” frågade de.
Tyvärr, nej. Det är bara best-of-breed verktyg eller data management-plattformar i övergången.
Det finns historia bakom detta. Data management middleware företag tenderar att vara relativt små. Information management leverantörer som IBM, Oracle och SAP plocka bort mindre data management leverantörer och lägga till deras erbjudanden som lösningar till deras övergripande plattform portfolio för att sälja som möjliggörare av deras big data och cloud systems. Små leverantörer inte har medel till förebyggande syfte bygga upp resurser som marknader förskjutning mot nya arkitekturer som big data och molntjänster. Stora leverantörer lösa 80% – regeln i företag som driver sina företag på traditionella pålitlig teknik. Alltså, data management och styrning har halkat efter big data och cloud trender. I slutändan, både säljare har haft en vänta-och-se-strategi, att bygga kapacitet och rearchitecting lösningar bara när kunder började visa en högre nivåer av intresse (det är i RFI/RFP).
Våra Forrester Wave utvärderingar dokumentet den här historien. Som Forrester såg att 50% av företagen var att bygga Hadoop data sjöar under 2011 och analytics – /BI var att flytta till molnet strax efter, data management leverantörer i vår Vågor var bara att börja räkna ut hur man arbetar i dessa miljöer och köras 2015. Även i dag, många av dessa leverantörer erbjuder fortfarande en på lokaler verktyg och annat moln verktyg. Nyare kan endast köras i molnet.
Riskkapitalister och private equity-företag hoppade i för att finansiera stora data startups tidigt. Men några nystartade företag vuxit fram när det redan fanns en hel marknad av open source-verktyg för förtäring, rörledningar, säkerhets -, och metadata. Där var det pengar i det? Således marknaden flyttas till sexigare erbjudande av maskininlärning och investerarnas pengar följts. Varför bry sig om uppgifter när du kan ha insikter?
Jo, företag som bryr sig om uppgifterna. De alltid gjort och kommer alltid göra. Det är den största tekniska och talang skuld i en organisation. Misslyckandet av big data sjöar och bås i skalas ut områden som IoT-och AI-alla härstammar från släpar data grunder. Det är en vagn-innan-de-häst scenario.
“Bra!” säger du. “Trevlig historielektion. Så vad gör vi?”
Hitta nya verktyg för vad de är. Ignorera plattform och lösning etiketter som tillämpas för att produktnamn och erbjudanden. Vad som finns är löst koncernens funktioner för data som är specifika användningsfall. Potential för kompletta lösningar är det i kommersiella produkter. Användargränssnitt och erfarenheter är bättre än öppen källkod. Mer kommunikation och samarbete funktionalitet finns. Leverantörer vet att regelefterlevnad och säkerhet är insatser för alla företag. Och om det inte finns kontakter för de ledande cloud och Hadoop plattformar, eller ledande BI-och näringsliv, som är en deal breaker. Baslinjen strategi för att förvärva dessa verktyg kommer till att veta dina användare och deras processer, öppenhet av metadata förråd och abonnemang modeller. Slutligen, du måste lösa för idag och ge dig själv utrymme för tillväxt (kolla vad min kollega Noel Yuhanna bara publiceras på framtidssäkra). Du kommer att refaktorera din plattform förr snarare än senare.
Nu, här är vad du behöver veta för primära data management tools:
Metadata management. Du kommer att behöva två eller tre uppgifter kataloger: en för fysisk och logisk metadata management att data ingenjörer behöver för att bygga och hantera system; ett för data förvaltare att hantera logiska metadata, semantik, och data politik, och eventuellt en tredje på data katalog som stöder sök och konsumtion kapacitet för BI-analytiker och data för forskare att använda data om data governance katalog för data stewards inte göra jobbet. Ja, Collibra, EDQ, och Informatica är gemensamma sängkamrater. Alation med Navigator eller Atlas i Hadoop ekosystem är inte ovanligt för data sjöar, heller.Master data management. Det är oftast de traditionella relationsdatabaser-baserade MDM-verktyg som körs för att stödja komplexa kartläggningar av data mellan system. Den lever på kärnan av databaser och integration. Då hittar du grafen-baserade MDM att hantera komplexa visningar för kunder och produkter som sitter närmare BI-och affärssystem ansökan när logiska modeller behöver mer förberedelser och konvertering till semantiska eller affärsmodeller. Sedan finns det en DIY-MDM bor inne data virtualisering och Kafka som informerar data modell och kartläggning för BI utsikt, microservices, och ESBs.Data integration. Det är där det roliga börjar som ETL, virtuell data, data bus, streaming, replikering, förtäring verktyg och data förberedelse alla leva självständigt eller i en integrerad pipeline. Arbetsbördan mönster definiera vilka data integration verktyg används och där i dataflödet eller ekosystemet (moln/on-lokaler) de behövs. Dina uppgifter arkitektur tar på referens mönster anpassat till transaktioner, processer, automation, analytics, och analytics (OLAP) och operativa (OLTP) arbetsbelastning. Ditt referens-arkitekturen är utformad för första flöden, inte datakällor som traditionellt gjort.Data profilering och härstamning. Fristående eller inbyggd — ta ditt pick. Men det viktigaste är att om profilering och lineage analys är inbäddade, chansen att det är orienterade mot den grundläggande lösning. Förråd profil för metadata och data källa fånga. Data governance-verktyg profil för logiska och business metadata och källa härstamning. Data kataloger profil för fysiska och logiska metadata, relationer, och källa härstamning. Vissa kanske profil data flöde metadata. Fristående verktyg tenderar att fokusera på metadata, modell, härstamning, och data flow-analys för analys av orsak och verkan. Vara uppmärksam på vem som kommer att använda verktyg, vad de behöver veta, och att profilering och lineage analys är obligatorisk för alla uppgifter som ansvar att förstå data.
Mer från Forrester på ny teknik, klicka här.
Av Michele Goetz, Chefsanalytiker
Det här inlägget publicerades ursprungligen här.
Big Data
AI och big data vs etik: Hur att se till att din artificiell intelligens projektet är på väg rätt sätt
Vill vara en data scientist? Fem sätt att få det jobb i data-vetenskap
Data vetenskap, etik, och den “massiva drägg’ problem
Säkerheten i data: Genomförande av data-driven trafiksäkerhet
Kalifornien vill Silicon Valley för att betala dig en data utdelning (CNET)
4 steg för att användaren buy-in för big data (TechRepublic)
Relaterade Ämnen:
Big Data Analytics
Innovation
CXO
Artificiell Intelligens
Affärssystem
Förvaring