Noll
Bild: Aleutie, Getty Images/iStockphoto
Vi lever i en alltmer data-driven samhälle, där information blir så mycket av en valuta som pengar. Många konsumenter använder gratistjänster från internet jättar som Google, Facebook, Amazon, Microsoft och Apple, till exempel, och i gengäld ge dessa företag för att följa och tjäna pengar på deras online-beteende.
Ett av de största problemen i dag är den öppenhet för sådana transaktioner, och den nivå av kontroll som individer har över ödet för den personliga information som de är-ibland omedvetet — avslöja att organisationer med vilka de interagerar online. Den senaste tidens röster på båda sidor av Atlanten har visat att det finns kapacitet för data-kunniga organisationer för att suga upp och profilera stora mängder användardata — inklusive demografi, konsumenters beteende och internet-aktivitet-för att micro-målet reklam, nyheter och tjänster till stöd för särskilt mål eller syften.
Klart, data dammluckorna är öppna för företag av alla storlekar och beskrivningar, vilket otaliga möjligheter för en aktuell analys i syfte att uppnå konkurrensfördelar. Även om fokus är för närvarande på lutande mot kundernas beteende, data är tillgänglig på flera punkter i den produkt eller tjänst försörjningskedjan, och kommer i många former — traditionella (strukturerade), ad-hoc (ostrukturerade), i realtid, och sakernas internet – eller M2M-genereras, för att nämna några.
Företag som genomför big data analytics framgångsrikt kan skörda rika belöningar från kostnadsbesparande till att effektivisera och inkomster genererar innovationer. Detta kan hjälpa företag att nå en digital transformation, vilket möjliggör för dem att upprätthålla konkurrenskraften i ansiktet av någon störande startups — som är data-driven nästan per definition-att växa upp i sina marknader.
Dock praktiskt business insights inte automatiskt flöde från en störtflod av heterogena information: värdefull data måste identifieras, organiseras och analyseras, och att resultaten implementeras i alla berörda delar av verksamheten. Det kräver planering, budget och rätt verktyg och kompetens.
Denna översikt, och resten av ZDNet särskild rapport, undersöker läget i big data analytics. Vi kan ha passerat “peak hype” om frågan — analysföretaget Gartner släppte Big Data från sin Hype Cycle for Nya Tekniker och tillbaka i 2015-men ännu har det inte hållit sitt löfte?
Hur mycket data?
Försök regelbundet för att uppskatta hur mycket data som genereras i världen varje år, och i vilken form. Tillbaka 2014, IDC och EMC sätta den “Digitala Universum’, 4,4 zettabytes (ZB) i 2013 — 4,4 biljoner gigabyte — och förutspådde att detta skulle växa till 44ZB år 2020 kommer mer än fördubblas vartannat år. Den senaste uppskattningen, från IDC och Seagate Data Ålder 2025 rapport, sätter 2025 figur (som nu kallas “Global Datasphere’) på 163ZB — en tiofaldig ökning från 16.1 ZB som skapats i och med 2016.
Bild: IDC/Seagate
IDC/Seagate rapport förutspår också att den största delen av världen data skapande kommer att flytta från konsumenter till företag, den senare står för 60 procent år 2025. Trender som driver denna förändring, enligt rapporten, är: utvecklingen av data från företag bakgrunden till liv kritiska, inbyggda system och sakernas internet; kognitiv/AI-system som förändring i landskapet, mobil och data i realtid, och säkerheten som en viktig grund.
Alla uppgifter som behöver ett hem, antingen permanent eller tillfälligt, vilket förklarar intresse av en lagring företag som Seagate i detta område.
I ett uttalande lanseringen av rapporten, Seagate VD Steve Luczo, som snart kommer att bli arbetande Styrelseordförande) sade: “Medan vi kan se av denna nya forskning som era of Big Data” är över oss, värdet av uppgifter är verkligen inte i den “kända”, men i det “okända” där vi är väldigt underskattar potentialen i dag. Vad som är riktigt spännande är de analytics, nya företag, nya tankar och nya ekosystem från industrier som robotik och maskin-till-maskin-lärande, och deras djupa sociala och ekonomiska konsekvenser för vårt samhälle. Möjlighet för dagens företag och morgondagens entreprenörer för att fånga värdet av uppgifter är enorm, och vårt globala företagsledare kommer att utforska dessa möjligheter för årtionden framöver.”
Vilka uppgifter?
Inför obegripliga mängder data, CxOs kan bli förlåten för att känna sig överväldigad. Men, naturligtvis, inte alla data är lämpligt eller tillgängligt för analys. I de Data som Ålder 2025 rapport, till exempel, IDC uppskattar att år 2025 cirka 20 procent av uppgifterna i den globala datasphere kommer att vara av avgörande betydelse för vårt dagliga liv, och 10 procent av de som kommer att vara “alltför strikta’:
Bild: IDC/Seagate
Rapporten konstaterar att: “uppkomsten av alltför strikta data måste tvinga företagen att utveckla och distribuera datafångst, analys och infrastruktur som ger extremt hög tillförlitlighet, bandbredd och tillgänglighet, mer säkra system, nya affärsmetoder, och även nya rättsliga infrastrukturen för att minska exponeringen för att flytta och potentiellt handikappande skulder.”
AI och lärande kommer i allt högre grad att vara involverat i big data-analys, vilket ytterligare begränsar den mängd data som finns tillgängliga. I de Data som Ålder 2025 rapport, IDC uppskattar att det i slutet av år 2025, och endast 15 procent av uppgifterna i den globala datasphere kommer att vara taggade — och därför lämplig för AI/ML analys — och endast 20 procent av det (3% av det totala antalet) som faktiskt kommer att analyseras av kognitiva system:
Bild: IDC/Seagate
Big Data trender och prognoser
I början av varje år, experter inom en mängd högteknologiska områden erbjuda sina sammanfattningar av aktuella trender och göra prognoser för de kommande 12 månaderna. Big data är inget undantag, och vi har sorterat flera 2017 bidrag, tilldelning av prognoser till en rad framväxande kategorier. Här är hur ett urval av de expertkommentator community ses big data landskapet 2017 fick igång:
Förutsägelser från: Acodez, Big Data på ett Enkelt sätt, Datafloq, Datameer, Enterra Lösningar, Gartner, HP Enterprise, IBM, Infogix, MapR, Oracle, Ägg, Pentaho, Quantzig, RTInsights, Sysmech, Tableau Software
Analys & bild: ZDNet
För big data-branschen-watchers, den mest inflytelserika området för 2017 är ‘AI, maskininlärning, automation & kognitiva system”. Analysföretaget Ovum, till exempel, menar att “lärande är den stora disruptor” och “Analytiska applikationer bädda in maskininlärning är på väg att bli norm”. Ökande grad av automation är nästan ett oundvikligt krav om organisationer är att undvika att drunkna i data — eller, som Enterra System uttrycker det: “Artificiell intelligens kommer att växa i takt med att mängden data ökar”.
Den andra placerade återkommande tema för big data-experter är framväxten av “Data-driven business program” (också ett centralt tema för denna ZDNet särskild rapport). Oracle uttrycker det kort och koncist med att konstatera att “Program, inte bara analytics, driva big data adoption”, medan Gartner förutspår att “Data och analyser kommer att driva modern verksamhet, och inte bara speglar deras prestanda”.
Andra ofta citerad trender och prognoser för 2017 oro “Informatik, data-vetenskap & data engineering”, “Big data spridning & förvaltning” och “Cloud-baserade analysprogram & integrerade data tjänster”.
Vad undersökningar säger
NewVantage Partners
Managementkonsultföretag NewVantage Partner (NVP) har varit fråga verksamhet och teknik beslutsfattare i Fortune 1000-företag om deras big data installationer sedan 2012, att publicera sin femte rapport i April 2017.
Rubriken hitta från NVP: s Stora Uppgifter Verkställande Undersökning 2017 är att 80.7 procent av deltagarna bedömde sin big data investeringar för att bli framgångsrik, med 48.4 procent rapportering av “mätbara resultat”. Den senare var indelad i “högsta framgång” (disruptive/innovativa/annorlunda, 21%) och “mycket framgångsrik” (evolutionär, 27.4%).
Data: NewVantage Partners / Chart: ZDNet
Borra sig ner i de typer av initiativ som pågår, i toppen av listan i termer av resultat är “Minska kostnader genom operativa kostnadseffektivitet”, med 72.6 procent av de tillfrågade att starta projekt och 49,2 procent rapportering fördelar. Detta ger en svarsfrekvens på 67,8 procent, vilket faktiskt är förbättrat genom att ” Skapa nya möjligheter för innovation och avbrott på 68.7 procent framgång (64,5 procent igång, och 44,3% rapportering förmåner).
Trots dessa framgångsrika projekt, Fortune 1000-företag som deltog i NewVantage Partner fortfarande verkar vara kämpar för att upprätta en data-driven kultur: till 69,4 procent har börjat initiativ på detta område, men bara 27.9 procent rapport fördelar (40.2% framgång).
Bland de kulturella hinder för big data antagande NVP: s undersökning finner “Bristande organisatorisk anpassning” – rubrik i listan på 42,6 procent, följt av “Brist på mellannivå antagande och förståelse” och “Business motstånd eller brist på förståelse” (41%):
Data: NewVantage Partners / Chart: ZDNet
Diagrammet ovan tyder på att de viktigaste kulturella hinder för big data antas ligga med affärsenheterna snarare än IT-avdelningen, som frågor om data governance, teknik förståelse och data strategi är alla som citeras av betydligt färre svarande (<30%).
En viktig indikator på att en organisation har en data-driven kultur, eller är att arbeta mot det målet, är förekomsten av en Chief Data Officer (CDO). NVP: s 2017 undersökning visar att Fortune 1000-företag har gjort framsteg på den fronten på senare år:
Data: NewVantage Partners / Chart: ZDNet
Trots att 60 procent av företagen hade en CDO 2016, upp från bara 12 procent under 2012, deras nuvarande roll sågs som “defensiv” av en majoritet (56%) av NVP: s respondenter — i första hand reagera på förändringar i regelverk och efterlevnad av krav. Att gå framåt, chefer anser att Cdo: er bör bli mer “offensiv’ — för att ta täten i att driva på innovation för att bygga en data kultur och hantering av data som företag tillgång. Det är förmodligen därför de flesta (53,4 procent) tror att Cdo: er bör rapportera till antingen VD (35.6%) eller COO (17.8%), snarare än CIO (15,6 procent).
NVP: s undersökning bad också de svarande som störande faktorer-bortsett från big data-man räknar med att påverka deras organisationer under det kommande decenniet. Inte överraskande, med tanke på den nuvarande nivån av hype kring ämnet, artificiell intelligens och maskininlärning kom ut på topp-både singel och multipla val format:
Data: NewVantage Partners / Chart: ZDNet
GoDataDriven
(NB: ‘slimme” betyder “smart” på nederländska)
För att ett Europeiskt perspektiv har vi granskat Big Data i en Undersökning från holländska data konsult GoDataDriven, som genereras från deltagare på Big Data Expo i Nederländerna. 2016 undersökning befolkningen uppgick till 315, varav 168 befattningshavare och 147 chefer.
När vi frågade om de viktigaste drivkrafterna för framgångsrik big data genomförandet, föregångare var “En tydlig vision”, som citeras av med 71,4 procent av de svarande, följt av “Stöd från ledningen” (51.2%) och “Stödjande system och processer” (40.1%):
Data: GoDataDriven / Chart: ZDNet
Som med NewVantage undersökning som diskuterats ovan, ‘företag’ faktorer verkar ha en mer framträdande plats än DET problem när det gäller big data framgång.
Det är inte att säga att IT-frågor är inte viktiga, förstås. När vi frågade om utmaningarna i att sätta upp stora uppgifter infrastruktur, de två översta svaren berörda uppgifternas kvalitet och tillgänglighet:
Data: GoDataDriven / Chart: ZDNet
När data av tillräcklig kvalitet finns tillgängliga och en data-driven process ska kunna genomföras respondenter förklarade att “Big data kunskap och data vetenskap expertis” och “Tid för experiment’ som de största utmaningarna:
Data: GoDataDriven / Chart: ZDNet
Ett brett utbud av affärs-områden togs upp av datadrivna applikationer, som leds av en analys av marknaden, marknadsföring, webb-butiker och online apps. Endast 2,1 procent av Big Data respondenter uppgav att de inte hade någon data-drivna applikationer.
Som NewVantage Partner, GoDataDriven frågade sin undersökning befolkningen om artificiell intelligens. Även om endast 14,3 procent var närvarande på att genomföra djupt lärande och AI, 52 procent var antingen utveckling eller som planeras för att genomföra djupt lärande och AI i tre år:
Data: GoDataDriven / Chart: ZDNet
AI är definitivt på dagordningen, men det är klart tidiga dagar: drygt en av fem Stora Uppgifter respondenter (21,5 procent) hade inga planer på detta område.
En expert visa
Sumit Nijhawan, VD och koncernchef på Infogix
Bild: Infogix
För att få en överblick av läget i big data, vi pratade till Sumit Nijhawan, VD och koncernchef för data integritet och data governance lösningar specialist Infogix, vars Topp Tio Omvälvande Trender Uppgifter för 2017 var bland de källor för förutsägelser analys som presenterades tidigare. Här är några viktiga iakttagelser från intervjun.
“Nästan varje kund som jag går till har en big data-initiativ, och många projekt börjar med en hel del fart, investeringar och “buzz”. Men de framsteg som de har gjort, det värde de får ut av sin investering, ofta inte uppfyller de ursprungliga förväntningarna,” var Nijhawan inledningsanförande.
“Vissa saker som vi arbetar med våra kunder, som vi tycker kan vara omvälvande, är en kombination av data governance, data förberedelse, self-service och mindre data sjön distributioner,” tillade han.
Så du skulle säga att den viktigaste flaskhalsen i utvinna insikter från “big data” är faktiskt i att upptäcka värdefulla data som företagen har, och att göra det tillgängligt för analys?
“Ja, de flesta av fokus har varit att ge lagring miljö-Hadoop-och låt alla dumpa de data de kan i det. Två saker saknas här: för det första, vad är egentligen målet och ett mål för vad de är dumpning i Hadoop? Och för det andra, även om data är det, det är inte regleras, det är inte sökbara, att det inte går att hitta, och det är inte det på ett sätt som drar konsumenter till data och hjälper dem att få värde. Det är mycket IT-beroende, fortfarande kräver mycket teknisk människor att arbeta på det. Det är inte hur du ska få värdet av dessa investeringar.”
Betyder detta att det finns en konflikt mellan “business” och DET — organisationer behöver göra för att främja en “data kultur’, så att affärsenheterna vet hur man ställer rätt frågor av data och generera insikter sig?
“Vi behöver verkligen mer av en verksamhet som drivs data kultur. Det är inte så att DET killar inte vill dela med sig av: det är bara det att de har dessa verktyg och de känner att de gör ett bra jobb, men att de inte riktigt vet vad slutmålet är. Det är därför, om det är en verksamhet som drivs initiativ, det är svårt för att det leder till något meningsfullt.”
Är det någon länk som saknas i många organisationer-en Chief Data Officer (CDO), som kan ansluta C-suite och affärsenheter för att IT-avdelningen?
“Det finns absolut en länk som saknas, men jag skulle inte säga att det är bara om en person. “Data kultur” som nämns ovan om människor, processer och teknik, tillsammans med de uppgifter själv. Det är verkligen om end-to-end process: här är hur jag kommer att källan min data; detta är vad jag ska göra med min data, och detta är hur jag kommer att ge min data. Som end-to-end-processen måste vara initierade av ett företag sponsor, vilket säkert kan vara en CDO. Problemet med Chief Data Officer paradigm idag är, det är nästan som en byråkratisk position i många organisationer: CDO förmodligen har inflytande, men har hamnat bli den person som säljare gå till för att propagera för sina tekniker, snarare än någon som är där för att uppfylla företagets mål.”
Outlook
Det finns en hel del uppgifter om, och det kommer att finnas en hel del mer i framtiden, men organisationerna har fortfarande mycket arbete att göra om de är för att rutinmässigt sin tur stora data till värdefull verksamhet insikter. Inrättandet av en data-driven kultur och tillgänglighet av data forskare och ingenjörer (antingen externt rekryterade eller utbildas internt) kommer att vara viktigt för att hjälpa till att åstadkomma detta, åtminstone på kort sikt.
Som astronom och tidiga digitala forensic investigator Clifford Stoll uttryckte det: “Data är inte information, Information är inte kunskap, Kunskap är inte förståelse, förståelse är inte visdom”. Så data vetenskapsmän och ingenjörer som kommer att behövas för att extrahera information och kunskap från stora, heterogena samlingar av data, och en data-driven kultur kommer att se till att rätt frågor ställs, så att förståelse — och kanske till och med visdom-för att nå relevanta delar av organisationen.
Om vi ser framåt, ökade nivåer av automation-särskilt inom området data förberedelse — och tillgänglighet av self-service analytics-verktyg som kommer att göra data-driven insikter lätt tillgänglig för icke-specialist användare.
Tillsammans med data governance sådana förordningar EU: s GDPR (och oavsett version av det inlägget-Brexit BRITTISKA regeringen genomför), dessa utvecklingar bör hjälpa till att återställa balansen av makt i “big data-samhället”, bort från internet jättar och mot mindre organisationer och individer.
Läs mer om big data
Forskning: Hur big data är det som driver verksamhet insikter i 2017 (Tech Pro Forskning)Salesforce och IBM presentera mer data integration toolsMapR automatiserar uppgifter nivåindelning för hybrid cloudKafka blir SQL med KSQLTableau detaljer dess naturliga språket frågan planer
0