IT-chefer att möta en ständig flod av “ny och förbättrad” produktspecifika påståenden. Men lagring av data har förändrats mer under de senaste 10 åren än under de föregående 25, och förändringstakten är snabbare: Vi kommer att se mer förändring i nästa decennium än vi någonsin sett tidigare i dator för lagring av data. Här är vad som kommer som du behöver veta.
Att förstå vad som är på gång-något de närmaste månaderna, position kunniga teknik ledare till att vara proaktiv, mervärde agenter för förändring. Innovationer är verkliga och grundläggande, som påverkar hur data centers är utformad och skötas, samt gör otroliga nya tillämpningar.
Verkställande översikt
För tjugo år sedan var det disklagringssystem — vissa små, vissa stora — och tejp för arkivering. Nu, lagring landskapet är mycket mer varierande, allt från PCIe Ssd-enheter med resultatet för 2010 miljoner dollar disklagringssystem, att skala ut lagring kan lagra ett hundra petabyte-hundra miljoner gigabyte — på billig råvara servrar och automatiserade tillräckligt att två personer kan hantera hela kedjan.
Förvaring alternativ är att utöka, liksom krav på ansökan och i/O-profiler. Vad som fungerade för tio år sedan-vad har vi gjort ett arbete-är mindre och mindre adekvat nu. Här är en översikt av de viktigaste applikationer och tekniker som förändrar hur vi anger och distribuera lagring.
Den viktigaste drivkraften
Samtidigt som tekniken möjliggör nya lösningar, är den viktigaste drivkraften — varför vi behöver nya lösningar-är det tillväxten av data.
Video-konsument-och övervakning-är den viktigaste komponenten av de totala kapacitet för tillväxt. Men i företaget, insamling och analys av webb-genererade data — kundernas beteende, annons effektivitet, A/B design test, värme kartor, semantisk analys, och mer-allt generera data som själv måste utvärderas för den ekonomiska värde.
Trend-heavy industries — såsom mat, mode, underhållning och sociala medier-som måste hålla sina virtuella finger på pulsen av förändring, måste samla in och analysera stora massan av strömmande tidsserier data för att förstå och förutsäga vart marknaderna är på väg.
Större kornighet och specificitet är också att öka data volym och hastighet. Stora livsmedelskedjorna spåra sina försörjningskedjor ner till den enskilda paket med ekologisk grönkål-och även spåra vem som köpte det paketet — om en produkt skulle återkallas. Lagringskostnader fortsätta att minska med 25% till 40% per år, fler och fler applikationer kommer att bli ekonomisk, vilket ytterligare ökar efterfrågan på lagring.
Strömmande data, video, artificiell intelligens och maskininlärning (ML), sakernas internet, och mer kommer att driva eget lagrar data i exabyte sortiment under det kommande decenniet. Det grundläggande problemet med AI är att öka den “intelligens” av AI, det behöver exponentiellt större mängder data utbildning — och lagring som går längs med den.
Företag som utnyttjar möjligheterna i big data analytics och kommer att blomstra. Den andra kommer att falla i glömska.
Tänk på detta verkställande guide ett system för tidig varning för störande trender och tekniker som kan hjälpa till att etablera ditt företag i långsiktiga digitala framgång. Fokus är på vad den teknik som möjligt, så att du kan bläddra igenom för att se vilka möjligheter som är mest intressant för dig.
Måste läsa
Vad är lärande? Allt du behöver för att vetavad är sakernas internet? Allt du behöver veta om Internet of Things rätt nowWhat är AI? Allt du behöver veta om Artificiell IntelligenceEnterprise AI och lärande: att Jämföra företag och applikationer
Storage management
För tjugo år sedan lagring i silor var bane lagring och databasadministratörer. Ansökningar som var svetsade till server OS och disklagringssystem de sprang på, uppgraderingar innebar dyr ny hårdvara och riskfyllda migreringar, och behovet av att hantera användning spikar innebar den infrastruktur som var kroniskt över konfigurerad.
OS virtualisering, behållare, cloud integration, och scale-out arkitekturer (mer om dessa senare) som stöder dem kan göra oss länge för de dagar då vi kunde gå in i ett datacenter och tryck på vårt lager. Nu med cloud gateways integrerade i företagets lagringssystem, och utvecklare snurra upp hundratals terabyte för testning, är det svårare än någonsin att veta vem som använder vilka lagring, eller varför. Och ännu svårare att veta om det är kostnadseffektivt, särskilt med tanke på den Bysantinska bandbredd prissättning utformad för att hålla dina data som gisslan.
Vad som behövs, och kommer så småningom att visas, är cross-leverantör lagring spårning och analys exempel på applikationer som använder maskinen lära sig att förstå och meddela admins på att optimera den totala infrastruktur för lagring på prestanda och kostnad. Dessa program kommer att veta vad olika alternativ lagring kostnad (inklusive bandbredd avgifter), hur de gör, och deras tillgänglighet/tillförlitlighet, och väga det mot vilka program behöver och deras ekonomiska värde till företaget. Det är en lång ordning, så vad händer just nu?
Nu är vi ungefär där vi var för 20 år sedan, hantera olika lager stackar. Tills AI kan hjälpa till, vi måste förlita sig på ad hoc-blandning av kalkylblad, heuristik, och mänsklig intelligens att göra det bästa av vår generösa förvaringsmöjligheter.
Stort minne servrar
Intel, bland andra, kommer att vara att införa icke-flyktiga, random access memories (NVRAM) detta år. Dessa minnen behålla sina uppgifter-utan batterier-genom makt cykler.
Eftersom NVRAM sitter på serverns minne buss, det är storleksordningar snabbare än diskar eller Ssd. Men till skillnad från Ssd-enheter, NVRAM kan nås antingen minne byte, eller 4K lagring block. Detta ger arkitekter flexibilitet i konfigurera system för maximal prestanda och kompatibilitet.
Ett vanligt användningsområde fall kommer att se NVRAM används i stort minne servrar. Idag, den senaste Xeon SP (Skylake) servrar kan stödja upp till 1,5 TB minne per processor, men den 12 128 GB Dimm-moduler som krävs för att uppnå detta är kostsamt. Istället Intels Optane NVRAM-Dimm-moduler är prissatta så lågt som $625 per 128GB — och använder mycket mindre ström.
En dual-socket Xeon SP server kan stöd för 3TB-minne. Med prisvärda Optane Dimm-moduler, stora databaser kan köras i minnet, dramatiskt förbättra prestanda.
Intel är inte den enda konkurrenten i NVRAM utrymme. Nantero beror på att börja frakt NVRAM-Dimm-moduler nästa år, och att använda teknik som är ännu snabbare än Optane. Summan av kardemumman är att NVDIMMs är här idag, och erbjuder verkliga fördelar jämfört med DRAM-Dimm-och fler kommer snart.
Måste läsa
Intel sätter Optane NAND-minne och lagring tillsammans på H10 SSDFirst Optane Prestanda tester visar på fördelar och begränsningar av Intels NVDIMMsNVRAM febril takt med Nantero investmentBuilding en storskalig dela flash infrastruktur
Scale-out lagring
Alla moln-leverantörer använder mycket skalbar lagring lagra exabyte data. Det handlar om teknik som gör sin väg till företag, inom såväl hårdvara (Nutanix) och mjukvara (Quobyte), bland andra.
Den största skillnaden mellan skala arkitekturer — som är typiskt delad-inget kluster som kör på hårdvara-är hur de skyddar data. Aktiv I/O-system oftast förlita sig på triple replikering, medan mindre aktiva system förlitar sig på avancerad radera koder — mer om dessa i nästa avsnitt-för att ge ännu högre nivåer av skydd.
Det viktiga är att privata datacenter kan skapa infrastrukturer som är konkurrenskraftiga med moln-leverantörer, och erbjuder lägre latens och mer kontroll. Det viktiga är att förstå vad din bas arbetsbelastning krav, och degradera moln användning till övergående eller tillsatta arbetsbelastning.
Måste läsa
Toppen moln leverantörer 2019: AWS, Microsoft Azure, Google Cloud, IBM gör hybrid moveHPE, Nutanix partner på hybrid cloud som en tjänst offeringAmazon AWS: Komplett business guide till världens största leverantör av cloud servicesCloud lagring: Minimerar reparationskostnader
Mycket flexibel förvaring
Radera koder har använts i årtionden för att öka data densitet i hårddiskar och — i form av RAID — disklagringssystem. Men avancerade radera koder möjligt för användarna att ringa upp i den nivå av skydd och säkerhet de önskar, med mycket låga kostnader.
RAID 5, till exempel, bara skyddar mot en kör fel. Om en disk går sönder, och det är ett allvarligt läsa fel (URE) i en av de återstående diskarna, hela återhämtning kan misslyckas.
Med avancerad radera koder (AEC), 10 (eller mer) hårddisk rand kan konfigureras för att överleva fyra enhet misslyckanden, så även om tre enheter misslyckas, en URE kommer inte att stoppa återvinning. För ultra-hög dataskydd, AEC kan konfigureras för att köra över flera geografiska områden, så att även en förlust av en eller flera datacenter kommer inte att förlora data.
Jämför detta med RAID 5, som bara skyddar mot ett misslyckande. RAID 6, som skyddar mot två misslyckanden, kräver mer paritet, spridda över två enheten är värt kapacitet.
Med AEC kapacitet overhead normalt är ca 40%, men kommer att skydda mot så många misslyckanden — hårddisk, server, även data center avbrott — som du väljer, när de är korrekt konfigurerade. Fyrtio procent kan låta som ett högt pris, men om du någonsin förlorat data på en RAID-array, det är ett fynd.
Nackdelen med att AEC är att den matematik som krävs för att skapa det som behövs för redundans kan vara processor intensivt: Det är inte för transaktionshantering. Men bättre AEC under de kommande åren kommer att minska beräkna krav, vilket leder till förbättrade resultat i många applikationer.
Måste läsa
Att bygga miljoner år diskThe RAID5 delusionGoogle lägger Elastifile moln arsenalThe gränserna för RAID: Tillgänglighet vs hållbarhet i arkiv
Datasäkerhet
Datasäkerhet, som är relaterade till tillgänglighet, men fokuserade på att hålla data i orätta händer, kommer att genomgå en genomgripande förändringar under de närmaste åren. Med tillkomsten av Eu: s Allmänna Bestämmelser för dataskydd (GDPR) förra året, insatser för misskötsel Europeiska medborgares uppgifter ökade dramatiskt. Kryptering vid vila och under flygning krävs. Data överträdelser ska rapporteras. Böter kan vara enorm.
Detta kommer att leda till ett allmänt införande av ett försvar-i-djup-strategier, som ett nödvändigt svar på verkligheten för mobila datorer och sakernas internet: det är för många ingångar för att förlita sig på en enda försvar.
Machine learning i slutändan kommer att spela en viktig roll, men problemet är att stora mängder data som krävs för att träna systemet. Som kräver att organisationer att dela hot data med hjälp av protokoll som möjliggör automatisering av hot kommunikation och förbättring.
Måste läsa
Data-säkerhet är en viktig fråga i GDPR complianceWhat är GDPR? Allt du behöver veta om den nya allmänna bestämmelser för dataskydd
Neurala processorer
Om din organisation använder, eller planerar att använda, lärande på ett betydande sätt, kommer du behöver för att bli bekant med neurala processorer. Neurala processorer är massivt parallella aritmetisk logisk enheter som är optimerade för den matematik som modeller kräver.
Neurala processorer blir allt vanligare. Det finns en i Apple Titta på, och alla moln leverantörer har skapat sina egna mönster. Googles TensorFlow accelerator, till exempel, klarar av att 90 biljoner operationer per sekund. Förvänta dig mycket snabbare versioner i den nära framtiden.
Så vad gör neurala processorer efterfrågan från lagring? Bandbredd.
I realtid tillämpningar, till exempel i robotar, autonoma fordon, och online-säkerhet, neurala processorn behöver utfodras med lämpliga uppgifter så snabbt som möjligt, så bandbredd är viktigt. Som convolutional neurala nätverk har vanligtvis flera olika nivåer, de flesta av de beräkningar resultaten skickas inom neurala processor, inte till extern lagring. Därmed processorer behöver inte L3-cache. Fokus ligger på att mata data med så liten latency som möjligt så krävs matematik kan vara klar så fort som möjligt.
Måste läsa
Företaget AI och lärande: att Jämföra företag och applicationsFacebook är Yann LeCun speglar bestående överklagande av convolutionsChina s AI-forskare undervisar ett neuralt nät för att utbilda sig
Rack skala design
Rack skala design (RSD) är ett begrepp som Intel har varit främjande för år, och bitarna har gått samman under det senaste året, med mer framsteg kommer i år. I huvudsak, RSD är ett svar till de olika priser av framstegen inom Processorer, lagring, nätverk och Grafikprocessorer.
Den RSD konceptet är enkelt. Ta individuella rack av PROCESSOR, minne, lagring, och Gpu, anslut dem med en hög bandbredd, låg-latency samman, och med program, konfigurera virtuella servrar med vilken kombination av beräknar, minne och lagring ett visst program kräver. Tänk på RSD som en mycket konfigurerbar privat moln.
HP: s Samverkan system är ett genomförande av konceptet, som bygger naturligtvis på HP-hårdvara. Liqid Inc. erbjuder en version som stöder hårdvara och flera tyger. Förvänta dig att andra ska komma in på marknaden.
Med tillkomsten av PCIe-v4, och tillhörande uppgradering av NVMe (NVMe kan köra över PCIe), och ökar i antal PCIe körfält Processorer stöd för PCIe samtrafik slutligen har tillräckligt med bandbredd för att hantera krävande applikationer. Med möjlighet att uppgradera komponenter som deras teknik förbättrar — utan bekostnad av att köpa nya allt annat — Cio: er kommer att kunna utöva mycket mer detaljerad kontroll över viktig infrastruktur.
Måste läsa
Dell-Tekniker säger att det är prepping kunder för 5G och AI med nya portfolioHow hyperscale datacenter är att omforma hela DET
Lagring-baserad behandling
Med den snabba tillväxten av data volymer på kanten och i datacenter, det är allt svårare att flytta data till processorer. Istället, bearbetning flyttar till lagring.
Det finns två olika idéer som tas upp under rubriken intelligent storage. Vid kanten, data före behandling och minskning, kanske med hjälp av maskininlärning, minskar kraven på bandbredd till datacenter. I big data-program, som delar en pool av lagring och/eller minne gör att så många processorer som behövs för att dela de uppgifter som behövs för att uppnå önskade prestanda.
Dessa begrepp är för närvarande märkt lagring av HPE, Dell/EMC, och NGD System. Det går utöver de optimeringar som är inbyggd i storage array controllers för att hantera problem med disk latens eller tillgång mönster. Kalla det lagring intelligens v2.
Överväga en petabyte rack för snabb, tät, icke-flyktigt minne, knuten till massor av kraftfulla Processorer i nästa rack. Med korrekt synkronisering och finkornig låsning tusentals VMs skulle kunna fungera på ett omfattande data pool, utan att flytta hundratals terabyte över ett nätverk.
Med tillkomsten av snabba och billiga neurala processorer, och en tillräcklig corpus för maskininlärning, intelligent förvaring kan tränas till att vara i stort sett självgående. Utöver att en intelligent data pool kan. Använd till exempel ML för att upptäcka villkor ras, baserat på tillgång mönster och låsa verksamhet.
Måste läsa
Ren Förvaring, Nvidia, Cisco lanserar AI hyperscale systemsNew data lagring och skydd lösningar presenterades på Dell-Tekniker WorldDell EMC stärker hela-flash lagring sortiment
Slutsats
I era data-centric computing är här. Med över 4,5 miljarder datorer i bruk-de flesta mobila — och tillväxten av sakernas internet fortfarande i framtiden, teknik och styrning av data kommer att vara en högsta prioritet för både ekonomiska och juridiska skäl.
Data är allt ett konkurrensmedel. Förvaras på rätt sätt, även gamla uppgifter som kan erbjuda värde tack vare nya analytiska verktyg. Lyckligtvis, datalagring är mer kostnadseffektivt än någonsin, vilket är en trend som kommer att fortsätta för överskådlig framtid.
Relaterade artiklar:
Verkställande guide till framtiden för enterprise storage (gratis e-bok) TechRepublicvärldens viktigaste kall anläggning för lagring av säkrar framtidens mat TechRepublicHur molnet kommer att spara — och förändring-hårddiskar, Flash-lagring: En lathund TechRepublicLagring, servrar och mer: Vi hittade 24-moln-tjänster för ditt företag AI 2019: Vad du behöver veta
Relaterade Ämnen:
Tech-Industrin
Hårdvara
Recensioner
Rörlighet
Datacenter
Cloud