Microsoft gör en massa Azure uppgifter meddelanden idag, på både data-sjön och data warehouse fronter.
För det första, Microsofts Azure-för synkronisering av Data Explorer (ADX) produkten släpps till allmän tillgänglighet (GA). ADX, som jag skrev om i förra veckan, är en Big Data-lagring, sökning och visualisering-plattform, med en särskild talang för tidsserieanalys.
Läs också: Fastly, Microsoft partner på real-time analytics med Azure-för synkronisering av Data Explorer
(Data sjön) butiken är öppen för företag
Nästa Azure Data Sjön Lagring (ADLS) Gen2 träffar GA i dag. Till skillnad från den första versionen av ADLS, Gen2 release fungerar som en delmängd av Azure Blob Storage, men skikt en sann hierarkiskt filsystem på toppen av det, tillsammans med förmågan att hantera väldigt stora filer. Hierarkiska filsystem har första klass-stöd för mappstrukturer. Det är viktigt i Big Data-program där data är ofta partitionerad som grupper av sekvens filer segregerade efter mapp, som kräver mapp-nivå verksamheter som kan behandla alla filer i en mapp som en enda enhet av data.
Standard cloud object storage system förvara alla filer i en rot-nivå i behållaren, och skapa en “illusion” av mappar genom att bädda in katalognamn i-filer’ metadata. Tillgängligheten av ADLS Gen2 i huvudsak kommer att ge Microsoft en två-nivåer lagring lösning för att motverka Amazon S3. Medan Amazons ” one-size-fits-all historia har fördelen av enkelhet, ADLS ger Microsoft en stor Big Data-lösning, och ett som är baserat på dess objekt store teknik, snarare än att vara en helt separat produkt.
I denna första version, ADLS Gen2-filsystem kommer saknar bakåtkompatibilitet med Blob Storage Api: er, men det kommer att läggas till senare. Plus, det finns massor av direkt stöd för Gen2, ut ur porten. Till exempel, Apache Hadoop 3.2, som släpptes förra månaden, som erbjuder direkt stöd för ADLS Gen2. Olika Stora Data ekosystem leverantörer, inklusive Cloudera, Dremio och Arcadia Data, har också åtagit sig att ADLS. Och i Microsoft världen, många cloud data services, bland annat Azure Databricks, HDInsight, Makt BI och Azure-för synkronisering av Data Factory, stöd ADLS Gen2 direkt också.
Låt oss få visual
På tal om Azure-för synkronisering av Data Factory (ADF), som service kommer nu att erbjuda en visuell data flöde anläggning, i public preview. Medan automatiska DOKUMENTMATAREN har för lite tid gav en visuell designer för orkestrar som det förvaltar, faktiska data tekniska insatser fick göras i externa skript som automatiska DOKUMENTMATAREN kan köras. Visuella data flöden kommer att tillåta att data-och anläggningsarbeten sig göras i en visuell designer, som kommer att generera koden bakom kulisserna.
Läs också: Azure-för synkronisering av Data Factory v2: praktisk översikt
Automatiska DOKUMENTMATAREN visuella flöden bör inte förväxlas med dataflöde har Makt BI, public preview för som presenterades för tre månader sedan. Power BI dataflows är ett moln genomförandet av bolagets Power Fråga teknik, som också gör det möjligt för visuell data-och anläggningsarbeten (under namnet av “data prep”) som ska utföras och som också genererar kod (i en Microsoft-patentskyddad språk som kallas M) att göra det. Namnet kollision är olyckligt, men förhoppningsvis kommer Microsoft att rätta till det.
För vad det är värt, Makt BI-flöden använder ADLS Gen2 lagring, bakom kulisserna.
Leverans från lager
Den sista delen i Microsoft cloud data tillkännagivanden innebär Azure SQL-Data Warehouse (SQL DW) och, i mindre utsträckning, Makt BI. I två omgångar av benchmark-tester som utförs av GigaOm Forskning (se upplysningar vid slutet av detta inlägg), Azure DW befanns vara 67 procent snabbare än Amazon Rödförskjutning och upp till 14x snabbare än Google BigQuery. Microsoft kommer att börja en stor driva runt denna nyheten och kommer tout sin totala pris/prestanda fördel över sitt public cloud provider data warehouse rivaler, summera upp det som överträffar konkurrensen med upp till 14x samtidigt vara upp till 94 procent billigare.
Pris/prestanda jämförelse av SQL DW, Rödförskjutning och BigQuery, baserat på Gigaom riktmärken.
Kredit: Microsoft och Gigaom
Läs också: Azure SQL-Data Warehouse “Gen 2”: Microsoft ‘s skott över Amazon’ s bow
Microsoft kommer också att vara pitching den kombination av pris/prestanda-effektiv SQL DW service med Power-BI och två funktioner som nyligen lagts till det senare: sammansatta modeller och sammanställningar. Tillsammans, dessa två funktioner gör att Makt BI-användare att lagra aggregerade data lokalt på en Power BI-modellen medan de mer omfattande detaljerade data på en extern butik. För en given data modell, Makt BI-användare används för att välja mellan de lokala “importera” och det yttre “DirectQuery” lägen, men att de nu kan mixa och matcha. Detta gör Power BI Big Data kan när funktionerna är aktiverad genom att använda sig av en extern butik som SQL DW.
Den yngre generationen
Microsoft har nu lanserat “Gen2” iterationer av Data Lake Storage och Data Warehouse och en “v2” iteration av Data Fabriken. Och med Makt BI uppdateras varje månad, att produkten är utan tvekan på om Gen42 nu.
Läs också: Cortana Analytics: Microsofts moln analytics prix fixe
Microsoft är all-in på molnet, cloud är all-in på data, och molnet är nu gammal. Resultatet? I ett försök att vinna Företaget, den stora offentliga moln leverantörer revving deras datatjänster att uppnå, då överstiga paritet med de bästa på lokaler erbjudanden. Det går inte att bara för grundläggande tjänster databas, men data warehousing, BI, data teknik och Big Data analytics. I dag går startskottet för Microsofts nästa stora kapitlet i den episka sagan.
Disclosure: jag själv gör data – och analytics-fokuserad analytiker arbete för Gigaom, men jag var inte inblandad i SQL-DW riktmärke arbete.
Relaterade Ämnen:
Cloud
Digital Omvandling
Robotteknik
Sakernas Internet
Innovation
Affärssystem