Microsoft gør en masse af Azure data meddelelser i dag, på både data-søen og data warehouse fronter.
For det første, Microsofts Azure Data Explorer (ADX) produktet er ved at blive frigivet i general availability (GA). ADX, som jeg skrev om i sidste uge, er en Stor Data lagring, søgning og visualisering platform, med en særlig evne til at tidsserie analyse.
Læs også: Fastly, Microsoft-partner om real-time analytics med Azure Data Explorer
(Data sø) butikken er åben for business
Næste, Azure Data Søen Opbevaring (ADLS) Gen2 hits GA i dag. I modsætning til den første version af ADLS, Gen2 udgivelse fungerer som en overordnet Azure Blob Storage, men lag en sand hierarkiske fil system på toppen af det, sammen med evnen til at håndtere vilkårligt store filer. Hierarkiske fil systemer har førsteklasses støtte til mappe-strukturer. Det er vigtigt i Big Data-applikationer, hvor data er ofte partitioneret som grupper af sekvens filer adskilt af mappe, der nødvendiggør mappe-niveau operationer, der kan behandle alle filer i en mappe som en enkelt enhed af data.
Standard-sky objekt, storage-systemer holde alle filer i en root-niveau container, og skabe den “illusion” af mapper ved at integrere bibliotek navne i filer,’ metadata. Tilgængeligheden af ADLS Gen2 i bund og grund vil give Microsoft en to-delt storage-løsning for at imødegå Amazons S3. Mens Amazon ‘ s ” one-size-fits-all historie har den fordel, enkelhed, ADLS giver Microsoft en stor Big Data løsning, der er baseret på dets objekt butik teknologi, snarere end at være et helt andet produkt.
I denne første release, ADLS Gen2 fil-systemer manglende kompatibilitet med Blob Storage-Api ‘ erne, men det vil blive tilføjet senere. Plus, der er masser af direkte støtte til Gen2, ud af porten. For eksempel, Apache Hadoop 3.2, udgivet i sidste måned, og tilbyder direkte støtte til ADLS Gen2. Forskellige Big Data økosystem leverandører, herunder Cloudera, Dremio og Arcadia Data, har også forpligtet sig til at ADLS. Og i de Microsoft-verden, mange cloud data-tjenester, herunder Azure Databricks, HDInsight, Power BI og Azure Data Fabrik, støtte ADLS Gen2 direkte, også.
Lad os få visuelle
Apropos Azure Data Fabrik (ADF), at tjenesten vil nu tilbyde en visuel data flow anlæg, i public preview. Mens ADF ‘en, har for nogle-en visuel designer for orkestreringer, som den forvalter, faktiske data, ingeniør-arbejde, der skulle gøres i eksterne scripts, som ADF’ en kunne køre. Visuelle data-strømme vil give de oplysninger, ingeniør-arbejde, der skal gøres i en visuel designer, som vil generere koden bag kulisserne.
Læs også: Azure Data Fabrik v2: Hands-on overblik
ADF ‘ visuelle data strømme bør ikke forveksles med dataflow funktion i Kraft BI, public preview, som blev annonceret for tre måneder siden. Power BI dataflows er en cloud-implementering af virksomhedens Magt Forespørgsel teknologi, som også giver mulighed for visuel data ingeniørarbejde (under tilnavnet “data prep”) skal gennemføres, og som også genererer kode (i en Microsoft-proprietære sprog kaldet M) til at gøre det. Navnet kollision er uheldigt, men forhåbentlig Microsoft vil rette op på det.
For hvad er det værd, Power BI data strømme udnytte ADLS Gen2 opbevaring, bag kulisserne.
Forsendelse fra lageret
Den sidste rate i Microsoft sæt af cloud data meddelelser i dag indebærer Azure SQL Data Warehouse (SQL DW) og, i mindre omfang, Power BI. I to runder af benchmark test udført af GigaOm Forskning (se offentliggørelse i slutningen af dette indlæg), Azure DW blev fundet til at være 67% hurtigere end Amazon Rødforskydning og op til 14x hurtigere end Google BigQuery. Microsoft vil begynde en større indsats omkring denne nyhed, og vil tout dets samlede pris/performance fordel i forhold til sine public cloud udbyder data warehouse rivaler, og summere det op som klare sig bedre end konkurrenterne ved op til 14x samtidig være op til 94 pct. billigere.
Pris/performance sammenligning af SQL-DW, Rødforskydning og BigQuery, baseret på Gigaom benchmarks.
Kredit: Microsoft og Gigaom
Læs også: Azure SQL Data Warehouse “Gen 2”: Microsoft ‘s skud på tværs af Amazon’ s bue
Microsoft vil også være pitching den kombination af pris/ydelse-en SQL-DW service med Power BI og to funktioner, der for nylig tilføjet til sidstnævnte: composite modeller og sammenlægninger. Sammen, disse to funktioner giver Magt BI-brugere til at gemme aggregerede data lokalt i en Magt BI-model, mens den mere omfangsrige detaljeret data i en ekstern butik. For en given data model, Power BI brugere, og som bruges til at vælge mellem den lokale “import” og eksterne “DirectQuery” tilstande, men nu er de kan mikse og matche. Dette gør Magt BI Big Data-stand, når de funktioner, der er aktiveret ved brug af en ekstern butik som SQL DW.
Den yngre generation
Microsoft har nu lanceret “Gen2” gentagelser af Data Søen Storage og Data Warehouse og “v2” iteration af Data Fabrik. Og med Magt BI bliver opdateret hver eneste måned, at produktet er uden tvivl på om Gen42 nu.
Læs også: Cortana Analytics: Microsoft ‘ s cloud analytics prix fixe
Microsoft er all-in i skyen, cloud er all-in på data, og skyen er nu modne. Resultatet? I et forsøg på at vinde den Virksomhed, de store offentlige cloud-udbydere er selvfoelgelig deres data services for at opnå, så overstige, paritet med de bedste lokale tilbud. Der går ikke kun for grundlæggende database-tjenester, men data warehousing, BI, data, teknik og Big Data analytics. Dagen i dag markerer starten af Microsofts næste store kapitel i den episke fortælling.
Disclosure: jeg er selv gøre data – og analytics-fokuseret analytiker arbejde for Gigaom, men jeg var ikke involveret i SQL DW benchmark arbejde.
Relaterede Emner:
Cloud
Digital Transformation
Robotteknologi
Tingenes Internet
Innovation
Virksomhedens Software