En Azure-för synkronisering av Data Explorer KQL fråga, och visualiseras resultat
Källa: Microsoft
Fastly är en kant moln plattformar för det, det säger, processer ca 10% av alla förfrågningar på Internet. Azure Data Explorer (ADX — tidigare projektet “Kusto”) är en cloud-baserad big data analytics-plattform från Microsoft. ADX är fortfarande i public preview, men Fastly har ändå tillsammans med Microsoft för att skapa en kund-inför lösning för analys i realtid på hög volym klickar du på-stream-data, baserat på ADX.
Jag hade redan förtrogenhet med Azure-för synkronisering av Data Explorer, men en konversation med Lee Chen, Fastly är Chef för Strategiska Partnerskap (och dess tidigare Chef för Produkt), hjälpte mig att förstå varför Fastly-ADX lösning är innovativ. Bakgrunden också hjälpt mig att förstå bättre vad ADX i sig handlar om. Det var mycket nyttig kunskap eftersom, för att vara uppriktig, det Azurblå Data Explorer namn-service och marknadsföring hittills-kan få det att låta som en generisk analytics erbjuder.
Vad det är, och vad det gör
ADX är inte en generisk data service men, trots namnet. Det fungerar med data snabbt, men det är inte en strömmande data plattform per se –Azure Händelse Hubbar tjänsten tar på att arbetsbelastningen, som gör Azure HDInsight Kafka kluster. Som visas i figuren i början av detta inlägg, ADX också gör det möjligt att genomsöka och visualisera data med SQL-liknande språk som kallas KQL (Kusto Query Language). Men ADX är inte en strömmande analytics eller data visualisering plattform antingen — Azure Ström Analytics, Azure Databricks och Makt BI tjäna dem arbetsbelastning.
Snarare, ADX sätter ihop dessa funktioner, tillsammans med tidsserier analytics-funktioner, för att utföra sökningar över stora volymer av data-med svarstider som liknar en BI-plattform över små relativt små datamängder. Microsoft hävdar att ADX kan “fråga miljarder poster i sekunder.” Och Microsoft själva använder ADX att driva Azure Övervaka och Azure tidsserier Insikter tjänster.
Dessa funktioner möjliggör Fastly, som samlar alla att klicka data på kanten platser över Internet, för att låta kunder som Taboola analysera sina data i nära realtid, eller över så mycket som den tidigare 7 (snart 30) dagar från historiska data. Detta är ingen liten bedrift, med tanke på att Taboola genererar 22 miljarder register över kanten leverans loggar-17 TB av data-per dag. Trots dessa data volymer, Fastly tillhandahållande av alla log data i realtid från nätverket kanten direkt till Azure Blob Storage, i kombination med ADX är funktionen som, låt lösningen för att övervaka webbplatsens prestanda och felsöka problem när de uppstår.
Vad det innebär
Microsoft ger bra detalj på ADX/Fastly lösning i ett blogginlägg. Taboola beskriver lösningen i sina egna inlägg. Uppriktigt sagt, både inlägg är mer än lite pr. Men bortom marknadsföring, det finns några intressanta hämtmat från denna lösning. För det första, en kombination av kolumner lagring och indexering (både som genomförs av ADX) kan producera fantastiska resultat. För det andra, tidsserier analytics på riktigt big data kan faktiskt vara enkel.
Men proprietära lösningar som ADX kan vara nödvändigt att få det. Samtidigt som du kan koppla ihop en egen lösning-genom att använda de tycker om, säg, Apache Kafka och Gnista Streaming del av Apache Gnista — sådana lösningar kommer att innebära en hel del komplexitet och kräver en mängd olika expertområden, plus en aktiv förvaltning för att skala den infrastruktur som behövs. Men ADX kan etableras on-demand, skalas automatiskt och kompetens-wise, det kräver lite mer än att lära sig tjänsten query language. Värdet förutsatt att det är enorma. Och eftersom källdata kan leva i molnet lagring, det är fortfarande frågan-kan med öppen källkod som Hadoop och Gnista.
Lock-in, eller rock på?
I slutändan, om du gör allt med open source-lösningar som körs i Kubernetes kluster, har du massor av portabilitet mellan offentliga moln och i företagets datacenter. Men tiden till marknaden/värde och framgång i projektet kan vara en mycket mer utmanande med enbart open source-lösningar. Detta kristalliserar moln data analytics trade-off. Ariel Pisetzky, VP it på Taboola sa “Azure-för synkronisering av Data Explorer, tillsammans med Fastly’ s real-time loggning, överträffar vår tidigare lösning med en snabbare uppdatering och en intuitiv interaktiva gränssnitt. Plus, det var så enkelt att vi skulle upp och köra i en vecka, intag och analysera 17 TB data per dag.”
Att kalkyl fungerar inte för alla, dock. Ditt team kommer att behöva väga lätt att genomföra vs-lås-i oro och plocka en lösning i enlighet med detta. Oavsett vad, men det är bra att veta att molnet och nyare data teknik är att sätta lösningar som Fastly en inom räckhåll.
Relaterade Ämnen:
Cloud
Digital Omvandling
Robotteknik
Sakernas Internet
Innovation
Affärssystem