Introduktion
Big data analytics har varit en populär buzzphrase för de senaste åren. Med den explosion av data som är tillgängliga från kundmöten, transaktioner, stöd samtal, och sociala medier – bara för att nämna några källor – företag har kämpat tappert för att lagra stora mängder information och, viktigast av allt, hur de ska få fram värdet från det.
Internet of Things (IoT) har förvärrat den utmaningen genom att lägga till data feeds från anslutna sensorer och enheter. Dessa kanaler kan innehålla en guldgruva av värdefull inblick, om företag kan gå igenom dem i realtid och få den flexibilitet att agera på dem snabbt.
Cloud computing har hjälpt till att lösa lagring och bearbetning utmaningar som ligger i big data och sakernas internet analytics, med sitt nästan oändlig skala och pay-as-you-go prismodeller. Marknadsundersökningar som genomförts under de senaste månaderna, bekräftar denna trend.
I oktober 2016, International Data Corporation (IDC) förutspådde att världen inkomster för big data analytics och kommer att växa från $130.1 miljarder 2016 till och med mer än $203 miljarder år 2020. IDC fann också att spendera på cloud-baserade big data analytics och lösningar kommer att växa 4,5 gånger snabbare än utgifterna för lokaler lösningar. Anledningen, enligt IDC: s 2016 Futurescape Rapport: “Komplexiteten i att hantera on – och off-lokalkostnader data och teknik kommer att öka och antalet interna och externa datakällor och typer kommer att fortsätta att öka.”
Denna förutsägelse har verkligen visat sig korrekt på Ecolab, en global ledare inom vatten -, hygien-och energiteknik och tjänster. Med sin Nordamerikanska verksamhet baserad i St. Paul, MN, Ecolab serverar företag runt om i världen, som specialiserat sig på mat tjänster, hotell och restaurang, vård -, industri -, samt olja-och gasbolag. Ecolab erbjuder en omfattande svit av teknik, automatisk övervakning av system baserade på sensorer, analys av data, kemiska lösningar och expertis som hjälper våra kunder att minimera sötvatten använda, maximal prestanda och optimera den totala kostnaden för drift och samtidigt hålla miljön ren och säker.
I denna rapport kommer vi få höra från IT-proffs på Ecolab, med sina egna ord om sina erfarenheter med att flytta Ecolab analytics infrastruktur i molnet.
Ett Globalt Nätverk av Sensorer
Ecolab är stor pool av data innehåller information från många olika källor, men dess primära sensor nätverk är en del av deras 3D-TRASARTM Teknik för Kylning av Vatten, Pannor, Dissolved Air Flotation och Slemhinnor.
“3D TRASAR är en teknik som faktiskt utvecklades redan 1988, förklarar Kevin Doyle, vice vd för Global Digitala Lösningar på Ecolab är Nalco Vatten-verksamhet. “På den tiden, det var om märkning av kemikalier i vattnet så att vi kunde ta avläsningar i realtid och optimera prestanda i våra kunders verksamhet i sina kyltorn, pannor och andra system.”
Hårdvara innebär att anslutna givare, controller-enheter och gateways för att skicka information tillbaka till Ecolab, tillägger han. “Det finns sonder i vattenströmmen som samlar in data, till ett belopp av cirka 28 miljarder datapunkter ett år som vi samlar in över 36,000 system som vi har implementerat på kundernas webbplatser.”
3D TRASAR skärmar kemikalier i stor skala vatten system.
Beroende på behandlingar, automatiserade system för att reglera den ” dos ” av kemikalier som behövs för att hålla vattnet rent och flyter på ett effektivt sätt. “3D TRASAR är att mäta kemi inom vatten-och gör i realtid justeringar,” Doyle säger. Målen är att minska den mängd vatten som används, för att hindra mikrober från att bygga upp i vattnet, och för att minska eller eliminera skala och korrosion som kan påverka dyr utrustning.
“Även innan hela denna sakernas internet blev stor, hade vi vårt 3D TRASAR controllers och tankar som rapporterar till oss,” påminner om Bhavik Shah, application development manager på Ecolab. “Vi använde för att ta sig runt 1,2 miljoner filer per dag. Det är en massa uppgifter.”
Craig Senese, chef för analys och Utveckling, påpekar att Ecolab var förutseende nog att börja ta denna data i digital form i början av 2000-talet, långt innan sakernas internet och big data analytics hade tagit ett fast grepp.
“Vad är intressant med det är att 15 år sedan var förutseende nog att veta att vi vill fånga data till internet,” Senese säger. “3D TRASAR enheter är inte bara att kontrollera kyltorn, de sänder också data på pannor som vi tjänsten.. Så de är inte bara att göra hotellets kontroll av kemi inom vatten-system, de är att ge tillbaka alla data som de ser i realtid. Vi har en lång historia av data som vi just nu är att komma in och extrahera värde från att hjälpa våra kunder. 3D TRASAR har varit en bra idé för oss i den digitala världen innan vi ens visste att vi var på väg.”
Analytics Utan Moln
Ecolab: s projektgrupper fördelas mellan USA och Indien. En liten armé av 120 kemiska ingenjörer, baserat i Pune, Indien, skärmar sensor flöden i realtid. Sedan finns det några 60 professionella utveckling indelade i projektgrupper. De grupper som använder Agile utveckling och Scrum ramar att hålla projekt som rör sig.
“De flesta av våra team har arkitekter, utvecklare, testare, och en Scrum master,” Shah säger. “Innan vi flyttade till molnet, alla i vår utveckling som hade skett i huset. Alla våra servrar ligger i Naperville.”
“Vi har våra egna datacenter. Det var ganska splittrad,” påminner om Senese. “Vi har ca 60 professionella utveckling som ligger i hela världen, och helt ärligt, det var svårt för dem att arbeta tillsammans i en gemensam miljö.”
Shah beskriver miljön på detta sätt: “Vi använder Microsoft-teknik, så vi hade Windows Server, SQL-Server, och för våra applikationer som vi brukade använda ASP.NET MVC, SharePoint, Silverlight, och för lagring av data, som vi använde för att använda SQL Server 2008.”
Kemiska ingenjörer på Ecolab övervaka platser runt om i världen.
När uppgifterna kom i från 3D TRASAR enheter, tillägger han, laget som används för BizTalk Server för att tolka filer och lägga till dem i databasen. “En av de frågor som var, att vi var förvarar det på en jätte SQL-tabell”, säger han. Detta bord har visat sig vara en betydande flaskhals.
“Vi hade en hel del program att gå in och försöka läsa det. Det fanns olika användningsfall för olika tillämpningar. Till exempel, vi ville visa ett diagram som visar föregående år. Det var verkligen långsamt, eftersom vi var tvungna att läsa alla data för flera år från en SQL-tabell. På toppen av det, det var verkligen svårt för vårt storage system. Vi som används för att utöka vårt lager så fort att vi aldrig skulle kunna förutsäga [krav] i framtiden.”
Senese håller med om att behovet av skala visat sig vara utmanande när dessa analytics arbetsbelastning som fanns på plats. “När vi vill skala, det är en hel del kostnader-det finns en hel del tidslinje samband med det, säger han.
I slutändan är behovet av omfattning och hastighet sporrade Ecolab att anta Microsoft Cloud Services. Resultaten har överträffat förväntningarna.
Avancerade analyser i Azure
“Med Microsoft Cloud, vi kan skala upp nästan oändligt, både i rymden och i beräkna makt,” Senese säger. “Vi har en global närvaro, så när vi tar fram prototyper och vi utveckla bevis-of-concept, strax efter det att vi måste skala mycket snabbt till en hel del kunder och en massa olika regioner i världen. Vad Microsoft Azure ger är förmågan att skala mycket snabbt, och det ger också något som vi inte haft i det förflutna — den hästkrafter för att göra beräkningar.”
“Med obegränsad kapacitet och avancerad analys förmåga, vi kan göra mycket mer i realtid med uppgifter som vi samlar in,” Doyle förklarar. “Det gör det också möjligt för oss att samla in ännu mer data än vi kunde innan, genom att kombinera våra data med externa data, för att dela information med våra kunder, eller nya IOT-enheter.”
“Även innan du flyttar till molnet, vi var som använder Microsoft-teknik,” Shah säger, så flytta till Azure var verkligen en bra plats för oss.”
En Ecolab expert diagram flödet av data från sensorer till molnet för att driva BI instrumentpaneler.
Ha en bra känsla av den nuvarande arbetsbelastning och önskade resultat också hjälpt till med övergången. “Vi visste vad våra svaga punkter var. Vi sätter upp våra mål, att bestämma vad vi vill ha från Azure. Då vi arbetar med Microsoft början att göra en proof of concept. Vi såg till att proof of concept och sett till att våra mål skulle kunna uppnås med Azure. Sedan vi började bygga lösningar på det.”
I de inledande stadierna, Shah lägger till, Ecolab byggt ut kapaciteten i Azure vid sidan av sina lokaler lösning, replikera sin SQL-databas så att inte avbryta tjänsten. “Vi hade alla våra datalagring i Azure samt på lokaler. Som gav oss flexibilitet att flytta vårt nuvarande program till Azure, samt bygga nya lösningar i Azure.
“Vi ville ha den nuvarande program fortfarande få data från [on-premises-system], men sedan se till att vi har en väg att flytta till Azure. Så alla uppgifter som kommer till vårt datacenter över ett år, vi omdirigeras — efter bearbetning i våra datacenter — till Azure.” Med applikationer som körs parallellt, Shah och hans team gradvis riktat analytics arbetsbelastning att konsumera data som lagras i Azure, särskilt som nya ansökningar kom in från användare i företag och kunder.
“Det var duplicerade data,” Shah medger, “men det gjorde hjälpa oss att se till att den nuvarande program kan fortfarande fungera bra när man flyttar till Azure.”
Som övergång fortsatte, Shah och hans team upptäckte att det “gamla sättet” att göra saker och ting inte står upp i molnet. “Från lagring synvinkel, det var helt SQL-lokaler. I Azure, började vi med hjälp av tabell lagring, DocumentDB, data sjöar, Blob storage – att se till att användningen passar på det sätt som vi lagrar det.”
Förmågan att införliva mer varierande uppgifter strömmar också varit en utmaning för Ecolab, men de var redan bekant. “Vi hade en hel del data format, våra 3D TRASAR controller hade utvecklats en hel del-vi hade tre versioner av det redan,” Shah säger. “Varje gång en ny version kom ut, var vi tvungna att skriva en ny BizTalk processen. En av de saker vi gjorde i Azure var vi skapat WebJobs, som vi kallar ‘spisar.’ [Spis] får rå data för oss och sedan sätter det i en format som är samma för alla plattformar. Det gav oss möjlighet att göra analyser på toppen av det. Vi använder också Azure-tjänster som IoT Nav -, Händelse-Hub, och Service Buss, för att ta sig in alla uppgifter.”
Med spisen på plats, Shah och hans team kunde ansluta sensorn flöden direkt till Azure är lagrar data. “Sensorer, genom en gateway, skicka data direkt till Azure och sakernas internet Hub. Därifrån gick vi till samma data flöde [process] vi hade för vår tidigare controller, och så småningom gick det till samma lagringsutrymme.”
Nästa Nivå Tjänster för Visualisering och Prognos
Med data i Microsoft Azure gör Ecolab för att skapa interaktiva instrumentpaneler och rapporter med lätthet och att dela med sig av dessa konsoler över mobila enheter. “För visualisering vi in Power BI i vår ansökan,” Shah säger. “Vi har [också] skapat ett par Xamarin appar för iOS, Android, och UWP. De är helt gjort i Azure. Så vi har en API-värd på Azure, appar som talar för att dessa Api: er, och lagring är i DocumentDB.”
De rapporter som gör det möjligt för kunder och Ecolab experter för att titta på vatten användning vid en anläggning, vid en kund-nivå, eller på företagsnivå. Borra sig ner i data, Shah säger, hjälper Ecolab att peka ut områden där användning av vatten kan skalas tillbaka, till exempel.
Instrumentpaneler som byggdes Power BI hjälpa kunder att visualisera och bläddra ner till uppgifterna.
Att kunna sammanlagda historiska data tillsammans med realtid flöden, och sedan korrelera med externa datakällor som väderleksrapporter, till exempel, leder Ecolab på vägen till den ultimata analytics-mål: förmåga att förutse problem innan de inträffar.
“Historiskt sett har vi i första hand fokusera på reaktiv-typ-scenarier” Senese säger. “Vi vill få mycket mer automatisk, och sättet att göra det är att använda data och bygga den prediktiva modeller runt det. Vi har uppgifter att göra det nu. Vi behöver bara gå ut, bygga modeller, använda de data som vi har, och använda den kompetens som vi har internt.”
Doyle håller med. “Ett projekt i synnerhet som vi jobbar på nu är predictive analytics runt patogener i vatten ström, för att verkligen ge rent vatten för människor över hela världen. Med hjälp av [3D-TRASAR] data och information som luftfuktighet eller temperatur och andra externa källor av data, i kombination med kunden program runt om behandling av sina anläggningar, kan vi avgöra om något som en patogen kommer att skapa problem. Då kan vi se till att du har rätt program i stället för att behandla dem, så du är kompatibelt med vatten säkerhet program som vi har satt på plats och [system] är att prestera optimalt.”
Även om automatisk algoritmer som dessa kräver omfattande utbildning och ansträngning, Doyle säger, moln-tjänster se till att de kan vara fixade och analyseras snabbt. “Visst, när du pratar om något som patogener i vatten och skydda människor från att bli sjuka, vill du se till att du är så korrekta som möjligt, säger han. “Det är skönheten i moln, vi kan koppla på mer data, och räkna ut vad du kan hjälpa till med att öka noggrannheten.”
“Jag känner att det är där det kommer att finnas en hel del tillväxt,” Shah säger, om man ser till framtiden. “Vi bör kunna analysera all denna information, gå tillbaka till verksamheten, och berätta vad vi kan göra med alla dessa uppgifter.”
Han citerar Ecolab s system för larm som varnar kunder för att kemiska obalanser eller slösas bort vatten. “När larmet utlöses, kemiska ingenjörer analysera systemet och försöka lista ut vad som kan gå fel. Vad vi vill göra är att, om vi ser några trender går upp eller ner med andra datamängder, vi vill larm dem ännu tidigare.
“Dessa saker verkligen kommer att vara avgörande för vår verksamhet, därför att om vi kan förutsäga dem” up-front, som hjälper oss i att ge bra feedback till kunden, och jag tror att då kommer vi båda att vinna.”
Slutsats
Baserat på insikter i Ecolab IT-personal, det är klart att cloud computing ger optimal plattform för sakernas internet och big data analytics. Företag som vill utnyttja denna viktiga teknik skulle göra klokt i att lyssna Doyles råd: “att Vara aggressiv med tekniken. Vara aggressiva med att flytta till molnet. Få skala och smidighet och avancerade analytiska förmåga som kommer tillsammans med den.”
För att lära dig mer om Microsoft Azure-Moln-Tjänster och höra direkt från proffsen på Ecolab, vänligen besök www.zdnet.com/feature/microsoft-advanced-analytics.