Indledning
Big data analytics er blevet en populær buzzphrase for de sidste mange år. Med den eksplosion af data fra kunden interaktioner, transaktioner, support opkald, og sociale medier – bare for at nævne et par kilder – virksomheder, der har kæmpet tappert for at gemme enorme mængder af information, og, vigtigst af alt, hvordan man kan udlede værdien fra det.
Internet of Things (IoT) har vanskeliggjort den udfordring ved at tilføje data-feeds fra tilsluttede sensorer og enheder. Disse feeds kan indeholde en guldgrube af handlingsrettet indsigt, hvis virksomhederne kan finkæmme gennem dem i realtid og opnå fleksibilitet til at handle på dem hurtigt.
Cloud computing har medvirket til at løse opbevaring og behandling udfordringer, der ligger i big data og IoT analytics, med sin nær-uendelig skala og pay-as-you-go-pricing modeller. Markedsundersøgelser gennemført i de seneste måneder, bekræfter denne tendens.
I oktober 2016, International Data Corporation (IDC), som forudsagt, at den globale omsætning for big data og analytics vil vokse fra $130.1 milliarder i 2016 til mere end $203 milliarder i 2020. IDC også fundet, at udgifterne til cloud-baserede big data og analytics-løsninger vil vokse med 4,5 gange hurtigere end udgifterne til on-premises løsninger. Grunden til, ifølge IDC ‘ s 2016 Futurescape Rapport: “Kompleksiteten af administrerende on – og off-premises data og teknologi kommer til at stige, og antallet af interne og eksterne datakilder og-typer vil fortsætte med at stige.”
Denne forudsigelse har helt sikkert vist sig præcis på Ecolab, en global leder inden for vand -, hygiejne -, og energi-teknologier og-tjenester. Med sin nordamerikanske operationer, der er baseret i St. Paul, MN, Ecolab serverer virksomheder rundt om i verden, med speciale i mad, service, hospitality, sundhedsvæsen, industri, olie og gas virksomheder. Ecolab tilbyder en bred vifte af teknologier, automatiseret overvågning af systemer baseret på sensorer, analyse af data, kemiske løsninger og ekspertise, der hjælper kunderne med at minimere ferskvand bruge til at maksimere ydeevne og optimere de samlede omkostninger til drift og samtidig også holde miljøet rent og sikkert.
I denne rapport, vil vi høre fra de IT-professionelle på Ecolab, med deres egne ord om deres oplevelser med at flytte Ecolab ‘ s analytics-infrastruktur ud i skyen.
Et Globalt Netværk af Sensorer
Ecolab ‘ s store pulje af data omfatter oplysninger fra mange forskellige kilder, men dens primære sensor netværk er en del af deres 3D TRASARTM Teknologier inden for Køling, Vand, Kedler, Opløst Luft, Flotation og Membraner.
“3D TRASAR er en teknologi, der rent faktisk blev udviklet tilbage i 1988,” forklarer Kevin Doyle, som er vice president for Global Digitale Løsninger på Ecolab ‘ s Nalco Vand virksomhed. “På det tidspunkt, det var om mærkning af kemikalier i vandet, så vi kunne tage målinger i realtid og optimere effektiviteten af vores kunders virksomheder i deres køletårne, kedler og andre systemer.”
Hardware indebærer tilsluttede sensorer, controller-enheder og gateways, som sender oplysninger tilbage til Ecolab, tilføjer han. “Der er prober, der er i vand, strøm, der er indsamling af data, svarende til cirka 28 milliarder datapunkter et år, som vi indsamler på tværs af 36,000-systemer, som vi har installeret på kundernes hjemmesider.”
3D TRASAR skærme kemikalier i store vandsystemer.
Afhængigt af aflæsninger, automatiserede systemer regulere ‘dosis’ af de nødvendige kemikalier til at holde vandet rent, og der flyder effektivt. “3D TRASAR er at måle kemi i vand og foretage justeringer i realtid,” siger Doyle. Målet er at reducere mængden af vand, der anvendes, for at forhindre, at mikrober fra bygningen op i vand, og at mindske eller fjerne skala og korrosion, der kan påvirke dyrt udstyr.
“Selv før det hele IoT blev stor, vi havde vores 3D-TRASAR controllere og tanke rapportering til os,” erindrer Bhavik Shah, application development manager hos Ecolab. “Vi har brugt til at få omkring 1,2 millioner filer per dag. Der er en masse af data.”
Craig Senese, direktør for analyse og Udvikling, påpeger, at Ecolab havde fremsyn til at begynde at tage denne data i digital form til at starte i begyndelsen af 2000’erne, længe før IoT og big data analytics havde taget fat.
“Det interessante ved det er, at for 15 år siden, der var forudseende nok til at vide, at vi ønsker at fange, at data til internettet,” Senese siger. “3D TRASAR enheder er ikke kun at styre køletårne, de er også sende data på kedler, som vi service.. Så det ikke kun er de gør onsite kontrol af kemi i vand systemer, de er at give tilbage alle de data, som de kan se i real tid. Vi har en lang historie af data, som vi er lige nu at komme ind og udtrække værdi fra for at hjælpe vores kunder. 3D TRASAR har været en stor overgang for os i den digitale verden, før vi selv vidste, hvor vi var på vej hen.”
Analytics Uden Sky
Ecolab ‘ s projekt teams, der er fordelt mellem USA og Indien. En lille hær af 120 kemiingeniører, der er baseret i Pune, Indien, skærme sensor-feeds i realtid. Så der er nogle, 60 udvikling fagfolk inddelt i projektgrupper. Holdene bruge Agile udvikling teknikker og Scrum rammer til at holde projekter bevæger sig.
“De fleste af vores teams, som omfatter arkitekter, udviklere, testere, og en Scrum master,” Shah siger. “Før vi flyttede til sky, at alle vores udvikling blev udført in-house. Alle vores servere er placeret i Naperville.”
“Vi kan fastholde vores egne datacentre. Det var forholdsvis fragmenteret,” erindrer Senese. “Vi har omkring 60 udvikling fagfolk placeret over hele verden og, helt ærligt, var det vanskeligt for dem at arbejde sammen i et fælles miljø.”
Shah beskriver miljøet på denne måde: “Vi bruger Microsoft teknologier, så vi havde Windows Server, SQL Server, og for vores programmer, vi plejede at bruge ASP.NET MVC, SharePoint, Silverlight, og til lagring af data, vi plejede at bruge SQL Server 2008.”
Kemiingeniører på Ecolab overvåge steder rundt omkring i verden.
Når data kom fra 3D TRASAR enheder, tilføjer han og holdet BizTalk Server anvendes til at analysere de filer og tilføje dem til databasen. “Et af de spørgsmål, i denne var, at vi skulle gemme det hele i en kæmpe SQL-tabellen,” siger han. Som single table viste sig at være en flaskehals.
“Vi havde en masse programmer at gå ind i det og prøver at læse det. Der var forskellige use cases til forskellige applikationer. For eksempel, vi ønskede at vise et diagram, der afspejler år-over-år. Der var virkelig langsom, fordi vi var nødt til at læse alle data for flere år fra en SQL tabel. På toppen af det, det var virkelig hårdt for vores lagersystem. Vi bruges til at udvide vores storage-så hurtigt, at vi aldrig ville være i stand til at forudsige [krav] i fremtiden.”
Senese er enig i, at behovet for skala vist sig udfordrende, når disse analytics-arbejdsmængder var vært på stedet. “Når vi ønsker at skala, er der en masse omkostninger-der er en masse tidslinje, der er forbundet med det,” siger han.
I sidste ende er behov for skala og hastighed ansporet Ecolab til at vedtage Microsoft Cloud Services. Resultaterne har oversteget forventningerne.
Avancerede analyser i Azure
“Med Microsoft Cloud, kan vi skalere næsten uendeligt, både i rum og i compute magt,” Senese siger. “Vi har et globalt fodaftryk, så når vi skal udvikle prototyper og vi udvikle beviser-of-concept, kort tid efter, at vi er nødt til at skalere meget hurtigt til en masse kunder, og en masse af forskellige regioner i verden. Hvad Microsoft Azure medfører, er muligheden for at skalere meget hurtigt, og det giver også noget, vi ikke har haft i fortiden-det hestekræfter at gøre beregne.”
“Med ubegrænset kapacitet og avancerede analyser kapaciteter, vi er i stand til at gøre meget mere i real-tid, med de data, som vi indsamler,” Doyle forklarer. “Det giver også for os at indsamle endnu flere data, end vi var i stand til før, at kombinere vores data med eksterne data, delte oplysninger med vores kunder, eller nye enheder, tingenes internet.”
“Selv før du flytter til clouden, vi var ved hjælp af Microsoft-teknologier,” Shah siger, så flytter til Azure var virkelig en god pasform for os.”
En Ecolab ekspert diagrammer flow af data fra sensorer til cloud til Magten BI dashboards.
At have en god fornemmelse af det nuværende arbejdsbyrde og de ønskede resultater også hjulpet med overgangen. “Vi vidste, hvad vores smerte punkter var. Vi har sat vores mål, at bestemme, hvad vi ønsker fra Azure. Så er vi beskæftiget med Microsoft i første omgang at gøre et proof of concept. Vi så på, at proof-of-concept og sørget for, at vores mål skulle være opnået med Azure. Fra der, vi begyndte at bygge løsninger på det.”
I de indledende faser, Shah tilføjer, Ecolab bygget ud kapaciteter i Azure sammen med sin on-premises løsning, som gentager sin SQL-database, så de ikke afbryde tjenesten. “Vi havde alle vores datalagring i Azure samt on-premises. Det gav os fleksibilitet til at flytte vores nuværende applikationer på Azure, samt opbygge nye løsninger i Azure.
“Vi ønskede at have den nuværende programmer, der stadig er få data fra [on-premises-systemer], men så sørg for, at vi har en vej til at flytte til Azure. Så alle de data, der kommer til vores datacenter over et år, vi omdirigeret — efter behandling i vores datacenter — til Azure.” Med applikationer, der kører parallelt, Shah og hans team gradvist rettet analytics arbejdsmængder til at forbruge data, der er gemt i Azure, især som nye forespørgsler kom fra business-brugere og kunder.
“Der var ikke kopiere data ud der,” Shah indrømmer, “men det gjorde hjælp os med at sikre nuværende applikationer kan stadig fungere fint, mens du flytter til Azure.”
Som overgangen fortsatte, Shah og hans hold har opdaget, at den “gamle måde” at gøre tingene på ikke stå op i skyen. “Fra opbevaring synspunkt, det var helt SQL-on-premises. I Azure, vi begyndte at bruge opbevaring af tabellen, DocumentDB, data søer, Blob storage – at sikre, at brugen passer til den måde, vi lagrer det.”
Evnen til at optage flere forskellige datastrømme, som også udgør en udfordring for Ecolab, men en med, som de allerede kender. “Vi havde en masse data-formater, som vores 3D-TRASAR controller havde udviklet sig en masse-vi havde tre versioner af det allerede,” Shah siger. “Hver gang en ny version kom ud, vi havde til at skrive en ny BizTalk proces. En af de ting, vi gjorde i Azure var, vi har skabt WebJobs, som vi kalder ‘komfurer.’ [Komfuret] får de rå data til os, og så sætter det ind i et format, der er det samme på tværs af alle platforme. Det gav os mulighed for at gøre analytics på toppen af det. Vi bruger også Azure-tjenester som IoT-Hub, Event-Hub, og Service-Bus, for at indtrængning af alle data.”
Med komfuret på plads, Shah og hans team var i stand til at forbinde sensor-feeds direkte til Azure ‘ s data butikker. “De sensorer, der via en gateway, skal du sende data direkte til Azure og IoT-Hub. Derfra gik vi til de samme data flow [proces], vi havde for vores tidligere controller, og i sidste ende det gik til samme lager.”
Næste Niveau Tjenester til Visualisering og Forudsigelse
Efter at have data i Microsoft Azure gør det muligt Ecolab til at skabe interaktive dashboards og rapporter med lethed og til at dele disse konsoller på tværs af mobile enheder. “For visualisering, vi er indlejret Magt BI i vores ansøgning,” Shah siger. “Vi har også lavet et par Xamarin apps til iOS, Android, og UWP. De er helt færdig i Azure. Så vi har en API, der er hostet på Azure, de apps, der taler for at disse Api ‘ er, og den lagring i DocumentDB.”
De rapporter, der gør det muligt for kunder og Ecolab eksperter til at se på vandforbruget på et anlæg, på en kunde-niveau, eller på et virksomhedsniveau. Bore ned i data, Shah siger, hjælper Ecolab lokalisere områder, hvor vand-forbrug kan skaleres tilbage, for eksempel.
Dashboards bygget i Kraft BI hjælper kunder til at visualisere og bore ned i data.
At være i stand til at samle historiske data sammen med real-time feeds, og klik derefter at korrelere med eksterne datakilder, som vejrudsigter, for eksempel, fører Ecolab ned ad vejen til den ultimative analytics-mål: evnen til at forudse problemer, før de sker.
“Historisk set har vi primært fokusere på reaktiv-type scenarier,” Senese siger. “Vi ønsker at få meget mere intelligent, og den måde at gøre det på er at bruge data og bygge den prædiktive modeller omkring det. Vi har data til at gøre det nu. Vi er bare nødt til at gå ud, bygge modeller, skal du bruge de data, vi har, og bruge den ekspertise, som vi har internt.”
Doyle er enig. “Et projekt i særdeleshed vi arbejder på nu, er predictive analytics omkring patogener i vand, strøm, til virkelig at give rent vand til mennesker i hele verden. Ved hjælp af [3D TRASAR] data og oplysninger som luftfugtighed eller temperatur og andre eksterne datakilder, kombineret med kunden programmer omkring behandlingen af deres faciliteter, vi kan afgøre, om noget, som et patogen, der vil skabe et problem. Så kan vi sørge for, at du har de rigtige programmer til at behandle dem, så du er kompatibel med vand sikkerhed programmer, som vi har lagt på plads, og [systemer] er at fungere optimalt.”
Selv om forprogrammerede algoritmer, som disse kræver en betydelig træning og indsats, Doyle siger, cloud-tjenester sikre, at de kan blive fin og analyseret hurtigt. “Helt sikkert, når du taler om noget, som patogener i vand og beskyttelse af mennesker, der bliver syge, du ønsker at gøre sikker på, at du er så præcis som muligt,” siger han. “Det er skønheden i skyen, kan vi slutte i mere data og finde ud af, hvad der kan hjælpe med at øge nøjagtigheden.”
“Jeg føler, det er, hvor der vil være en masse af vækst,” Shah siger, at kigge på fremtiden. “Vi bør være i stand til at analysere alle disse data, skal du gå tilbage til business, og fortælle, hvad vi kan gøre med alt dette data.”
Han citerer Ecolab ‘ s system af alarmer, der advarer kunderne til at kemiske ubalancer eller spildt vand. “Når alarmen udløses, kemiingeniører analysere systemet og prøve at finde ud af, hvad der kunne gå galt. Hvad vi ønsker at gøre, er, hvis vi kan se nogle tendenser, der går op eller ned med andre datasæt, vi ønsker at alarm dem endnu hurtigere.
“Disse ting er virkelig kommer til at være afgørende for vores forretning, fordi hvis vi kan forudsige dem up-front, der hjælper os på at give god feedback til kunden, og jeg tror, vi begge vinde.”
Konklusion
Baseret på viden om Ecolab ‘ s IT-medarbejdere, er det klart, at cloud computing giver den optimale platform for IoT og big data analytics. Virksomheder, der ønsker at udnytte denne vigtige teknologi, der ville gøre klogt i at lytte til, Doyle ‘ s råd: “at Være aggressiv med den teknologi. Være aggressive med at flytte til skyen. Få den størrelse og den smidighed og avancerede analytiske evner, der kommer sammen med det.”
For at lære mere om Microsoft Azure Cloud-Tjenester og høre direkte fra de professionelle på Ecolab, kan du besøge www.zdnet.com/feature/microsoft-advanced-analytics.