Inleiding
Big data analytics is een populaire buzzphrase voor de afgelopen jaren. Met de explosie van de beschikbare gegevens van de klant interacties, transacties, support calls, en sociale media zijn slechts een paar bronnen – bedrijven worstelen dapper voor de opslag van grote hoeveelheden informatie en, belangrijker nog, hoe de waarde ontlenen.
Het Internet of Things (IoT) is samengesteld met het de uitdaging door het toevoegen van gegevens feeds van de aangesloten sensoren en apparaten. Deze feeds bevatten een schat aan bruikbare inzichten, als bedrijven kunnen ziften door ze in real time en het bereiken van de behendigheid om op te treden op hen snel.
Cloud computing heeft geholpen bij het oplossen van de opslag en de verwerking van de uitdagingen die inherent zijn aan big data en IoT analytics, met zijn bijna-oneindige schaal-en pay-as-you-go modellen. Markt onderzoek in de laatste maanden draagt deze trend.
In oktober 2016, International Data Corporation (IDC) voorspeld dat de wereldwijde omzet voor big data en analytics zal groeien van $130.1 miljard in 2016 meer dan $203 miljard euro in 2020. IDC ook gevonden dat de uitgaven aan de cloud-gebaseerde big data en analytics-oplossingen zal groeien met 4,5 keer sneller dan de uitgaven voor on-premise oplossingen. De reden, volgens IDC is 2016 Futurescape Rapport: “de Complexiteit van het beheer van on – en off-premise data en technologie gaat toenemen en het aantal interne en externe bronnen en typen zal blijven stijgen.”
Deze voorspelling is zeker juist gebleken bij Ecolab, een wereldwijde marktleider in de water -, hygiëne -, energietechnologieën en services. Met zijn Noord-Amerikaanse activiteiten in St. Paul, MN, Ecolab serveert bedrijven over de hele wereld, gespecialiseerd in de voedingsindustrie, de horeca, gezondheidszorg, industrie en olie-en gasbedrijven. Ecolab biedt een breed pakket van technologieën, geautomatiseerde monitoring systemen gebaseerd op sensoren, data-analyse, chemische oplossingen en expertise dat klanten helpt bij het minimaliseren van zoet water gebruiken, het maximaliseren van de prestaties en het optimaliseren van de totale kosten van de operatie, terwijl ook het houden van de omgeving schoon en veilig is.
In dit rapport zullen we horen van de IT-professionals bij Ecolab, in hun eigen woorden over hun ervaringen met het verplaatsen van Ecolab ‘ s analytics-infrastructuur in de cloud.
Een Wereldwijd Netwerk van Sensoren
Ecolab ‘ s enorme pool van gegevens omvat informatie uit veel verschillende bronnen, maar de primaire sensor netwerk is een onderdeel van hun 3D TRASARTM Technologieën voor het Koelen van Water, cv-Ketels, Dissolved Air Flotation en Slijmvliezen.
“3D TRASAR is een technologie die daadwerkelijk is ontwikkeld in 1988”, legt Kevin Doyle, vice-president Global Digital Solutions bij Ecolab Nalco is Water-bedrijf. “Op het moment, het is over het taggen van chemische stoffen in het water, zodat we kunnen metingen in real time en het optimaliseren van de prestaties van de bedrijfsactiviteiten van onze klanten in hun koeltorens, ketels en andere systemen.”
De hardware omvat de aangesloten sensoren, controller eenheden en gateways die informatie verzenden terug naar Ecolab, voegt hij eraan toe. “Er zijn voelers in het water in het beekje dat het verzamelen van gegevens, op de melodie van ongeveer 28 miljard data-punten per jaar die wij verzamelen over de 36.000 systemen die we hebben ingezet op de sites van de klant.”
3D TRASAR monitoren chemische stoffen op grote schaal water systemen.
Afhankelijk van de lezingen, geautomatiseerde systemen voor het regelen van de ‘dosis’ van chemicaliën nodig om het water schoon en stromend efficiënt. “3D TRASAR is het meten van de chemie in het water en het maken van real-time aanpassingen,” Doyle zegt. De doelen zijn het verminderen van de hoeveelheid water gebruikt, om te voorkomen dat microben uit te bouwen in het water, en te verminderen of te elimineren aanslag en corrosie die van invloed kunnen zijn kostbare apparatuur.
“Zelfs voor deze hele IoT groot geworden, we hadden onze 3D TRASAR controllers en tanks melden aan ons,” herinnert Bhavik Shah, application development manager bij Ecolab. “We krijgen ongeveer 1,2 miljoen bestanden per dag. Dat is een stuk van de data.”
Craig Senese, directeur van google Analytics en Ontwikkeling, wijst erop dat Ecolab had de vooruitziende blik om te beginnen met het vastleggen van deze gegevens in digitale vorm, te beginnen in de vroege jaren 2000, en voor de IoT en big data analytics had genomen te hebben.
“Wat interessant is, dat 15 jaar geleden was de vooruitziende blik om te weten dat we willen vastleggen dat gegevens op het web,” Senese zegt. “3D TRASAR eenheden zijn niet alleen het beheersen van koeltorens, ze zijn ook het verzenden van gegevens op de ketels die wij service.. Dus niet alleen doen ze het aanwezige controle van de chemie in het water systemen, ze zijn het verstrekken van alle gegevens die zij zien in real-time. We hebben deze lange geschiedenis van de gegevens die we nu krijgen in en uitpakken waarde uit om onze klanten te helpen. 3D TRASAR is een grote overgang voor ons in de digitale wereld voordat we wisten dat is waar we waren op weg.”
Google Analytics Zonder Cloud
Ecolab ‘ s project teams zijn verdeeld tussen de VS en India. Een klein leger van 120 chemische ingenieurs, in Pune, India, monitoren sensor feeds in real-time. Vervolgens zijn er een aantal 60 ontwikkeling van professionals verdeeld in project teams. De teams maken gebruik van Agile development technieken en Scrum kaders te laat projecten niet stilvallen.
“De meeste van onze teams zijn architecten, ontwikkelaars, testers, en in een Scrum master,” Shah zegt. “Voordat we verhuisden naar de cloud zijn al onze ontwikkeling werd gedaan in huis. Al onze servers zijn gevestigd in Naperville.”
“Wij handhaven onze eigen datacenters. Het was tamelijk gefragmenteerd,” herinnert Senese. “We hebben ongeveer 60 ontwikkeling van professionals over de hele wereld en, heel eerlijk gezegd, was het moeilijk voor hen om samen te werken in een collaboratieve omgeving.”
Shah beschrijft de omgeving op deze manier: “Wij gebruiken Microsoft-technologieën, dus we hadden Windows Server, SQL Server, en voor onze toepassingen hebben we gebruikt om het gebruik van ASP.NET MVC, SharePoint, Silverlight, en voor de opslag van gegevens, we gebruikt om het gebruik van SQL Server 2008.”
Chemische ingenieurs bij Ecolab monitor sites over de hele wereld.
Wanneer de gegevens kwamen uit de 3D TRASAR eenheden, voegt hij er aan toe, het team gebruik van BizTalk Server voor het parseren van de bestanden en voeg ze toe aan de database. “Een van de kwesties die in dat was, dat we slaan het allemaal in één grote SQL-tabel”, zegt hij. Dat een enkele tabel blijkt een duidelijk knelpunt.
“We hadden veel toepassingen in te gaan en te proberen om het te lezen. Er waren verschillende use cases voor verschillende toepassingen. We wilden bijvoorbeeld het tonen van een grafiek weerspiegelt jaar-op-jaar. Dat was echt traag is, want we moesten lees alle gegevens voor meerdere jaren van een SQL-tabel. Op de top van dat, het was echt moeilijk voor ons storage systeem. We gebruikt om uit te breiden onze opslag zo snel dat we nooit in staat zou zijn om te voorspellen [eisen] in de toekomst.”
Senese stemt ermee in dat de noodzaak voor schaal bleek een uitdaging als deze analyses workloads waren hosted on-site. “Als we willen uitbreiden, er is een hoop kosten — er is veel tijdlijn geassocieerd met het”, zegt hij.
Uiteindelijk is het nodig om de schaal en snelheid van de impuls Ecolab vast te stellen Microsoft Cloud Diensten. De resultaten hebben de verwachtingen overtroffen.
Advanced Analytics in Azure
“Met de Microsoft-Cloud, kunnen we de schaal bijna oneindig, zowel in de ruimte en in het berekenen van macht,” Senese zegt. “We hebben een global footprint, dus als we het ontwikkelen van prototypes en ontwikkelen we proofs-of-concept, kort na dat wij op schaal zeer snel te veel klanten en veel van de verschillende streken van de wereld. Wat Microsoft Azure brengt is de mogelijkheid om te schalen zeer snel, en het brengt ook iets wat we nog niet hadden in het verleden-de pk ‘ s te doen berekenen.”
“Met onbeperkte capaciteit en de geavanceerde analysemogelijkheden zijn, zijn we in staat om veel meer te doen in real-time met de gegevens die we verzamelen,” Doyle legt. “Het stelt ons ook in staat om het verzamelen van nog meer gegevens dan we waren in staat om voor, het combineren van onze gegevens met externe gegevens, het delen van informatie met onze klanten, of nieuwe DINGEN apparaten.”
“Zelfs voordat ze naar de cloud, we werden met behulp van Microsoft-technologieën,” Shah zegt, dus het verplaatsen naar Azure was echt een goede pasvorm voor ons.”
Een Ecolab expert diagrammen van de stroom van gegevens van de sensoren naar de cloud om de Macht van BI-dashboards.
Het hebben van een goed gevoel van de bestaande werklast en de gewenste resultaten hebben ook geholpen met de overgang. “We wisten wat ons pijn punten waren. Wij stellen onze doelen, het bepalen van wat we willen van Azure. Vervolgens gaan we bezig met Microsoft in eerste instantie te doen om een proof of concept. We keken naar de proof of concept en zorgde ervoor dat onze doelen bereikt zouden worden met Azure. Van daaruit zijn we begonnen met het bouwen van oplossingen op.”
In de eerste fase, Shah voegt, Ecolab gebouwd mogelijkheden in Azure naast het on-premises oplossing, het repliceren van de SQL-database, dus niet te onderbreken service. “We hebben al onze data-opslag in Azure alsmede op het terrein. Dat gaf ons de flexibiliteit om te verplaatsen van de huidige applicaties Azure, evenals het bouwen van nieuwe oplossingen in Azure.
“We wilden de huidige toepassingen van de gegevens van [on-premise systemen], maar dan zorgen we ervoor dat we een pad te verplaatsen naar Azure. Zo worden alle gegevens die naar onze datacenter over een jaar, we omgeleid — na de verwerking in ons data center — Azure.” Met toepassingen parallel werken, Shah en zijn team geleidelijk gericht analytics workloads te consumeren gegevens die zijn opgeslagen in Azure, met name als nieuwe aanvragen kwam van zakelijke gebruikers en klanten.
“Er was dubbele gegevens die er zijn,” Shah geeft toe, “maar dat kon ons helpen om ervoor te zorgen dat de huidige toepassingen kunnen nog steeds prima werken tijdens het verplaatsen naar Azure.”
Als de overgang voortgezet, Shah en zijn team ontdekten dat de ‘oude manier’ van het doen van dingen niet te staan in de cloud. “Uit de opslag standpunt, het was helemaal SQL op het terrein. In Azure, begonnen we aan de hand van tabel opslag, DocumentDB, gegevens meren, Blob storage – om ervoor te zorgen dat het gebruik past bij de manier waarop wij slaan.”
De mogelijkheid op te nemen meer diverse gegevensstromen ook een uitdaging voor Ecolab, maar wel één met wat ze al kennen. “We hadden veel data formaten, zoals onze 3D TRASAR controller had ontwikkeld tot een veel — we hadden drie versies van het al,” Shah zegt. “Elke keer dat een nieuwe versie kwam uit, we hadden voor het schrijven van een nieuwe BizTalk proces. Een van de dingen die we deden in Azure was, hebben we WebJobs, die noemen we ‘fornuizen.’ [Pan] wordt de ruwe gegevens voor ons en plaatst deze in een formaat dat is hetzelfde op alle platformen. Dat gaf ons de mogelijkheid om analytics op de top van het. We gebruiken ook Azure services zoals IoT Hub, Evenement Hub en Service Bus, om het binnendringen van alle gegevens.”
Met de pan in de plaats, Shah en zijn team zijn in staat om verbinding sensor-feeds rechtstreeks naar de Azure de opgeslagen gegevens. “De sensoren via een gateway stuurt u de gegevens rechtstreeks naar de Azure en de IoT Hub. Vanaf daar gingen we naar dezelfde data flow [proces] hadden we voor onze vorige controller, en uiteindelijk ging het om de dezelfde opslag.”
Next-Level Diensten voor Visualisatie en Voorspelling
De gegevens in Microsoft Azure stelt Ecolab voor het maken van interactieve dashboards en rapporten met gemak en delen deze consoles op mobiele apparaten. “Voor visualisatie, we embedded Power BI in onze toepassing,” Shah zegt. “We hebben [ook] gemaakt van een paar van Xamarin apps voor iOS, Android, en UWP. Ze zijn volledig uitgevoerd in Azure. Dus hebben we een API gehost op Azure, de apps te praten met die Api ‘ s en de opslag is in DocumentDB.”
De rapporten kunnen klanten en Ecolab experts om te kijken naar het gebruik van water in een fabriek, op het niveau van een klant-niveau, of op een enterprise niveau. Het boren naar beneden in de gegevens, Shah zegt, helpt Ecolab gebieden aanwijzen waar het gebruik van water kan worden teruggebracht, bijvoorbeeld.
Dashboards gebouwd in Kracht van BI-klanten helpen bij het visualiseren en analyseren van gegevens.
Kunnen geaggregeerde historische gegevens, samen met real-time feeds, en dan te correleren met externe gegevensbronnen, zoals weerberichten, bijvoorbeeld, leidt Ecolab langs het pad naar de ultieme google analytics-doel: het voorspellen van problemen voordat ze zich voordoen.
“Historisch, richten we ons vooral op reactieve-type scenario’ s,” Senese zegt. “We willen veel meer voorspellende, en de manier om dat te doen is gebruik te maken van gegevens en het bouwen van de voorspellende modellen rond. Wij hebben de gegevens om dat te doen nu. We hoeven alleen maar naar buiten te gaan, het bouwen van de modellen, het gebruik van de gegevens die we hebben, en gebruik maken van de expertise die wij hebben intern.”
Doyle is het ermee eens. “Één project in het bijzonder waar we nu aan werken is predictive analytics rond ziekteverwekkers in het water, stroom, om echt te voorzien van veilig water voor mensen over de hele wereld. Met behulp van de [3D TRASAR] gegevens en informatie zoals vochtigheid, temperatuur en andere externe bronnen van gegevens, gecombineerd met de klant-programma ‘ s rond de behandeling van hun faciliteiten, kunnen we bepalen of iets als een ziekteverwekker is gaan maken van een probleem. Dan kunnen we ervoor zorgen dat u de juiste programma ‘s in plaats om ze te behandelen, zodat u voldoet aan de veiligheid op het water-programma’ s die we hebben in de plaats en de [uw systemen] zijn optimaal te presteren.”
Hoewel de voorspellende algoritmen zoals deze vereisen aanzienlijke training en inspanning, Doyle zegt, cloud-services zorgen ervoor dat ze kunnen worden getweakt en geanalyseerd snel. “Zeker, wanneer je praat over iets als ziekteverwekkers in water en bescherming van de mensen uit ziek, wilt u ervoor zorgen dat u zo nauwkeurig mogelijk is,” zegt hij. “Dat is de schoonheid van de cloud; we kunnen aansluiten in meer gegevens en erachter te komen wat u kan helpen met het stimuleren van nauwkeurigheid.”
“Ik heb het gevoel dat’ s waar er een stuk van de groei,” Shah zegt, kijken naar de toekomst. “We moeten in staat zijn om het analyseren van al deze gegevens, go back to business, en vertellen wat we kunnen doen met al deze gegevens.”
Hij citeert Ecolab ‘ s systeem van alarmen die klanten attent te maken op een chemische onbalans of verspilde water. “Zodra het alarm wordt geactiveerd, de chemische technici analyseren van het systeem en probeer te achterhalen wat kan er verkeerd gaan. Wat wij willen doen is, als we zien een aantal trends omhoog of omlaag gaan met andere datasets, we willen alarm hen zijn zelfs eerder.
“Deze dingen zijn echt essentieel voor ons bedrijf; want als we dat kunnen voorspellen dat ze up-front, die ons helpt in het geven van goede feedback aan de klant, en ik denk dat we dan allebei winnen.”
Conclusie
Gebaseerd op de inzichten van Ecolab IT-medewerkers, dan is het duidelijk dat cloud computing biedt het optimale platform voor IoT en big data analytics. Bedrijven die willen optimaal gebruik maken van deze belangrijke technologie zou er goed aan doen te luisteren naar Doyle ‘ s advies: “agressief met de technologie. Agressief met het verplaatsen naar de cloud. Voor de schaal en de lichtvoetigheid en de geavanceerde analytische mogelijkheden die langs komen.”
Om meer te leren over de Microsoft Azure Cloud Services en direct luisteren van de professionals bij Ecolab, bezoek www.zdnet.com/feature/microsoft-advanced-analytics.