“Het is een verkeerde veronderstelling dat je moet kiezen tussen een [data lake] en [datawarehouse]”, zegt datawetenschapper Zulfikar Lazuardi, hoofd van Grab-analyse.
Sprekend als onderdeel van de virtuele Databricks Data and AI 2021 World Tour APAC-evenement, zei Lazuardi, zei dat de in Singapore gevestigde techgigant Grab gelooft dat het de goede plek tussen een datameer en datawarehouse heeft blootgelegd door een gecentraliseerd dataplatform te bouwen.
Het platform, ook wel Grab's ene centrale data genoemd, of kortweg OCD, is gebouwd op Databricks' Delta Lake en ontworpen om de flexibiliteit en betrouwbaarheid van een datameer en de BI-mogelijkheden van een datawarehouse samen te brengen.
De oplossing werd geïntroduceerd nadat het bedrijf aanvankelijk begon te werken met een datameer, maar problemen ondervond rond standaardisatie en BI-gebruiksscenario's. Het besloot toen om een datawarehouse te introduceren als een pleister op de problemen die zich voordeden, maar dit resulteerde alleen in het creëren van datasilo's, waardoor het moeilijker werd om de 25 miljoen maandelijkse transactiegebruikers en meer dan negen miljoen geregistreerde partners te bedienen.
“De ene centrale data … is gebouwd om alle mogelijkheden van data lake en datawarehouse te hebben. Door één centrale data te gebruiken, kunnen we alle use-cases voor analyse, voor datawetenschap en zelfs voor BI volledig ondersteunen”, zei Lazuardi.
“Voor de data science-persona kunnen we de modellen bouwen met het volledige voordeel van Spark en Delta Engine, en voor de BI-persona kan het de bekendheid en prestaties van datawarehouse hebben.”
De OCS bestaat uit twee hoofdcomponenten: OCS centraal en OCS federatief. Lazuardi zei dat de OCD-centrale is ontworpen om “te fungeren als een enkele bron van waarheid voor meerdere persona's”, terwijl OCD-federatie is ontworpen om meer dan 50 datateams binnen het bedrijf een data-“marktplaats” te geven om datasets te produceren.
Tegelijkertijd schetste Lazuardi dat de OCD het datateam heeft geholpen bij het versnellen van extractie-, transformatie- en laadprocessen, terwijl handmatig werk in verband met geïntegreerde datasets wordt verwijderd.
Enkele meer specifieke gebruiksscenario's die de OCD heeft ondersteund, zijn het voorspellen van de levenslange waarde van de klant, het assisteren van marketingteams bij de evaluatie en het verbeteren van klantinteracties door middel van gepersonaliseerde marketing.
Bovendien heeft Grab sindsdien een sandbox-oplossing geïmplementeerd om datateams de vrijheid en flexibiliteit te geven om machine learning-modellen te produceren zonder afbreuk te doen aan het centrale dataplatform.
“We hebben ongeveer 50 sandboxes”, zei Lazuardi.
Dinsdag was de Grab-app urenlang niet bereikbaar. Een woordvoerder van Grab vertelde ZDNet dat de oorzaak van de storing te wijten was aan “een probleem met een geplande upgrade naar een van onze systemen, waardoor sommige services werden verslechterd”.
“Onze kernservices zijn sinds [dinsdag] laat in de ochtend actief en onze gebruikers en partners kunnen de Grab-services normaal gebruiken”, voegde de woordvoerder eraan toe.
Op woensdag bleven er echter af en toe problemen optreden bij sommige gebruikers.
“Een klein segment kan nog steeds kleine problemen ondervinden terwijl we werken aan het voltooien van de upgrade”, aldus de Grab-woordvoerder.
“Het spijt ons voor het veroorzaakte ongemak en we communiceren met onze getroffen partners om volledige ondersteuning aan hen te garanderen.”
Meer van Grab
Grab verbetert de netto-omzet in het eerste kwartaal met 39% vooruitlopend op de Amerikaanse IPOGrab lijkt de adoptie van elektrische voertuigen te stimuleren met Hyundai MotorGrab voor de Amerikaanse beursgang in een fusieovereenkomst van $ 39 miljard
Grijp partners aan met de Indonesische overheid om COVID-drive-through-vaccinatiecentrum Big Data Analytics te openen | Innovatie | CXO | Kunstmatige Intelligentie | Bedrijfssoftware | Opslag