“Det är ett falskt antagande att du måste välja mellan en [datasjö] och [datalager],” sa Zulfikar Lazuardi, ledande dataforskare i Grab analytics.
Talade som en del av den virtuella 2021 Databricks Data och AI World Tour APAC-evenemang, sa Lazuardi att den Singapore-baserade teknikjätten Grab tror att den har avslöjat den söta punkten mellan en datasjö och datalager genom att bygga en centraliserad dataplattform.
Dubbad som Grabs ena centrala data, eller OCD för kort, byggdes plattformen på Databricks Delta Lake, och designad för att sammanföra flexibiliteten och tillförlitligheten hos en datasjö och BI-kapaciteten i ett datalager.
Lösningen introducerades efter att företaget från början började arbeta med en datasjö men stötte på svårigheter kring standardisering och BI-användningsfall. Man bestämde sig då för att införa ett datalager som en plåsterlösning på de problem som uppstod, men detta resulterade bara i att datasiloer skapades, vilket gjorde det svårare att betjäna sina 25 miljoner månadshandlande användare och över nio miljoner registrerade partners.
“Den enda centrala datan … har byggts för att ha alla möjligheter för datasjö och datalager. Genom att använda en central data kan vi fullt ut stödja alla användningsfall för analys, för datavetenskap och till och med för BI,” sa Lazuardi.
“För datavetenskapspersonen kan vi bygga modellerna med full nytta av Spark och Delta Engine, och för BI-personen kan den ha samma förtrogenhet och prestanda som datalager.”
OCD består av två huvudkomponenter: OCD central och OCD federerad. Lazuardi sa att OCD-centralen har utformats för att “agera som en enda källa till sanning för flera personer”, medan OCD federated har utformats för att ge mer än 50 datateam inom företaget en “datamarknad” för att producera datauppsättningar.
Samtidigt beskrev Lazuardi att OCD har hjälpt datateamet att påskynda extrahera, transformera, ladda processer, samtidigt som man tagit bort allt manuellt arbete som är associerat med integrerade datauppsättningar.
Några mer specifika användningsfall som OCD har stött inkluderar att förutsäga kundens livstidsvärde, hjälpa marknadsföringsteam med utvärdering och förbättra kundinteraktioner genom personlig marknadsföring.
Dessutom har Grab sedan dess implementerat en sandlådelösning för att ge datateam friheten och flexibiliteten att producera maskininlärningsmodeller utan att kompromissa med den centrala dataplattformen.
“Vi har ungefär 50 plus sandlådor,” sa Lazuardi.
På tisdagen låg Grab-appen nere i timmar. En talesperson för Grab sa till ZDNet att orsaken bakom störningen berodde på “ett problem med en planerad uppgradering till ett av våra system, vilket gjorde att vissa tjänster försämrades”.
“Våra kärntjänster har varit igång sedan sent [tisdag] morgon, och våra användare och partners har kunnat använda Grab-tjänster som vanligt”, tillade talesmannen.
Emellertid fortsatte intermittenta problem att påverka vissa användare på onsdagen.
“Ett litet segment kan fortfarande uppleva mindre problem när vi arbetar med att slutföra uppgraderingen”, sa Grabs talesperson.
“Vi ber om ursäkt för eventuella besvär och kommunicerar med våra partners som har drabbats för att säkerställa fullt stöd till dem.”
Mer från Grab
Grab förbättrar nettoförsäljningen under första kvartalet med 39 % före USA. IPOGrab ser ut att driva på adoptionen av elfordon med Hyundai MotorGrab inställd på amerikansk börsintroduktion i fusionsavtal på 39 miljarder USD
Grab samarbetar med den indonesiska regeringen för att öppna COVID-drive-through-vaccinationscentret Big Data Analytics | Innovation | CXO | Artificiell intelligens | Företagsprogramvara | Lagring