«Det er en falsk antagelse at du må velge mellom en [datainnsjø] og [datavarehus],» sa Zulfikar Lazuardi, ledende dataforsker i Grab analytics.
Snakker som en del av den virtuelle 2021 Databricks Data and AI World Tour APAC-arrangementet, sa Lazuardi, at den Singapore-baserte teknologigiganten Grab tror den har avdekket søtepunktet mellom en datainnsjø og datavarehus ved å bygge en sentralisert dataplattform.
Kallest som Grabs ene sentrale data, eller OCD for kort, ble plattformen bygget på Databricks' Delta Lake, og designet for å bringe sammen fleksibiliteten og påliteligheten til en datainnsjø og BI-mulighetene til et datavarehus.
Løsningen ble introdusert etter at selskapet først begynte å operere med en datainnsjø, men kom over vanskeligheter rundt standardisering og BI use-cases. Deretter bestemte de seg for å introdusere et datavarehus som en plasterløsning på problemene som dukket opp, men dette resulterte bare i opprettelse av datasiloer, noe som gjorde det vanskeligere å betjene sine 25 millioner månedlige transaksjonsbrukere og over ni millioner registrerte partnere.
“Den ene sentrale dataen … har blitt bygget for å ha alle egenskapene til datainnsjø og datavarehus. Ved å bruke én sentral data, kan vi fullt ut støtte alle brukstilfeller for analyser, for datavitenskap og til og med for BI,” sa Lazuardi.
“For datavitenskapspersona kan vi bygge modellene med full nytte av Spark og Delta Engine, og for BI-persona kan den ha kjennskapen til og ytelsen til datavarehuset.”
OCD består av to hovedkomponenter: OCD sentral og OCD-forbundet. Lazuardi sa at OCD-sentralen er designet for å “fungere som en enkelt kilde til sannhet for flere personas”, mens OCD-føderert har blitt designet for å gi mer enn 50 datateam i selskapet en “datamarkedsplass” for å produsere datasett.
Samtidig skisserte Lazuardi at OCD har hjulpet datateamet med å øke hastigheten på uttrekk, transformasjon og lasting av prosesser, samtidig som man har fjernet alt manuelt arbeid knyttet til integrerte datasett.
Noen mer spesifikke brukstilfeller som OCD har støttet inkluderer å forutsi kundens levetidsverdi, hjelpe markedsføringsteam med evaluering og forbedre kundeinteraksjoner gjennom personlig tilpasset markedsføring.
I tillegg har Grab siden implementert en sandkasseløsning for å gi datateam frihet og fleksibilitet til å produsere maskinlæringsmodeller uten å kompromittere den sentrale dataplattformen.
“Vi har omtrent 50 pluss sandkasser,” sa Lazuardi.
Tirsdag var Grab-appen nede i timevis. En Grab-talsperson fortalte ZDNet at årsaken bak avbruddet skyldtes “et problem med en planlagt oppgradering til et av systemene våre, som førte til at noen tjenester ble degradert”.
“Kjernetjenestene våre har vært i drift siden sent [tirsdag] morgen, og våre brukere og partnere har kunnet bruke Grab-tjenester til vanlig,” la talspersonen til.
Imidlertid fortsatte periodiske problemer å påvirke enkelte brukere onsdag.
“Et lite segment kan fortsatt oppleve mindre problemer mens vi jobber med å fullføre oppgraderingen,” sa Grab-talspersonen.
“Vi beklager eventuelle ulemper dette medfører, og kommuniserer med partnerne våre som har blitt berørt for å sikre full støtte til dem.”
Mer fra Grab
Grab forbedrer nettoomsetningen i 1. kvartal med 39 % foran USA. IPOGrab ser ut til å drive innføring av elektriske kjøretøy med Hyundai MotorGrab satt til amerikansk børsnotering i en fusjonsavtale på 39 milliarder dollar
Grab samarbeider med indonesiske myndigheter for å åpne COVID drive-through-vaksinasjonssenteret Big Data Analytics | Innovasjon | CXO | Kunstig intelligens | Enterprise Software | Oppbevaring