Noll
Spark: The big data tool du jour är att få automation
Du nog inte höra det här först. Gnista har varit att göra vågor i big data på ett tag nu, och 2017 har inte besvikna alla som har satsat på sin explosionsartade ökningen. Det var en ganska säker satsning faktiskt, som tolkar marknadens signaler, tala med förståsigpåare och övervakningsuppgifter som alla pekade i samma riktning.
Gnista antagande är blomstrande. Dess gemenskapen växer, och alla stora big data plattformar gör en poäng av att interoperera med Gnista. Om du tittar på dess centrala bidragsgivare och projektledning kommittén (PMC) kommer du att se Hadoop tungviktare Cloudera och Hortonworks, och alla runt kraftpaket som IBM, Facebook och Microsoft.
Gnista är i fokus för en rik big data och AI ekosystem .Bild: Apache Gnista
Du kommer också att se ett namn du inte känner igen, men dominerar Gnista s nuvarande utveckling och framtida inriktning: Databricks. Databricks är en start som grundades av Spark är uppfinnare, Ali Ghodsi och Matei Zaharia. Ghodsi och Zaharia, som började som andra forskare och dina vänner i deras Berkeley dagar, är VD och CTO Databricks.
Förra veckan Gnista Toppmötet mellan Europa evenemanget lockade mer än 1 000 deltagare i Dublin. Ghodsi och Zaharia var båda där för att dela med sig av nyheter, få kontakten med samhället och diskutera. ZDNet var också där, och de ämnen som vi diskuterade täckt ett brett spektrum som sträcker sig från strategisk till hard-core tekniska.
Träffa Delta, din smart cache lager i molnet
Dublin sätta scenen för det senaste tillskottet till Databricks arsenal: Delta. På ett sätt, Delta innebär ledning och filosofi Databricks och dess grundare perfekt. Det kan sammanfattas som en smart cache-lager på toppen av AWS S3 lagring som låter dig göra allt för databehandling i skala och genomströmning i molnet med Azure och Google cloud snart följer efter.
Det låter evolutionär snarare än revolutionär, i den meningen att detta är något som har pågått ett tag. Databricks har rört sig i den riktningen, och börjar samtalet med Delta-det var en uppenbar fråga för Ghodsi: bra, men vad som är nytt är det egentligen?
Databricks platser Delta som en plattform som kombinerar streaming och batch-bearbetning, datalager, samarbete och lärande (ML) allt i ett, samtidigt som körs i molnet för att erbjuda skala och elasticitet. Ghodsi förklarar att produktutveckling är kunddriven, inte bara i den meningen att tillgodose behov men också att göra kunder en del av utvecklingen loop.
Men varför försöka form Gnista till en data warehouse, och hur skulle det fungera?
Det är alla moln för Databricks
ktsimage, Getty Images/iStockphoto
Anledningen är ett datalager har fördelar i form av prestanda och styrning, och höra från kunder hur de höll flytta data runt mellan deras uppgifter sjöar och datalager inspirerad Databricks att vidta åtgärder. Data sjöar komplettera data lager i form av billiga förvaring och separering av beräkningar och lagring, så tanken var att få det bästa av båda världar.