Nul
Spark: big data værktøj du jour er at få automatisering
Du sikkert ikke høre det her først. Spark har gjort bølger i big data i et stykke tid nu, og 2017 har ikke skuffet nogen, der har satset på sin kometagtige. Det var en temmelig sikker satsning, faktisk, for så at fortolke signalerne fra markedet, ved at tale med kloge hoveder og overvågning af data alle pegede i samme retning.
Spark vedtagelse er i kraftig vækst. Dets samfund vokser, og alle de store big data-platforme gøre et punkt for at interoperere med Spark. Hvis man ser på dens centrale bidragydere og project management committee (PMC), vil du se Hadoop sværvægtere Cloudera og Hortonworks, og all-round kraftcentre som IBM, Facebook og Microsoft.
Gnist er omdrejningspunktet for en rig, big data og AI økosystem .Billede: Apache Gnist
Du vil også se et navn, du ikke kan genkende, men dominerer Gnist aktuelle udvikling og fremtidige retning: Databricks. Databricks er en start grundlagt af Spark ‘ s opfindere, Ali Ghodsi og Matei Zaharia. Ghodsi og Zaharia, der startede ud som kolleger forskere og venner i deres Berkeley dage, er den administrerende DIREKTØR og CTO for Databricks.
I sidste uge den Gnist Topmødet Europa event tiltrak mere end 1.000 deltagere i Dublin. Ghodsi og Zaharia begge var der til at dele nyheder, komme i kontakt med fællesskabet og diskutere. ZDNet var der også, og de emner, vi drøftede dækket et bredt spektrum, der spænder fra strategisk til hard-core tekniske.
Mød Delta, din smart cache lag i cloud
Dublin sætte scenen for den seneste tilføjelse til Databricks arsenal: Delta. På en måde, Delta repræsenterer retning og filosofi Databricks og dens grundlæggere perfekt. Det kan sammenfattes som værende en smart cache lag på toppen af AWS S3 storage, der lader dig gøre alle dine data behandling på omfanget og gennemløb i skyen, med Azure og Google cloud snart følger trop.
Det lyder evolutionære snarere end revolutionerende i den forstand, at det er noget, der har stået på et stykke tid. Databricks har bevæget sig i den retning, og starter samtalen med Delta var det et oplagt spørgsmål til Ghodsi: stor, men hvad nyt er der egentlig?
Databricks pladser Delta som en platform, der kombinerer streaming og batch-behandling, data warehouses, samarbejde og machine learning (ML) alt i en, mens du kører i skyen til at tilbyde skala og elasticitet. Ghodsi forklarer, at produktudvikling blev kunde-drevet, ikke blot i den forstand, at reagere på behov, men også til at gøre kunderne del af udviklingen loop.
Men hvorfor forsøge at forme Gnist til et data warehouse, og hvordan ville det virke?
Det er alle cloud for Databricks
ktsimage, Getty Images/iStockphoto
Årsagen er, data warehouses har fordele i form af ydeevne og styring, og til at høre fra kunder, hvordan de holdt flytte data rundt mellem deres data søer og data warehouses inspireret Databricks til at tage handling. Data søer supplere data warehouses, i form af billige opbevaring og adskillelse af beregning og lagring, så ideen var at få det bedste af begge verdener.