Nul
Vonk: De big data tool du jour is het krijgen van automatisering
Waarschijnlijk deed je niet horen dat het hier het eerst. Spark is het maken van golven in big data voor een tijdje nu en 2017 is niet teleurgesteld iedereen die heeft ingezet op de snelle opkomst. Dat was een vrij veilige gok eigenlijk, als het interpreteren van de signalen van de markt, spreken met experts en monitoring gegevens al gewezen op het in dezelfde richting.
Vonk adoptie is booming. De gemeenschap groeit, en alle grote big data platforms maken een punt van het samenwerken met Vonk. Als je kijkt naar de kern medewerkers en project management comité (PMC) zie je Hadoop zwaargewichten Cloudera en Hortonworks, en all-round krachtpatsers zoals IBM, Facebook en Microsoft.
Spark is het centrale punt voor een rijke big data en AI ecosysteem .Afbeelding: Apache Vonk
U ziet ook een naam die je misschien niet herkennen, maar domineert Vonk de huidige ontwikkeling en de richting voor de toekomst: Databricks. Databricks is een startup is opgericht door Spark uitvinders, Ali Ghodsi en Matei Zaharia. Ghodsi en Zaharia, die begon als collega-onderzoekers en vrienden in hun Berkeley dagen, zijn de CEO en CTO van Databricks.
Afgelopen week is de Spark Top van Europa evenement trok meer dan 1000 deelnemers in Dublin. Ghodsi en Zaharia waren beiden er nieuws te delen, in contact met de gemeenschap en bespreken. ZDNet was er ook, en de onderwerpen die we besproken hebben betrekking op een breed spectrum variërend van strategisch tot de harde kern van de technische.
Voldoen aan de Delta, uw smart cache-laag in de cloud
Dublin-het podium voor de nieuwste toevoeging aan Databricks arsenaal: Delta. Op een manier, Delta geeft de richting en de filosofie van Databricks en zijn oprichters. Het kan worden samengevat als een smart cache laag op de top van AWS S3 opslag, zodat u al uw gegevens verwerking op de schaal en de doorvoer in de cloud, Azure en Google cloud snel volgt.
Het klinkt evolutionair dan revolutionair, in de zin dat deze is iets dat al een tijdje. Databricks is beweging in die richting ook, en het starten van het gesprek met Delta was een voor de hand liggende vraag voor Ghodsi: mooi, maar wat is nieuw er precies?
Databricks plaatsen Delta als een platform dat combineert streaming en batch-verwerking, data warehouses, samenwerking en machine learning (ML), all in one, tijdens het hardlopen in de cloud aan te bieden schaal en elasticiteit. Ghodsi legt uit dat de ontwikkeling van een product is de klant, niet alleen in de zin van die beantwoorden aan behoeften, maar ook om klanten een onderdeel van de ontwikkeling van de lus.
Maar waarom proberen vorm te geven Vonk van een data warehouse, en hoe zou dat werken?
Het is allemaal cloud voor Databricks
ktsimage, Getty Images/iStockphoto
De reden hiervoor is data warehouses hebben voordelen in termen van prestaties en governance, en het horen van klanten hoe zij hielden het verplaatsen van gegevens rond tussen hun gegevens meren en data warehouses geïnspireerd Databricks om actie te ondernemen. Gegevens meren aanvulling van data warehouses in termen van goedkope opslag en de scheiding van server-en storage, dus het idee was om het beste van beide werelden.