Nul
Ik ben betrokken geweest met de cluster computing sinds DEC geïntroduceerd VAXcluster in 1984. In die dagen, drie knooppunt VAXcluster kost ongeveer $1 miljoen. Vandaag kunt u het bouwen van een veel krachtiger cluster voor onder de $1000, met veel meer opslagruimte dan iedereen kan betalen.
Hadoop is een open-source versie van Google ‘ s Map/Reduce en Google File System (GFS), op grote schaal gebruikt voor grote data-kraken-toepassingen. Het is een gedeelde niets cluster, wat betekent dat als u het toevoegen van knooppunten, prestaties geschaald soepel.
Raspberry Pi: Hands-on met de Pi-Desktop kit | Raspberry Pi ‘ s kleiner, goedkoper rivaal: NanoPi Neo Plus2 weegt $25 | Dit is de reden waarom je nodig hebt om te leren van de Raspberry Pi 3 (ZDNet Academy) | de Bouw van een 300 knooppunt Raspberry Pi supercomputer | Raspberry Pi: Google van plan is meer AI-projecten te volgen DIY spraakherkenning kit | Raspberry Pi computing cluster: Wat ik ben en wat ik heb toegevoegd aan het
In de papier -, de Prestaties van een Low Cost Hadoop-Cluster voor beeldanalyse, onderzoekers Basit Qureshia, Yasir Javeda, Anis Kouba, Mohamed-Foued Sritic, en Maram Alajlan, bouwde een 20 knooppunt RPi Model 2 cluster, bracht Hadoop op, en gebruikte het voor surveillance drone image analysis. Ook zij benchmark van de RPi-cluster tegen een 4-node PC cluster die gebaseerd is op 3GHz Intel i7 Cpu ‘ s, elk met 4 gb RAM.
Configuratie
De 20-node cluster is opgedeeld in vier, 5-node subnetten, ieder aan om 16 poorts switches die, op zijn beurt, networked te worden van een beheerd 24 poort core switch. De extra switch-poorten kunt eenvoudig cluster uitbreiding.
Elk 700 mhz RPi B draait Raspbian, een ARM geoptimaliseerde versie van Debian Linux. Elke RPi heeft een Klasse 10, 16 GB SD-kaart kunnen tot 80 MB/s lezen/schrijf snelheden. Een afbeelding van de OS met Hadoop 2.6.2 werd gekopieerd naar de SD-kaarten. De Hadoop-Master-node, die voor de uitvoering van de naam-node is geïnstalleerd op een PC met Ubuntu 14.4 en Hadoop.
TechRepublic: Raspberry Pi laptop? Hier is een super-eenvoudige kit die je zelf kunt bouwen | 20 domste Raspberry Pi projecten | Windows 10 face-off: Raspberry Pi thin client versus moderne laptop | Raspberry Pi: Bouw je eigen turbo-opgeladen cluster met OctaPi | Hoe je de Raspberry Pi ‘state-of-the-art ‘computer vision’ met Intel ‘s Neurale Berekenen Stick | Raspberry Pi add-on kunt u het bouwen van uw eigen AI-assistent aangedreven door Amazon, Google en Microsoft | Raspberry Pi Zero W: De slimme person’ s guide
Resultaten
Je zou verwachten dat een cluster van 64-bit, 3 ghz x86 Cpu ‘s veel sneller dan 700 mhz, 32-bit ARM-Cpu’ s, en je zou gelijk hebben. Het team liep een serie van tests die zijn a) het verwerken van processor-intensieve (de berekening van Pi), b) I/O-intensieve (word document telt), en c) zowel (groot image bestand pixel telt).
Hier is de word count resultaten van een figuur in het papier.
Met dank aan de auteurs
In het algemeen, de x86-cluster is 10 tot 20 maal sneller. Echter, de mogelijkheid om een Hadoop-cluster in een rugzak met een batterij, opent mogelijkheden voor krachtige rand computing, zoals de drone video pre-processing de auteurs gaan in hun paper. Ook vandaag hebben we de RPi-Model 3, met een processor met bijna het dubbele van de kloksnelheid van de RPi getest door de onderzoekers.
De Opslag van Bits nemen
Mobile edge clusters zijn niet iets van vandaag, maar ze zal zijn, omdat ons vermogen om gegevens te verzamelen aan de rand groeit veel sneller dan de bandbreedte van het netwerk tot aan de rand. We hebben de pre-proces, bijvoorbeeld, IoT gegevens te comprimeren voor netwerk-transmissie.
Wanneer zullen ze economisch haalbaar zijn? Drie dingen moeten gebeuren:
Mobiele processors hebben om sneller te krijgen, terwijl de resterende energie-efficiënte. Meer energie-efficiënte geheugen – of low-power DRAM, of NVRAM – moet inschakelen groter geheugen cacacities op mobiele processors. Universele Flash-Opslag (UFS) te ondersteunen op mobiele processors, is het verwijderen van de huidige opslag knelpunt van de micro-SD-kaarten.
Alle drie zal gebeuren in de komende vijf jaar. Vervolgens rugzak clusters zullen in staat zijn van het echte werk in het wild.
Hoffelijk opmerkingen van harte welkom, natuurlijk.
0