Nul
Jeg har været involveret med cluster computing lige siden DEC indført VAXcluster i 1984. I disse dage, en tre node VAXcluster koste omkring $1 million. I dag kan du opbygge en langt mere kraftfuld klynge for under $1.000, herunder meget mere lagerplads end nogen kunne tillade sig tilbage derefter.
Hadoop er open-source version af Googles Map/Reduce og Google File System (GFS), udbredt til store data crunching applikationer. Det er en fælles-intet klynge, hvilket betyder, at du kan tilføje cluster noder, ydeevne opskalerer problemfrit.
Raspberry Pi: Hands-on med Pi-Desktop-kit | Raspberry Pi er mindre, billigere rival: NanoPi Neo Plus2 vejer på $25 | Det er derfor, du har brug for at lære Raspberry Pi 3 (ZDNet Academy) | Bygning 300 node Raspberry Pi supercomputer | Raspberry Pi: Google har planer om flere AI projekter til at følge DIY stemmegenkendelse kit | Raspberry Pi computing cluster: Hvad jeg bruger det til, og hvad jeg har føjet til det
I papir, Performance til en Lav Pris Hadoop Klynge for billedanalyse, forskere Basit Qureshia, Yasir Javeda, Anis Kouba, Mohamed-Foued Sritic, og Maram Alajlan, bygget en 20 node RPi Model 2 klynge, som er vokset op Hadoop på det, og brugte det til overvågningsdrone billede analyse. De har også benchmarkes Forskningsaktiviteter cluster mod en 4-node PC-klynge baseret på 3GHz Intel i7 Cpu ‘ er, hver med 4 gb RAM.
Konfiguration
Den 20 node cluster var opdelt i fire, 5-node subnets, der hver er knyttet til 16-port-afbrydere, der er, igen, i netværk til et administreret 24 port core switch. Den ekstra switch-porte gør det nemt at klynge ekspansion.
Hver 700MHz RPi B kører Raspbian, en ARM-optimeret version af Debian Linux. Hver RPi har en Klasse, 10, 16 GB SD-kort, der kan op til 80 mb/s læse/skrive-hastigheder. Et billede af OS med Hadoop 2.6.2 blev kopieret til SD-kort. Hadoop Master-node, som gennemfører navn-node, der var installeret på en PC, der kører Ubuntu 14.4 og Hadoop.
TechRepublic: Raspberry Pi computer? Her er en super-enkel kit kan du bygge dig selv | 20 dummeste Raspberry Pi projekter | Windows 10 face-off: Raspberry Pi tynd klient vs moderne laptop | Raspberry Pi: Byg din egen turbo-ladet klynge med OctaPi | Hvordan til at give din Raspberry Pi ‘state-of-the-art computer vision” er, ved hjælp af Intel ‘s Neurale Beregne Stick | Raspberry Pi, add-on giver dig mulighed for at bygge din egen AI-assistent drevet af Amazon, Google og Microsoft | Raspberry Pi Nul W: smart person’ s guide
Ydelse resultater
Du må forvente, at en klynge af 64-bit, 3GHz x86 Cpu ‘er til at være meget hurtigere end 700MHz, 32-bit ARM Cpu’ er, og du vil være rigtigt. Holdet kørte en serie af tests, der blev en) beregningsintensive (beregning af Pi), b) i/O-intensive (dokument i word tæller), og c) begge (stort billede fil pixel tæller).
Her er de ord tæller resultater, der er taget fra en figur på papiret.
Venligst udlånt af forfatterne
Generelt, x86 cluster var 10-20 gange hurtigere. Men evnen til at sætte et Hadoop-klynge i en rygsæk med et batteri, der åbner op for muligheder for kraftig kant computing, som drone, video pre-processing forfatterne udforske i deres papir. Også, i dag har vi RPi Model 3, med en processor med næsten dobbelt-ur hastighed af Inflation testet af forskerne.
Opbevaring Bits tage
Mobile edge klynger er ikke en ting i dag, men vil blive det, fordi vores evne til at indsamle data på kanten vokser meget hurtigere end båndbredde til kanten. Vi bliver nødt til at pre-processen, for eksempel, IoT-data for at komprimere det til net-transmission.
Hvornår vil de være økonomisk rentabelt? Tre ting ske:
Mobile processorer er nødt til at komme hurtigere, mens de resterende strømbesparende. Mere magt effektiv hukommelse – om low-power DRAM, eller NVRAM – skal gøre det muligt for større hukommelse cacacities på mobile processorer. Universal Flash-Lager (UFS) støtte på mobile processorer, fjerne den nuværende opbevaring flaskehals af micro-SD-kort.
Alle tre vil ske i de næste fem år. Derefter rygsæk klynger vil være i stand til reelt arbejde ude i naturen.
Høflige bemærkninger velkommen, selvfølgelig.
0