Nul
Velsignelse er slået til bane, som den eksplosive vækst i størrelsen af neurale netværk præsenterer AI fællesskab med klodset computer arbejdsmængder, at skat eksisterende ressourcer.
Heldigvis, det nye år er skudt i gang med et væld af løsninger til at gøre neurale netværk mere overskueligt, både for at træne dem, og når de kører på enheder til at besvare spørgsmål, der er kendt som “inferens” fase af machine learning.
Også: AI start Petuum har til formål at industrialiseringsproces machine learning
En sværm af papirer i slutningen af December, og i denne uge foreslå en bred vifte af løsninger for at få netværk mere overskueligt. De omfatter, i nogen bestemt rækkefølge:
Komprimere matematik er nødvendige for at beregne vægtene i et neuralt netværk, i nogle tilfælde reducere dem fra 32-bit floating point til 8-bit-fast-punkt (heltal) numre, eller “binarizing” dem, reducere dem til enten 1 eller 0, eller ved hjælp af “symmetri” af matricer, hvilket reducerer den mængde lagerplads, der kræves for at repræsentere dem;
“Beskæring” af de parametre, hvilket betyder, at fjerne nogle af vægte og “aktivering af funktion,” beregning, der gør et givent neuron i det neurale net reagere på de data;
Reducere mængden af udveksling af data over et netværk, når du kører på mange distribuerede edb-systemer, såsom ved selektivt at afgøre med neuroner udveksling af information om vægte, eller ved selektivt at opdele beregningen på tværs af forskellige processorer;
Nye typer af neurale netværk, algoritmer og metoder til at partitionere med dem at gøre mere effektiv brug af nye typer hardware.
En “memristor neurale netværk,” MNN. (Billede: Tang et al.)
Som et papir, der sætter det, som Charbel Sakr og Naresh Shanbhag fra University of Illinois i Urbana-Champaign, “Dybt neurale netværk’ enorme beregningsmæssige og parameter kompleksitet fører til høje energiforbrug, der gør deres uddannelse via den stokastiske gradient descent algoritmen meget langsom ofte kræver timer og dage, og hæmmer deres indsættelse på energi-og ressource-begrænset platforme, såsom mobile enheder og autonome agenter.” Mange af de papirer, der tilbyder lignende bekymringer.
Også: Capital One AI chef ser sti forklares AI
Søg efter løsninger til at gøre neurale net mere effektivt at processen går årtier tilbage. Det var et problem, når pionerer Rumelhart og McClelland skrev deres massive afhandling Parallel Distributed Processing i 1986, og når Facebook ‘ s Yann LeCun foreslåede “Optimal brain damage” i 1990, som en måde at reducere antallet af parametre, som er nødvendige for at blive beregnet. Arbejde med Google Hjernen forskerne Jeff Dean og andre tumlede med problemet igen, så dyb læring tog fart i 2012.
Søg efter forbedring har været konstant, men problemet lader kun til at blive værre, som succes i dyb læring gør netværk større og større i de områder, hvor machine learning har virkelig taget fart, sådan som billedet anerkendelse og naturligt sprog forarbejdning.
Forfatterne af de forskellige rapporter, der alle hævder, at reducere i nogle måde, it-intensitet, herunder hvor lang tid det tager at træne et neuralt net, eller bruge den til at udlede ting, eller begge dele. De er alle tynget af den skræmmende trade-off, at neurale netværk altid arbejdskraft under: hvis du dump for meget af kompleksiteten af et neuralt netværk, du kan forbedre dets ydelse ved at timer eller dage, men du kan også risikere at miste nøjagtigheden af netværket. Alle de forfattere hævder, at de har med succes navigeret der frygtindgydende trade-off.
Her, i nogen bestemt rækkefølge, er de optimeringer:
Navn som egentlig betyder yoshua Bengio og hold på Montreal ‘ s MILA udforske, hvad der sker, hvis de quantize dele af et neuralt net til at gøre behandlingen af inferens opgaver, der er mere effektiv, især for mobile enheder. De foreslår også en ny tilgang til neurale net hardware, der tager “et par watt” af beføjelser til at udføre operationer.
Xu Shell Hu og kolleger af Paris ‘ Université Paris-Est foreslå at gøre vægtene i et neuralt netværk “symmetrisk” i en selektiv måde, som de insisterer på, “kan reducere antallet af parametre, og beregningsmæssige kompleksitet ved at ofre lidt eller ingen nøjagtighed, både i tog og test tid.”
Sakr og Shanbhag på U of Illinois vise, hvordan at kvantisere alle vægte i et netværk for uddannelse fase, ved at bestemme den minimale accepteret præcision for hver del af det netværk, der hævder, at sådanne foranstaltninger mærkbart reducere den “repræsentative, beregningsmæssige og kommunikation udgifter til uddannelse” i forhold til floating point beregninger.
Xiaorui Wu og kolleger ved City University of Hong Kong, sammen med Yongqiang Xiong af Microsoft, forbedre den typiske design af et distribueret machine learning-systemet, reducerer drastisk kommunikation båndbredde taget op mellem beregning af noder, og det vil resultere i, at det “forbedrer tid til uddannelse væsentligt over parameter-server systemer med den nyeste datacenter Gpu’ er og 10G båndbredde.”
Hajar Falahati og kolleger fra Iran Universitet for Videnskab og Teknologi skabt en ordning for selektivt at opdele den atomare funktioner af neurale net, såsom design og ikke-uregelmæssigheder eller opdatering af netværkets vægte. Holdet har brugt denne partition tilgang til at få mest ud af en ny chip, som de byggede, kaldet “Origami”, som er en kombination af en application-specific integrated circuit (ASIC) og flere lag af stacked DRAM, hvad der er kendt i den chip verden som en “Hybrid Memory Cube.”
Zhiri Tang og kolleger på Kinas Wuhan Universitet og Kinesiske Academy of Sciences komme op med en ny måde at reducere antallet af vægte i et netværk ved at modellere dem efter et elektrisk kredsløb kaldes en “memristor,” hvis kredsløb ejendomme er påvirket af en historie af nuværende flow, der er beslægtet med at tilsætte en neuron.
Mohammad Mohammadi Amiri og Deniz Dagtimerne med Imperial College London, distribuere funktionen uddannelse til flere trådløst tilsluttede computere, og derefter har hver enkelt computer, der sender sine beregninger tilbage over den støjende til trådløs forbindelse, som automatisk sikrer den sum af flere gradienter, at opnå en global gradient, når transmission ankommer til en central server, og dermed spare på kommunikation båndbredde.
Partitionering funktioner i et neuralt netværk til at optimere distribueret databehandling. (Billede: Falahati et al.)
Det overordnede indtryk, der gives af alle disse rapporter er, at der i dag er neurale netværk har ikke ændret sig fra et årti siden i mange grundlæggende aspekter; de samme problemer med den skala, der var ramt af Google og andre, der dengang stadig gælder. Og mange af de designs af disse neurale netværk-deres “arkitektur” — er ineffektivt, i den forstand at have en masse overflødige oplysninger.
En anden konklusion venstre dvælende er, om alt dette arbejde vil føre til bedre neurale netværk. Begrebet “repræsenterer” verden i et neuralt netværk har altid hvilet på den idé, for på en eller anden måde “begrænsende”, at neurale netværk til at tvinge den til at finde højere niveauer af abstraktion.
Skal læse
“AI er meget, meget dum, “siger Google’ s AI leder CNETBaidu skaber Kunlun silicium til AISamlet Google AI division et klart signal om, at AI ‘ s fremtidige TechRepublic
Grænserne for neurale netværk er forklaret i en anden artikel ud af i denne uge, sponsoreret af Defense Advance Research Projects Agency. Pierre Baldi og Romerske Vershynin, professorer på UC Irvine. I deres papir, “Kapaciteten af Feedforward neurale netværk,” de bestræber sig på at beskrive, hvor meget information om verden et neuralt netværk kan realisere. Som de udtrykte det, “kapaciteten af et netværk kan ses som en øvregrænse på det samlede antal af bits, der kan være gemt i et netværk, eller antallet af bits, der kan være “meddeles” fra den ydre verden til netværket med den læring proces.”
Mens disse afhandlinger beskæftiger sig med, hvordan til at håndtere kompleksitet i en praktisk forstand, det er tænkeligt, at de ting, de finder i sidste ende kan have en indvirkning på det teoretiske problem Baldi og Vershynin overvejer: uanset Om disse repræsentationer i machine learning kan gøres bedre, —der er, mere sofistikerede, er tættere på en høj grad af viden om verden af computere.
Tidligere og relaterede dækning:
Hvad er AI? Alt, hvad du behøver at vide
En executive guide til kunstig intelligens, fra machine learning og generelt AI til neurale netværk.
Hvad er dyb læring? Alt, hvad du behøver at vide
Den lowdown på en dyb læring: fra hvordan det relaterer til det bredere felt af machine learning igennem til, hvordan du kommer i gang med det.
Hvad er machine learning? Alt, hvad du behøver at vide
Denne vejledning forklarer, hvad machine learning er, hvordan det er relateret til kunstig intelligens, hvordan det fungerer, og hvorfor det er vigtigt.
Hvad er cloud computing? Alt, hvad du behøver at vide om
En introduktion til cloud computing-lige fra det grundlæggende op til IaaS og PaaS, hybrid, offentlige og private cloud.
Relaterede Emner:
Hardware
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software
0