Noll
Välsignelse har vänt sig till bane, den explosiva tillväxten i storlek neurala nätverk presenterar AI gemenskapen med klumpiga dator arbetsbelastningar som skatt befintliga resurser.
Glatt, det nya året har kickat igång med en uppsjö av lösningar för att göra neurala nätverk mer hanterbar, både för att utbilda dem, och när de körs på enheter för att svara på frågor, känd som “slutsats” fas av lärande.
Också: AI start Petuum syftar till att industrialisera maskininlärning
En uppsjö av papper vid slutet av December, och den här veckan att föreslå olika lösningar för att göra näten mer hanterbar. De har, i ingen särskild ordning:
Komprimera den matematik som behövs för att beräkna vikter av ett neuralt nätverk, i vissa fall minska dem från 32-bitars flyttal till 8-bitars fast punkt (heltal) – nummer, eller “binarizing” dem, att reducera dem till antingen 1 eller 0, eller med hjälp av “symmetri” i matriser, minska mängden lagringsutrymme som krävs för att representera dem.
“Beskärning” parametrar, vilket innebär att ta bort några av vikter och “aktivering funktion,” den beräkning som gör en viss neuron i det neurala nätet bemöta uppgifterna.
Minska mängden av data över ett nätverk när man kör på många distribuerade datorsystem, till exempel genom att selektivt besluta med nervceller utbyta information om vikter, eller genom att selektivt partitionering beräkning över olika processorer,
Nya typer av neurala nätverk algoritmer, och ett sätt att dela dem att göra en mer effektiv användning av nya typer av maskinvara.
En “memristor neurala nätverk,” MNN. (Bild: Tang et al.)
Som en tidning uttryckte det, genom att Charbel Sakr och Naresh Shanbhag av University of Illinois at Urbana-Champaign, “Djupt neurala nätverk’ enorma beräkningar och parameter komplexitet leder till hög energiförbrukning, gör sin utbildning via stokastisk lutning härkomst algoritm mycket långsamt och kräver ofta flera timmar och dagar, och hämmar deras utveckling av energi-och resurs med begränsad plattformar, till exempel mobila enheter och autonoma agenter.” Många tidningar erbjuder liknande problem.
Också: Capital One AI chief ser sökvägen till förklarliga AI
Sökandet efter lösningar för att göra neurala nät mer effektivt att processen går flera decennier tillbaka. Det var ett problem när pionjärerna Rumelhart och McClelland skrev sin omfattande avhandling Parallel Distributed Processing 1986, och när Facebook är Yann LeCun föreslagna “Optimal skador på hjärnan” i 1990, som ett sätt att minska antalet parametrar som behövs för att kunna beräknas. Arbete med Google hjärnforskare Jeff Dean och andra som har brottats med problemet igen så djupt lärande som tog fart under 2012.
Sökandet efter förbättring har varit konstant men problemet verkar bara bli värre, eftersom framgången för djupt lärande nätverk gör större och större i områden där maskinen lärande har verkligen tagit fart, såsom bild erkännande och behandling av naturligt språk.
Författarna av de olika rapporter som alla hävdar att minska på något sätt computing intensitet, inklusive hur lång tid det tar att utbilda en neurala nätet, eller använda den för att dra slutsatsen saker, eller både och. De är alla belastas av den skrämmande trade-off som neurala nätverk alltid arbete under: om man lägger alltför mycket av den komplexitet av ett neuralt nätverk, du kan förbättra dess prestanda genom att timmar eller dagar, men du kan också förlora precision av nätverket. Alla författarna hävdar att de har navigerat att skräckinjagande trade-off.
Här, i ingen särskild ordning, är optimeringar:
Yoshua Bengio och teamet på Montreal MILA utforska vad som händer om de quantize delar av ett neuralt nät för att göra bearbetning av slutledning uppgifter mer effektivt, särskilt för mobila enheter. De föreslår också en ny strategi för neurala nätet hårdvara som tar “några watt” av makt att utöva verksamheten.
Xu Skal Hu och kollegor i Paris Université Paris-Est föreslå att vikten av ett neuralt nätverk “symmetrisk,” i ett selektivt sätt, som de insisterar “kan avsevärt minska antalet parametrar och beräkningsmässiga komplexiteten genom att offra lite eller ingen noggrannhet, både på tåget och testa tid.”
Sakr och Shanbhag på U of Illinois visa hur man ska kvantisera alla vikter i ett nätverk för utbildning fas, genom att bestämma den minsta accepterade precision för varje del av nätet, som hävdar att sådana åtgärder minskar märkbart att den “representativa, beräkningsvetenskap, och kostnader för kommunikation av utbildning” i förhållande till flyttal beräkningar.
Xiaorui Wu och hans kollegor vid City University of Hong Kong, tillsammans med Yongqiang Xiong av Microsoft, förbättra den typiska utformningen av ett distribuerat lärande system, minskar drastiskt kommunikation bandbredd som tas upp går mellan att beräkna noder, resultatet är att det “förbättrar utbildningen kraftigt under parameter-server-system med den senaste datacenter Grafikprocessorer och 10G bandbredd.”
Hajar Falahati och kollegor från Iran Universitet för Vetenskap och Teknik skapat ett system för att selektivt dela upp atomic funktioner av neurala nät, såsom datorer olinjäriteter eller att uppdatera nätverk vikter. Laget som används för att partitionera strategi för att göra det mesta av ett nytt chip som de bygger, som kallas “Origami”, som är en kombination av en applikationsspecifik integrerad krets (ASIC) och flera lager av staplade DRAM, vad som är känt i chip världen som en “Hybrid Memory Cube.”
Zhiri Tang och kollegor vid Kinas Wuhan Universitet och Kinesiska vetenskapsakademin kommit upp med ett nytt sätt att minska antalet vikter i ett nätverk genom att modellera dem efter en elektrisk krets som kallas en “memristor,” vars krets egenskaper påverkas av en historik av aktuellt flöde, som liknar en tillsatta neuron.
Mohammad Mohammadi Amiri och Deniz Dagtid med Imperial College London, distribuera utbildning funktion till flera trådlöst uppkopplade datorer, och sedan har varje dator skicka sin beräkning tillbaka över den bullriga trådlös länk, som automatiskt ger summan av flera olika gradienter, att uppnå en global gradient när överföringen kommer till en central server, vilket sparar på kommunikation bandbredd.
Partitionering funktioner av ett neuralt nätverk för att optimera distribuerad bearbetning. (Bild: Falahati et al.)
Det övergripande intrycket som ges av alla dessa rapporter är att dagens neurala nätverk har inte ändrats från ett decennium sedan i många grundläggande aspekter; samma problem skala som konfronterades av Google och andra då gäller fortfarande. Och många av de mönster av dessa neurala nätverk — sina “arkitektur” – är ineffektiva, i den mening att ha en massa onödig information.
En annan slutsats vänster kvardröjande är om allt detta arbete kommer att leda till bättre neurala nätverk. Begreppet “representerar” världen i ett neuralt nätverk har alltid vilade på idén om att på något sätt “begränsande” att neurala nätverk för att tvinga den att hitta högre nivåer av abstraktion.
Måste läsa
‘AI är mycket, mycket dumt”, säger Googles AI ledare CNETBaidu skapar Kunlun kisel för AIEnhetlig Google AI division en tydlig signal om att AI: s framtida TechRepublic
Gränserna för neurala nätverk är förklarade i ett annat papper ut den här veckan, som sponsras av Försvaret Förväg Research Projects Agency. Pierre Baldi och Romerska Vershynin, professor vid UC Irvine. I sin uppsats, “Kapacitet i Feedforward neurala nätverk,” de sträva efter att beskriva precis hur mycket information som möjligt om världen ett neuralt nätverk kan inse. Som de uttryckte det, “kapacitet i ett nätverk kan ses som en övregräns på det totala antalet bitar som kan lagras i ett nätverk, eller antalet bitar som kan vara “kommuniceras” från omvärlden till nätverket genom att den lärande processen.”
Medan dessa forskningsrapporter har att göra med hur man ska hantera komplexiteten i en praktisk mening, det är tänkbart att de saker de hittar så småningom kan ha en inverkan på det teoretiska problemet Baldi och Vershynin funderar: Om dessa representationer i maskinen lärande kan göras bättre, mer sofistikerade, närmare någon hög nivå av förståelse om världen med hjälp av datorer.
Tidigare och relaterade täckning:
Vad är AI? Allt du behöver veta
En verkställande guide till artificiell intelligens, från maskininlärning och allmänna AI att neurala nätverk.
Vad är djupt lärande? Allt du behöver veta
Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.
Vad är lärande? Allt du behöver veta
Denna guide förklarar vad lärande är, hur den är relaterad till artificiell intelligens, hur det fungerar och varför det är viktigt.
Vad är cloud computing? Allt du behöver veta om
En introduktion till cloud computing rätt från grunderna upp till IaaS och PaaS, hybrid, offentliga och privata moln.
Relaterade Ämnen:
Hårdvara
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem
0