Nul
Boon heeft zich tot een vloek, zoals de explosieve groei in de omvang van neurale netwerken stelt de AI gemeenschap met lompe computer toepassingen die de belasting van de bestaande bronnen.
Gelukkig, het nieuwe jaar is van start gingen met een overvloed aan oplossingen voor het maken van neurale netwerken meer beheersbaar, zowel voor de opleiding, en wanneer ze worden uitgevoerd op apparaten om vragen te beantwoorden, bekend als de “inference” fase van machine learning.
Ook: AI opstarten Petuum doelstellingen te industrialiseren machine learning
Een schare van papers op het einde van December en deze week stellen een scala van oplossingen om netwerken beter beheersbaar. Ze zijn, in geen specifieke volgorde:
Het comprimeren van de wiskunde die nodig is voor het berekenen van de gewichten van een neuraal netwerk is, in sommige gevallen beperken van de 32-bit floating-point-tot 8-bit fixed-point (integer) getallen, of “binarizing” hen, te beperken tot 1 of 0, of met behulp van de “symmetrie” van matrices, het verminderen van de hoeveelheid opslagruimte die nodig is om hen te vertegenwoordigen;
“Snoeien” de parameters, wat betekent het verwijderen van een aantal van de gewichten en de “activering van de functie,” de berekening die maakt een bepaald neuron in de neurale netto reageren op de gegevens;
Het verminderen van de hoeveelheid gegevens delen over een netwerk als met veel gedistribueerde computersystemen, zoals door selectief te kijken met neuronen uitwisseling van informatie over de gewichten, of door selectief met het partitioneren van de berekening over de verschillende processors;
Nieuwe soorten neurale netwerk algoritmen, en manieren om de partitie hen, efficiënter gebruik van nieuwe soorten hardware.
Een “memristor neurale netwerk,” MNN. (Afbeelding: Tang et al.)
Als een papier zet, door Charbel Sakr en Naresh Shanbhag van de Universiteit van Illinois in Urbana-Champaign, “Diep neurale netwerken’ enorme rekenkracht en parameter complexiteit leidt tot een hoog energieverbruik, maakt hun opleiding via de stochastische gradient descent algoritme zeer traag is, vaak eigen uren en dagen, en remt hun inzet op energie-en resource-constrained-platforms, zoals mobiele apparaten en de autonome agenten.” Veel van de documenten bieden soortgelijke problemen.
Ook: Capital One AI chief ziet pad naar verklaarbaar AI
Het zoeken naar oplossingen voor het maken van neurale netwerken efficiënter proces gaat terug decennia. Het was een probleem bij pioniers Rumelhart en McClelland schreef hun enorme verhandeling Parallel Distributed Processing in 1986, en bij Facebook is Yann LeCun voorstel van de “Optimale schade aan de hersenen” in 1990, als een manier om het verminderen van het aantal parameters dat nodig is om te worden berekend. Werk door Google Hersenen onderzoekers Jeff Dean en anderen geworsteld met het probleem weer zo diep leren nam af in 2012.
Het zoeken naar verbetering is een constante, maar het probleem lijkt alleen wel of het steeds erger, als het succes van deep learning maakt netwerken groter en groter te worden in de gebieden waar de machine learning heeft een hoge vlucht genomen, zoals beeld-opname en verwerking van natuurlijke taal.
De auteurs van de verschillende rapporten die beweren te verminderen op een bepaalde manier in de computer intensiteit, met inbegrip van hoe lang het duurt om het trainen van een neuraal net, of deze gebruiken voor het afleiden van dingen, of beide. Ze zijn allemaal belast door de lastige trade-off die neurale netwerken altijd arbeid in het kader van: als je dump te veel van de complexiteit van een neuraal netwerk is, kunt u het verbeteren van de prestaties door de uren of dagen, maar u kunt ook verliezen de juistheid van het netwerk. Alle auteurs hebben zich met succes door die angstaanjagende trade-off.
Hier, in geen specifieke volgorde, zijn de optimalisaties:
Yoshua Bengio en team van Montreal MILA verkennen wat er gebeurt als ze quantize delen van een neuraal net om het verwerken van de inferentie taken efficiënter, met name voor mobiele apparaten. Ze suggereren ook een nieuwe aanpak voor neurale netto hardware die neemt “een paar watt” van kracht voor het uitvoeren van de operaties.
Xu Shell Hu en collega ‘ s van Parijs en Université Paris-Est stellen voor het maken van de gewichten van een neuraal netwerk “symmetrisch” in een selectieve mode, waarin zij aandringen “kan een aanzienlijke vermindering van het aantal parameters en computationele complexiteit door het opofferen van weinig of geen nauwkeurigheid, zowel in de trein en de test van de tijd.”
Sakr en Shanbhag op U van Illinois te laten zien hoe de “quantize” – alle gewichten in een netwerk voor de training fase, door het bepalen van de minimale geaccepteerd precisie voor elk deel van het netwerk, het claimen van dergelijke maatregelen merkbaar verminderen van de “representatie -, rekenkundige-en communicatie-kosten van de opleiding” ten opzichte van floating point berekeningen.
Xiaorui Wu en collega ‘ s aan de City University van Hong Kong, samen met Yongqiang Xiong van Microsoft, het verbeteren van de typische vormgeving van een gedistribueerde machine learning systeem, verminderen drastisch de communicatie bandbreedte in beslag genomen gaat worden tussen de berekening van de knooppunten, het resultaat is dat het “verbetert de training tijd aanzienlijk meer dan de parameter server systemen met de nieuwste datacenter van Gpu’ s en 10G bandbreedte.”
Hajar Falahati en collega ‘ s uit het Iran van de Universiteit van Wetenschap en Technologie gemaakt van een regeling voor de selectief te splitsen van de atomaire functies van neurale netwerken, zoals computing niet-lineariteiten of updaten van het netwerk gewichten. Het team gebruikt die partitie aanpak het beste te maken van een nieuwe chip zij gebouwd, de zogenaamde “Origami”, dat is een combinatie van een application-specific integrated circuit (ASIC) en meerdere lagen gestapeld DRAM, wat bekend staat in de chip wereld als een “Hybrid Memory Cube.”
Zhiri Tang en collega ‘ s op het chinese Wuhan University en de Chinese Academie van Wetenschappen komen met een nieuwe manier om het aantal te verminderen van het gewicht in een netwerk door het modelleren van hen na een elektrische schakeling heet een “memristor,” waarvan het circuit eigenschappen worden beïnvloed door een geschiedenis van de huidige stroom, vergelijkbaar met een toevoeging van neuron.
Mohammad Mohammadi Amiri en Deniz Gündüz met het Imperial College London verspreiden van de training-functie om meerdere draadloos verbonden computers, en dan hebben elke computer de berekening terug over de drukke draadloze verbinding, die automatisch produceert de som van de verschillende gradiënten, het bereiken van een globale verloop wanneer de transmissie komt op een centrale server, dus besparing op communicatie bandbreedte.
Partitioneren functies van een neuraal netwerk te optimaliseren gedistribueerde verwerking. (Afbeelding: Falahati et al.)
De overkoepelende indruk van al deze rapporten is dat de huidige neurale netwerken zijn niet veranderd van een decennium geleden in veel fundamentele aspecten; dezelfde problemen van schaal die geconfronteerd worden met Google en anderen van toen zijn nog steeds van toepassing. En veel van de ontwerpen van deze neurale netwerken, hun “architectuur” — inefficiënt is, in de zin van het hebben van veel overbodige informatie.
Een andere conclusie links hardnekkig is of al deze werken zal leiden tot een betere neurale netwerken. De notie van “die” de wereld in een neuraal netwerk is altijd gebaseerd op het idee van op een bepaalde manier “beperkend” dat neurale netwerk te dwingen te vinden voor de hogere niveaus van abstractie.
Moet lezen
‘AI is heel, heel stom,’ zegt Google AI leider CNETBaidu maakt Kunlun silicium voor AIUnified Google AI afdeling een duidelijk signaal van AI de toekomst van TechRepublic
De grenzen van neurale netwerken worden uitgelegd in een ander artikel uit deze week, gesponsord door de Defense Advance Research Projects Agency. Pierre Baldi en Romeinse Vershynin, hoogleraren aan de UC Irvine. In hun paper “De Capaciteit van Feedforward neurale netwerken,” ze zich inspannen om te beschrijven hoe veel informatie over de wereld van een neuraal netwerk kan realiseren. Zoals ze het uitdrukte, “De capaciteit van een netwerk kan worden gezien als een bovengrens op het aantal bits dat kan worden opgeslagen in een netwerk, of het aantal bits dat kan worden “doorgegeven” van de buitenwereld op het netwerk door het leerproces.”
Tijdens deze research papers te maken hebben met het beheren van complexiteit in een praktische zin, het is denkbaar dat de dingen die ze vinden kan uiteindelijk invloed hebben op het theoretische probleem Baldi en Vershynin overweegt: Of deze verklaringen in machine learning kan beter —dat is, meer verfijnde, dichter bij een hoog niveau van kennis over de wereld door computers.
Vorige en aanverwante dekking:
Wat is AI? Alles wat je moet weten
Een executive gids voor kunstmatige intelligentie, van machine learning en algemene AI-neurale netwerken.
Wat is diep leren? Alles wat je moet weten
De lowdown op diep leren: van hoe het zich verhoudt tot het bredere veld van machine-leren door te zien hoe aan de slag met het.
Wat is machine learning? Alles wat je moet weten
In deze gids wordt uitgelegd wat ‘machine learning’ is, hoe het is in verband met kunstmatige intelligentie, hoe het werkt en waarom het belangrijk is.
Wat is cloud computing? Alles wat u moet weten over
Een introductie van cloud computing recht vanaf de basis tot IaaS en PaaS -, hybride -, public en private cloud.
Verwante Onderwerpen:
Hardware
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software
0