Waarom weten We niet diep leren vormen van neurale netwerken bereiken groot succes op vele taken; de discipline heeft een gebrek aan theorie uit te leggen empirische successen. Als Facebook ‘ s Yann LeCun heeft gezegd, diep leren is net als de stoommachine, die voorafging aan de onderliggende theorie van de thermodynamica door vele jaren.
Maar sommige diepe denkers zijn het aansluiten op de stof van de theorie voor meerdere jaren.
Op woensdag, de groep presenteerde een bewijs van diep leren superieur is mogelijkheid tot het simuleren van de berekeningen betrokken bij quantum computing. Volgens deze denkers, de redundantie van informatie dat gebeurt in twee van de meest succesvolle neurale netwerk vormen, convolutional neurale netwerken, of CNNs, en recurrente neurale netwerken, of RNNs, maakt het verschil.
Amnon Shashua, die de president en chief executive van Mobileye, het autonoom rijden technologie bedrijf gekocht door chip gigant Intel vorig jaar voor $14,1 miljard, presenteerde de bevindingen op woensdag op een conferentie in Washington, D.C., georganiseerd door De National Academy of Science genaamd de Wetenschap van Diep Leren.
Naast een senior vice president van Intel, Shashua is een hoogleraar computer science aan de hebreeuwse Universiteit in Jeruzalem, en het papier is co-auteur met collega ‘s van daar, Yoav Levine, de hoofdauteur, Of Sharir, en met Nadav Cohen van de universiteit van Princeton University’ s Institute for Advanced Study.
Ook op: Facebook ‘ s Yann LeCun reflecteert op de aantrekkingskracht van de windingen
Het rapport, “kwantumverstrengeling in Diep Leren Architecturen,” werd deze week gepubliceerd in het prestigieuze tijdschrift Physical Review Letters.
De werken bedraagt zowel een bewijs van bepaalde problemen diep leren kan excel op, en op hetzelfde moment een voorstel voor een veelbelovende manier om vooruit te gaan in quantum computing.
Het team van Amnon Shashua en collega ‘ s een “CAC”, of, “convolutional rekenkundige circuit”, die een replica van het hergebruik van de informatie in een traditionele CNN, terwijl het maken van het werken met de “Tensor Netwerk” modellen vaak gebruikt in de natuurkunde.
Mobileye.
In quantum computing, het probleem is een beetje het omgekeerde van diep leren: veel boeiende theorie, maar als nog een paar voorbeelden uit de praktijk van het echte ding. Voor vele jaren, Shashua en zijn collega ‘ s, en anderen, hebben nagedacht over hoe om te simuleren quantum computing van de zogenaamde many-body probleem.
Natuurkundige Richard Mattuck heeft de many-body probleem als “de studie van de effecten van de interactie tussen organen op het gedrag van een veel-lichaam systeem,” waar organen die te maken hebben met elektronen, atomen, moleculen, of diverse andere entiteiten.
Wat Shashua en team vinden, en wat ze zeggen dat ze hebben bewezen, is dat CNNs en RNNs zijn beter dan de traditionele ‘machine learning’ – benaderingen, zoals de “Beperkte Boltzmann Machine”, een neuraal netwerk benadering, ontwikkeld in de jaren 1980, dat is een steunpilaar van natuurkundig onderzoek, in het bijzonder de kwantum theorie en simulatie.
Ook: Google AI onderzoekt de mysterieuze polytope
“Diep leren architecturen,” schrijven ze, “in de vorm van diepe convolutional en recurrente netwerken efficiënt kunnen zeer verstrikt quantum systemen.”
Verwikkelingen zijn de correlaties tussen deze interacties van instanties die zich voordoen in de systemen. De werkelijke quantum computing heeft het grote voordeel dat het in staat te berekenen verwikkelingen met geweldige efficiëntie. Om te simuleren dat door middel van conventionele elektronische computing uiterst moeilijk kan zijn, zelfs onoverkomelijk.
“Ons werk kwantificeert de kracht van diep leren voor zeer verstrikt golffunctie verklaringen,” schrijven ze, “theoretisch motiveren van een verschuiving in de richting van de werkgelegenheid van state-of-the-art diep leren architecturen in de many-body physics research.”
De auteurs namen een versie van de recurrente neurale netwerk, of “RNN,” en gewijzigd door het toevoegen van gegevens hergebruiken om een “terugkerende rekenkundige circuit,” of de RAC.
Mobileye.
De auteurs dieper in op de materie door het nemen van CNNs en RNNs en die op hen van toepassing “extensies” zij hebben bedacht. Ze verwijzen naar dit als een ‘ eenvoudig ‘trucje’,”, en houdt in dat redundantie genoemd. Het blijkt, volgens Shashua en collega ‘ s. Het blijkt, schrijven ze, dat de structuur van CNNs en RNNs gaat om een essentiële “hergebruik” van de informatie.
In het geval van CNNs, de “kernel” de schuifpui die wordt uitgevoerd in een image, overlappingen op elk moment, dus dat delen van het beeld worden ingenomen om de CNN meerdere keren. In het geval van RNNs, het terugkerende gebruik van de informatie op elke laag van het netwerk is een vergelijkbare soort van hergebruik, in dat geval voor sequentiele data punten.
Ook: Google zegt ‘exponentiële groei’ van de AI is het veranderen van de aard van het berekenen van
In beide gevallen, “dit architectonische kenmerk […] is gebleken dat de opbrengst van een exponentiële uitbreiding van het netwerk expressiviteit ondanks de toelating van een louter lineaire groei in het aantal parameters en in computationele kosten.” In andere woorden, CNNs en RNNS, door deugden van redundantie, bereikt via het stapelen van vele lagen, hebben een meer efficiënte “vertegenwoordiging” van de dingen in de berekening van de voorwaarden.
Bijvoorbeeld, een traditionele “volledig aangesloten” neurale netwerk — wat de auteurs noemen een “veteraan” neurale netwerk, vereist de rekentijd die weegschaal als het kwadraat van het aantal instanties vertegenwoordigd zijn. Een RBM, schrijven ze, is het beter, met het berekenen van de tijd die schalen lineair in termen van het aantal organen. Maar CNNs en RNNs kan nog beter, met hun gewenste berekenen tijd schalen als de vierkantswortel van het aantal organen.
Die eigenschappen “duiden op een aanzienlijk voordeel bij de modellering van volume-wet verstrengeling schalen van diep-convolutional netwerken in vergelijking met concurrerende veteraan neurale-netwerk-gebaseerde benaderingen,” schrijven ze. “Praktisch, overlappende-convolutional netwerken […] kan de ondersteuning van de verstrengeling van een 2D-systeem van belang up-to-afmetingen 100 x 100, die zijn onbereikbaar door concurrerende hardnekkige aanpak.”
Moet lezen
‘AI is heel, heel stom,’ zegt Google AI leider (CNET)
Hoe krijg je al die Google Assistent van de nieuwe stemmen nu (CNET)
Unified Google AI afdeling een duidelijk signaal van AI ‘ s toekomst (TechRepublic)
Top 5: Dingen om te weten over AI (TechRepublic)
Om het te laten werken, de auteurs hadden hun “truc”: De traditionele manier van vertegenwoordiger van quantum computation, een “Tensor Netwerk,” geen ondersteuning voor het hergebruik van informatie. Dus, de auteurs gemaakt gewijzigde versies van de CNN en de RNN. De eerste heet een “convolutional rekenkundige circuit,” of het CAC. Het is een aanpak die ze hebben ontwikkeld in het werk van de afgelopen jaren, hier bracht tot grotere bloei. De truc is “verdubbeling van de input gegevens zelf” in de CAC, die in feite een replica van het hergebruik gezien in de overlapping van de CNN. In het geval van de RNN, creëerden ze een “terugkerende rekenkundige circuit’, waarin ze de dubbele invoer van gegevens.
“Nog belangrijker, omdat de output vector van elke laag van de diepe RAC op iedere stap is een keer gebruikt (zoals een ingang van de volgende laag, maar ook als een verborgen vector voor de volgende keer stap), is er een inherente hergebruik van gegevens bij netwerk berekening,” schrijven ze. “Daarom hebben we de dubbele ingangen in de overlappende-convolutional-netwerk, en het verkrijgen van de TN van de diepe RAC.”
De resultaten van dit alles zijn tweeledig: het bewijs van diep leren, en een weg voorwaarts voor de quantum-simulaties. Het formele bewijs van de efficiëntie van de Cac ‘s en Rar’ s, opgenomen in het aanvullende materiaal, een bewijs dat diep leren benaderingen kunnen pakken kwantumverstrengeling efficiënter.
Ze eindigen op de hoopvolle opmerking dat hun bevindingen “kunnen helpen om de quantum-many-body physics en state-of-the-art machine learning-aanpak een stap dichter bij elkaar.”
Zowel quantum computing en diep leren kan nooit meer hetzelfde zijn.
Hoe veel vooruitgang denk je diep leren maken op de theorie van kant? Praat Terug en Laat Me Weten.
Vorige en aanverwante dekking:
Wat is AI? Alles wat je moet weten
Een executive gids voor kunstmatige intelligentie, van machine learning en algemene AI-neurale netwerken.
Wat is diep leren? Alles wat je moet weten
De lowdown op diep leren: van hoe het zich verhoudt tot het bredere veld van machine-leren door te zien hoe aan de slag met het.
Wat is machine learning? Alles wat je moet weten
In deze gids wordt uitgelegd wat ‘machine learning’ is, hoe het is in verband met kunstmatige intelligentie, hoe het werkt en waarom het belangrijk is.
Wat is cloud computing? Alles wat u moet weten over
Een introductie van cloud computing recht vanaf de basis tot IaaS en PaaS -, hybride -, public en private cloud.
Verwante artikelen:
Google AI surft op het “gamescape” te veroveren spel theorie
Dit is wat AI eruit ziet (zoals geschetst door AI)
Google DeepMind teams met toonaangevende 3D-game dev platform
DeepMind AI plekken vroege tekenen van de ziekte van het oog
Verwante Onderwerpen:
Intel
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software