Vi vet inte varför djupt lärande former av neurala nätverk för att nå stor framgång på många uppgifter, disciplin har en brist av teori för att förklara dess empiriska framgångar. Eftersom Facebook är Yann LeCun har sagt, djupt lärande som ångmaskinen, som föregick den bakomliggande teorin termodynamikens i många år.
Men några djupa tänkare har varit att koppla bort på frågan om teori i flera år nu.
På onsdag, den gruppen presenterade ett bevis på djupt lärande överlägsna förmåga att simulera de beräkningar som deltar i quantum computing. Enligt dessa tänkare, uppsägning av information som sker i två av de mest framgångsrika neurala nätverk typer, convolutional neurala nät, eller CNNs, och återkommande neurala nätverk, eller RNNs, det gör hela skillnaden.
Amnon Shashua, som är ordförande och chief executive av Mobileye, autonom körning-teknik för företag köpte med chip-jätten Intel förra året för $14.1 miljarder, som presenteras resultaten på onsdag vid en konferens i Washington, D.C. värd National Academy of Science kallas Vetenskapen om Djupt Lärande.
Förutom att vara en senior vice president på Intel, Shashua är professor i datavetenskap vid hebreiska Universitetet i Jerusalem, och papper är medförfattare med kollegor från det, Yoav Levine, leda författare, Eller Sharir, och Nadav Cohen av Princeton University Institute for Advanced Study.
Också: Facebook är Yann LeCun speglar bestående överklagande av faltningar
Rapporten, “Quantum Entanglement i Djupt Lärande Arkitekturer,” publicerades i veckan i den ansedda tidskriften Physical Review Letters.
Arbetet uppgår till både ett bevis på att vissa problem djupt lärande kan utmärka sig på, och samtidigt ett förslag till en lovande väg framåt i quantum computing.
Det team av Amnon Shashua och kollegor skapade ett “CERT”, eller, “convolutional aritmetiska krets”, som replikerar vidareutnyttjande av information i en traditionell CNN, samtidigt gör det att arbeta med “Tensor Nätverk” modeller som vanligen används i fysik.
Mobileye.
I quantum computing, problemet är något baksidan av djupt lärande: massor av övertygande teori, men som ännu inte några fungerande exempel av den äkta varan. För många år, Shashua och hans kollegor, och andra, har funderat hur man simulera quantum computing den så kallade många-själ-problemet.
Fysikern Richard Mattuck har definierat de många-body problem som “studiet av effekter av samverkan mellan myndigheter på beteende från många organsystem,” om de organ som har att göra med elektroner, atomer, molekyler, eller flera andra enheter.
Vad Shashua och team som finns, och vad de säger att de har bevisat, är att CNNs och RNNs är bättre än traditionella maskinen strategier för lärande som “Begränsad Boltzmann Maskin”, ett neuralt nätverk strategi som togs fram på 1980-talet som har varit en stöttepelare i fysik forskning, särskilt kvantmekaniska teorin simulering.
Också: Google utforskar AI mystiska polytope
“Djupt lärande arkitekturer,” skriver de, “i form av djupa convolutional och återkommande nätverk, ett effektivt sätt kan representera mycket intrasslad kvantsystem.”
Förvecklingar finns samband mellan dessa interaktioner av organ som sker i kvantsystem. Faktiska quantum computing har den stora fördelen av att kunna beräkna förvecklingar med fantastisk effektivitet. För att simulera att genom konventionella elektronisk databehandling kan vara mycket svårt, även svårlösta.
“Vårt arbete kvantifierar makt djupt lärande för mycket intrasslad vågfunktionen representationer,” skriver de, “teoretiskt motivera en övergång till anställning av state-of-the-art djupt lärande arkitekturer i många kroppens fysik forskning.”
Författarna tog en version av återkommande neurala nätet, eller “RNN,” och modifierade den genom att lägga till återanvändning av data till ett “återkommande aritmetiska krets” eller NÄMND.
Mobileye.
Författarna följt upp frågan genom att ta CNNs och RNNs och tillämpa dem “extensions” – de har utarbetat. De hänvisar till detta som “enkla ” trick”,” och innebär att uppsägning som nämndes tidigare. Det visar sig, enligt Shashua och kollegor. Det visar sig, skriver de, att strukturen av CNNs och RNNs innebär en väsentlig “återanvändning” av information.
I fall av CNNs, “kärnan”, skjutbara fönster som kör över en bild, överlappningar i varje ögonblick, så att delar av bilden som intas till CNN flera gånger. I fall av RNNs, återkommande användning av information på varje lager av nätet är en liknande typ av återanvändning, i detta fall för sekventiell data poäng.
Också: Google säger ” exponentiell tillväxt av AI är föränderliga natur beräkna
I båda fallen, “detta arkitektoniska drag […] visades att ge en exponentiell förbättring i nätverket uttrycksfullhet trots att erkänna en ren linjär tillväxt i antalet parametrar och beräkningskostnad.” Med andra ord, CNNs och RNNS, av dygder av redundans uppnås genom att stapla många lager, har en mer effektiv “representation” av saker i design och form.
Till exempel, en traditionell “fullt ansluten” neurala nätverk — vad författarna kallar en “veteran” neurala nätverk, som kräver datorer tid att skalor som kvadraten på antalet organ är representerade. En RBM, skriver de, är bättre, med beräkna tid som skalar linjärt i termer av antal organisationer. Men CNNs och RNNs kan bli ännu bättre, med sina krävs beräkna tid skalning som kvadratroten av antalet organ.
Dessa egenskaper indikerar en betydande fördel i modellering volym-lag sammanflätning skalning av djup-convolutional nätverk i förhållande till konkurrerande veteran neurala nätverk baserade strategier,” skriver de. “Praktiskt taget, överlappande-convolutional nätverk […] kan stödja sammanflätning av alla 2D-system för ränta upp till storlek 100 × 100, som är ouppnåelig genom att konkurrerande svårlösta metoder.”
Måste läsa
‘AI är mycket, mycket dumt”, säger Googles AI ledare (CNET)
Hur man får alla Google Assistant nya röster just nu (CNET)
Enhetlig Google AI division en tydlig signal om att AI: s framtid (TechRepublic)
Topp 5: Saker att veta om AI (TechRepublic)
För att göra detta arbete författarna var tvungna att använda sina “knep” är Det traditionella sättet att representera kvantdatorer, en “Tensor Nätverk,” inte har stöd för återanvändning av information. Så skapade författarna modifierade versioner av CNN och RNN. Den första kallas en “convolutional aritmetiska krets” eller CERT. Det är en strategi som de har utvecklat i arbete de senaste åren, här förs till en större verklighet. Tricket är att “dubbelarbete av indata sig” i CERT, vilket effektivt replikerar återanvändning sett i den överlappning av CNN. I fallet med RNN, de skapade en “återkommande aritmetiska krets”, där de dubbla input information.
“Viktigare, eftersom produktionen vektor i varje lager av den djupa NÄMNDEN vid varje steg används två gånger (som en ingång på nästa lager upp, men också som en dold faktor för nästa gång-steg), det är en inneboende återanvändning av data under nätverk beräkning,” skriver de. “Därför har vi dubbla ingångar i överlappande-convolutional nätverk fallet, och få TN den djupa NÄMNDEN.”
Resultatet av allt detta är tvåfaldigt: för bevis för djupt lärande, och en väg framåt för kvantmekaniska simuleringar. Den formella bevis för effektiviteten av CACs och Nämnder, som ingår i kompletterande material, uppgå till ett bevis på att ett djupt lärande kan ta itu med quantum entanglement mer effektivt.
De slutet på det hoppfullt att deras resultat “kan hjälpa till att föra quantum många-kroppens fysik och state-of-the-art maskinen lärande, ett steg närmare varandra.”
Både quantum computing och djupt lärande kan aldrig vara samma.
Hur långt tror du att djupt lärande kommer att göra på den teoretiska sidan? Prata Tillbaka och Låt Mig Veta.
Tidigare och relaterade täckning:
Vad är AI? Allt du behöver veta
En verkställande guide till artificiell intelligens, från maskininlärning och allmänna AI att neurala nätverk.
Vad är djupt lärande? Allt du behöver veta
Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.
Vad är lärande? Allt du behöver veta
Denna guide förklarar vad lärande är, hur den är relaterad till artificiell intelligens, hur det fungerar och varför det är viktigt.
Vad är cloud computing? Allt du behöver veta om
En introduktion till cloud computing rätt från grunderna upp till IaaS och PaaS, hybrid, offentliga och privata moln.
Relaterade artiklar:
Googles AI surfar “gamescape” att erövra spelteori
Detta är vad AI ser ut (som skissat av AI)
Googles DeepMind lag med ledande 3D-spel dev plattform
DeepMind AI fläckar tidiga tecken på ögonsjukdom
Relaterade Ämnen:
Intel
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem