Vi ved ikke hvorfor, dyb læring former for neurale netværk opnå stor succes på mange opgaver; den disciplin har en mangel på teori til at forklare sin empiriske resultater. Som Facebook ‘ s Yann LeCun har sagt, dyb læring er som dampmaskinen, som gik forud for den underliggende teori om termodynamik mange år.
Men nogle dybe tænkere har været sætte sig på sagen af teori i flere år nu.
Onsdag, gruppen fremlagt et bevis for dyb læring overlegne evne til at simulere de beregninger, der er involveret i kvantecomputere. Ifølge disse tænkere, redundans af information, som sker i to af de mest succesfulde neurale netværk typer, convolutional neurale net, eller CNNs, og tilbagevendende neurale netværk, eller RNNs, gør hele forskellen.
Amnon Shashua, hvem der er formand og administrerende direktør for Mobileye, de autonome kørsel teknologi selskabet købt af chip-giganten Intel sidste år til $14.1 milliarder, fremlagt resultaterne på onsdag på en konference i Washington, D.C. arrangeret af National Academy of Science, der kaldes Videnskab i Dyb Læring.
Ud over at være en senior vice president hos Intel, Shashua er professor i computer science ved det hebraiske Universitet i Jerusalem, og det papir, der er medforfatter sammen med kolleger fra der, Yoav Levine, den ledende forfatter, Eller Sharir, og med Nadav Cohen fra Princeton University ‘ s Institute for Advanced Study.
Også: Facebook ‘ s Yann LeCun afspejler den vedvarende appel af vindinger
Rapporten, “Quantum Entanglement i Dyb Læring Arkitekturer,” blev offentliggjort i denne uge i det prestigefyldte tidsskrift Physical Review Letters.
Det arbejde, der beløber sig til både et bevis for, at visse problemer dyb læring kan udmærke sig på, og på samme tid et forslag til en lovende vej frem i kvantecomputere.
Holdet af Amnon Shashua og kolleger oprettet en “CERT,” eller, “convolutional aritmetiske kredsløb,” som replikater genbrug af information i en traditionel CNN, samtidig med at det arbejde med “Tensor Netværk” – modeller, der almindeligvis anvendes i fysik.
Mobileye.
I quantum computing, problemet er lidt det modsatte af dyb læring: masser af spændende teori, men som alligevel kun få, der arbejder eksempler på de rigtige ting. For mange år, Shashua og hans kolleger, og andre, har tænkt over, hvordan til at simulere quantum computing i den såkaldte mange-legeme problemet.
Fysiker Richard Mattuck har defineret de mange-legeme problem, som “undersøgelse af effekterne af samspil mellem organer, der er på den adfærd, der af mange-legeme system,” hvor organer, der har at gøre med elektroner, atomer, molekyler, faste eller forskellige andre enheder.
Hvad Shashua og hold fundet, og hvad de siger, de har bevist, er, at CNNs og RNNs er bedre end traditionelle machine learning metoder som “Begrænset Boltzmann-Maskine,” et neuralt netværk tilgang, som er udviklet i 1980’erne, at der har været en grundpille i fysik forskning, især quantum teori, simulering.
Også: Google udforsker AI ‘ s mystiske polytope
“Dyb læring arkitekturer,” som de skriver, “i form af dybt convolutional og tilbagevendende netværk, som effektivt kan repræsentere meget viklet ind quantum systems.”
Forviklinger er korrelationer mellem de interaktioner af organer, der opstår i kvantemekaniske systemer. Faktiske quantum computing har den store fordel af at være i stand til at beregne forviklinger med fantastisk effektivitet. For at simulere, at man gennem konventionelle elektroniske databehandling kan være meget vanskeligt, selv genstridig.
“Vores arbejde kvantificerer den magt dyb læring for meget viklet ind bølge funktion repræsentationer,” skriver de, “teoretisk motivere et skift i retning af ansættelse af state-of-the-art dyb læring arkitekturer i mange-legeme fysik forskning.”
Forfatterne fandt en udgave af den tilbagevendende neurale net, eller “RNN,” og ændrede det ved at tilføje data genbrug til en “tilbagevendende aritmetiske kredsløb,” eller RAC.
Mobileye.
Forfatterne forfulgte sagen ved at tage CNNs og RNNs og gælder for dem, “extensions” de har udtænkt. De henviser til dette som en “simpel ” snyde”,” og indebærer, at afskedigelser, der er nævnt tidligere. Det viser sig, ifølge Shashua og kolleger. Det viser sig, at de skriver, at strukturen af CNNs og RNNs indebærer en væsentlig “genbrug” af oplysninger.
I tilfælde af CNNs, “kernen” sliding vindue, der er kørt over et billede, overlapper de til hver en tid, så dele af billedet er indtaget til CNN flere gange. I tilfælde af RNNs, den tilbagevendende brug af oplysninger på hvert lag af netværket er en lignende form for genbrug, i dette tilfælde for sekventiel data punkter.
Også: Google siger, ‘eksponentielle vækst af AI er ved at ændre karakter beregne
I begge tilfælde, “denne arkitektoniske træk, [ … ] var vist at give en eksponentiel forbedring i netværk ekspressivitet på trods af at indrømme en simpel lineær vækst i mængden af parametre og beregningsmæssige omkostninger.” Med andre ord, CNNs og RNNS, af dyder redundans, der er opnået via stabling mange lag, få en mere effektiv “repræsentation” af ting i design og vilkår.
For eksempel, en traditionel “fuldt tilsluttet” neurale netværk — hvad forfatterne kalder en “veteran” neurale netværk, kræver computing tid at vægte som kvadratet på antallet af organer, der er repræsenteret. En rettighedsbaseret forvaltning, de skriver, er det bedre, med at beregne tid, der skalerer lineært i forhold til antallet af organer. Men CNNs og RNNs kan blive endnu bedre, med deres kræves beregne tid skalering som kvadratroden af antallet af organer.
Disse egenskaber “indikerer en betydelig fordel i modellering volumen-lov indvikling skalering af dyb-convolutional netværk i forhold til konkurrerende veteran neurale netværk, der er baseret tilgange,” skriver de. “Praktisk, overlappende-convolutional netværk […] kan støtte den druknede alle 2D system af renter på op til størrelser, der er 100 × 100, som er uopnåelige ved at konkurrere komplicerede metoder.”
Skal læse
“AI er meget, meget dum, “siger Google’ s AI-leder (CNET)
Hvordan man får alle Google Assistant ‘ s nye stemmer lige nu (CNET)
Samlet Google AI division et klart signal om, at AI ‘ s fremtid (TechRepublic)
Top 5: Ting at vide om AI (TechRepublic)
For at gøre dette arbejde, forfatterne har haft til at bruge deres “trick”: Den traditionelle måde at repræsentere quantum computation, en “Tensor Netværk,” ikke understøtter genbrug af information. Det, forfatterne skabt modificerede versioner af CNN og RNN. Den første kaldes en “convolutional aritmetiske kredsløb” eller CERT. Det er en tilgang, de har arbejdet med i arbejdet i de senere år, her bragt til større ført ud i livet. Tricket er “overlapning af input data i sig selv” i den CERT, som effektivt gengiver genbrug set i de overlappende af CNN. I tilfælde af RNN, de skabte en “tilbagevendende aritmetiske kredsløb”, hvor de to eksemplarer input oplysninger.
“Vigtigere, da output vektor af hvert lag af den dybe RAC på hver gang, trin er brugt to gange (som et input i det næste lag op, men også som en skjult vektor til næste gang-step), der er en iboende genbrug af data i netværket beregning,” skriver de. “Derfor har vi kopieret de råmaterialer, der i den overlappende-convolutional netværk sag, og få den TN af de dybe RAC.”
Resultatet af alt dette er to-fold: beviser for dyb læring, og en vej frem for kvantemekaniske simuleringer. Den formelle beviser for effektiviteten af Cac og regionale Rådgivende råd, der indgår i supplerende materiale, udgør et bevis for, at dyb læring kan tackle quantum entanglement mere effektivt.
De ender på den håbefulde bemærk, at deres resultater “kan hjælpe med at bringe quantum mange-legeme fysik og state-of-the-art machine learning metoder et skridt tættere sammen.”
Både quantum computing og dybe læring kan aldrig igen blive det samme.
Hvor langt tror du, dyb læring vil gøre på teori side? Snak frem og Lad Mig det Vide.
Tidligere og relaterede dækning:
Hvad er AI? Alt, hvad du behøver at vide
En executive guide til kunstig intelligens, fra machine learning og generelt AI til neurale netværk.
Hvad er dyb læring? Alt, hvad du behøver at vide
Den lowdown på en dyb læring: fra hvordan det relaterer til det bredere felt af machine learning igennem til, hvordan du kommer i gang med det.
Hvad er machine learning? Alt, hvad du behøver at vide
Denne vejledning forklarer, hvad machine learning er, hvordan det er relateret til kunstig intelligens, hvordan det fungerer, og hvorfor det er vigtigt.
Hvad er cloud computing? Alt, hvad du behøver at vide om
En introduktion til cloud computing-lige fra det grundlæggende op til IaaS og PaaS, hybrid, offentlige og private cloud.
Relaterede historier:
Google ‘ s AI surfer “gamescape” for at erobre game theory
Dette er, hvad AI ligner (som skitseret ved AI)
Google ‘ s DeepMind hold med førende 3D spil dev platform
DeepMind ‘ s AI pletter tidlige tegn på øjensygdom
Relaterede Emner:
Intel
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software