Hvis du vil følge nyhederne inden for kunstig intelligens, må du hellere have en kopi af en engelsk ordbog med dig og måske også et par etymologiske ordbøger.
Dagens dybe læringsformer for AI er spredende brug af almindelige ord, der potentielt kan være dybt vildledende. Det inkluderer at foreslå, at maskinen rent faktisk gør noget, som en person gør, såsom at tænke, ræsonnere, vide, se, undre sig.
Det seneste eksempel er et nyt program fra DeepMind, AI -enheden fra Google med base i London. DeepMind -forskere afslørede torsdag, hvad de kalder PonderNet, et program, der kan træffe et valg om, hvorvidt de vil undersøge mulighederne for et problem eller give op.
DeepMind udtrykker denne øvelse fra computerens side som “grublende”, men egentlig kan den lige så godt kaldes “skær dine tab” eller “standse og tage ild”, da den faktisk har meget lidt at gøre med grublering i den menneskelige betydning af dette udtryk, og meget mere at gøre med, hvordan en computer udfører en opgave.
Programmet, beskrevet af forskere Andrea Banino, Jan Balaguer og Charles Blundell, bor ved et interessant skæringspunkt mellem neuralt netværksdesign og computeroptimering.
Programmet handler om computerens effektivitet og afvejningen mellem effektivitet og nøjagtighed. Som forfatterne beskriver det, er PonderNet “en ny algoritme, der lærer at tilpasse beregningsmængden baseret på kompleksiteten af det aktuelle problem.”
Også: Googles Supermodel: DeepMind Perceiver er et skridt på vejen til en AI -maskine, der kunne behandle alt og alt
PonderNet erhverver en evne til at afkorte sin beregningsindsats, hvis det ser ud til, at anstrengelsen op til et tidspunkt er tilstrækkelig til, at det neurale net kan foretage en acceptabel forudsigelse. Omvendt kan den forlænge sine beregninger, hvis det kan give bedre resultater.
Programmet afbalancerer det dybe læringsmål om nøjagtighed på benchmark -tests på den ene side mod et sandsynligt gæt, at yderligere indsats ikke rigtig vil gøre den store forskel.
Banino og kolleger byggede på arbejde fra en række forskere gennem årene på områder som betinget beregning. Men deres mest direkte indflydelse ser ud til at være deres Google -kollega Alex Graves 'arbejde.
Graves har samlet en track record af interessante undersøgelser i skæringspunktet mellem neuralt netværksdesign og computerdrift. For eksempel foreslog han og kolleger for nogle år siden en “neural Turing -maskine”, hvor valg af hukommelse fra en registerfil ville være resultatet af en neural netværksberegning.
I tilfælde af PonderNet bygger Banino og team videre på Graves 'arbejde i 2016 om det, der kaldes Adaptive Computation Time. Indsigten i, at papir er inden for området menneskelig ræsonnement, problemformulering og løsning er asymmetrisk. Et problem kan nogle gange tage meget lidt kræfter at udtrykke, men meget tid til at finde ud af. Det er lettere at tilføje to tal end at dele dem, selvom symbolbegrebet f.eks. Ser næsten identisk ud.
Det klassiske eksempel, per Graves, er Fermats sidste sætning, som matematikere kalder den note, som Pierre de Fermat lavede i margen på en bog, der efterfølgende tog forskere tre århundreder at bevise.
Så Graves fandt på en måde, hvorpå en computer kunne beregne, hvor længe den skulle “overveje” et forudsigelsesproblem i betragtning af problemets kompleksitet.
Også: DeepMinds AlphaFold 2 afslører: Konvolutioner er ude, opmærksomheden er i
Hvad det egentlig betyder er, hvor mange lag af et neuralt netværk der skal have tilladelse til beregning af en forudsigelse. Et neuralt netværksprogram er en transformationsmaskine: det finder automatisk en måde at transformere input til output. Antallet af lag af kunstige neuroner, gennem hvilke input skal passeres for med succes at blive omdannet til et præcist output, er en måde at måle beregningsindsatsen på.
Overvejelse betyder altså at variere antallet af netværkslag og dermed netværksberegningen og beslutte, hvor hurtigt computeren skal give op.
Som Graves skriver,
Af hensyn til både beregningseffektivitet og let læring forekommer det at foretrække dynamisk at variere antallet af trin, som netværket 'overvejer' hver input, før der udsendes et output. I dette tilfælde bliver den effektive dybde af netværket ved hvert trin langs sekvensen en dynamisk funktion af de input, der er modtaget hidtil.
Den måde, Graves gjorde det på, er at knytte til slutningen af et neuralt netværk det, der kaldes en “overvejelsesomkostning”, en mængde beregnet tid, man søger at minimere. Programmet forudsiger derefter den bedste mængde beregning til at stoppe med at beregne dens forudsigelse.
I ekkoer af Alan Turings berømte teori om “stopproblemet”, der startede computerens alder, markerede Graves den del af programmet, der beregner, hvornår man skal stoppe ud fra omkostningerne ved “standsningsenheden”. ”
Flash frem til PonderNet. Banino og team tager Graves søgen op, og deres vigtigste bidrag er at genfortolke, hvordan man tænker på den sidste del, standseenheden. Banino og team bemærker, at Graves mål er alt for simpelt, idet det simpelthen ser på det sidste neurale netværkslag og siger “det er nok”, hvilket er en ikke særlig sofistikeret måde at evaluere beregningsomkostninger på.
Så forskerne kommer med det, de kalder en sandsynlig tilgang. I stedet for blot at tilføje en omkostning til programmet, der tilskynder det til at være mere effektivt, bruger udviklingen af PonderNet det, der kaldes en Markov Beslutningsproces, en tilstandsmodel, hvor programmet ved hvert lag af behandling af nettet beregner, hvad sandsynligheden er at det er på tide at stoppe med at regne.
Også: AI på tres sekunder
Svaret på det spørgsmål er lidt af en balance: nul sandsynlighed for at standse kunne være standard, hvis de indledende lag i et neuralt netværk aldrig før har været et effektivt stoppested; men noget tættere på én, hvis tidligere erfaringer indikerer, at en tærskel er overskredet, hvor mere beregning vil føre til faldende afkast.
Som forfatterne definerer det, “Ved evaluering prøver netværket på trinvis basis fra den standserende Bernoulli -tilfældige variabel […] for at beslutte, om de vil fortsætte eller stoppe.”
Beviset er i budding. Banino og kolleger anvender apparatet på en række slags neurale netværk til en række opgaver. Fremgangsmåden, skriver de, kan bruges til talrige former for maskinlæringsprogrammer, lige fra simple feed-retning neurale net til såkaldte selvopmærksomhedsprogrammer såsom Googles Transformer og dens efterkommere.
I deres eksperimenter finder de ud af, at programmet faktisk ændrer sin beregningsmængde for at gøre det bedre på en test. Igen går de tilbage til Graves. Det papir foreslog, hvad der kaldes en paritetstest. Indtast programmet en flok cifre bestående af et tilfældigt sortiment på nul, et og negativt, og forudsig hvad deres output er. Et meget simpelt neuralt netværk, et med et enkelt lag kunstige neuroner, vil dybest set komme med svar, der er halvtredsindstyve nøjagtige, et møntkast.
Med muligheden for at øge beregningen gjorde det program, som Graves og kolleger havde bygget, det meget bedre. Og Banino og kolleger synes, at deres program klarer sig endnu bedre end det. I betragtning af et større antal tilfældige cifre, fortsætter PonderNet med at nå frem til den korrekte sum med høj pålidelighed, i forhold til hvad der begynder at være tilfældig gætteri fra Graves og teams program.
“PonderNet var i stand til at opnå næsten perfekt nøjagtighed på denne hårde ekstrapolationsopgave, hvorimod ACT [Adaptive Computation Time] forblev på tilfældigt niveau,” skriver de.
Edgar Allan Poe foreslog ikke optimering, da han skrev i The Raven “Once upon a midnight trist, mens jeg grublede, svag og træt.”
Ukendt forfatter; Gendannet af Yann Forget og Adam Cuerden
Du kan se et nøgleskift foregå. Graves og team forsøgte at indføre en grænse, en mængde effektivt beregningsbudget, som et program ikke skulle overskride. Banino og team går på en måde den modsatte vej, ved at indstille niveauer for beregning af et program kan gentagne gange springe på vej til forbedret nøjagtighed.
Resultatet af al denne fascinerende videnskab er, at det kunne tilføre et vigtigt redskab til dyb læring, evnen til at anvende betingelser på en streng måde til, hvor meget arbejde et program skal gøre for at nå frem til et svar .
Forfatterne noterer sig betydningen for at gøre neurale netværk mere effektive. Det eskalerende beregningsbudget for AI er blevet nævnt som et centralt etisk spørgsmål for feltet på grund af risikoen for at forværre klimaændringer. Forfatterne skriver, “Neurale netværk […] kræver meget tid, dyr hardware og energi til at træne og implementere.
” PonderNet […] kan bruges til at reducere mængden af beregning og energi på inferens tid , hvilket gør den særligt velegnet til platforme med begrænsede ressourcer såsom mobiltelefoner. “
Forfatterne foreslår også interessant, at PonderNet tager maskinlæring i retning af “at opføre sig mere som algoritmer og mindre som” flade “kortlægninger.” Denne ændring kan “hjælpe med at udvikle dybe læringsmetoder til deres fulde potentiale,” argumenterer de lidt kryptisk.
Så lovende som PonderNet lyder, bør du ikke blive vildledt af navnet. Dette er ikke egentlig overvejelse. Merriam Webster -ordbogen definerer ordet grubler som værende “at veje i sindet.” Definitionerne “reflektere over” og “at tænke over” tilbydes også.
Uanset hvad der sker med mennesker, når de gør sådanne ting, ser det ikke ud til at indebære en omkostningsfunktion at optimere. Et menneske vejer heller ikke sandsynligheden for succes, når de overvejer, i hvert fald ikke på den måde, et program kan laves til at gøre.
Sikker på, at der måske kommer nogen ind i lokalet, ser dig ved dit skrivebord, dybt i tankerne og spørger noget ærgerligt “du tænker stadig på det her?” Andre mennesker tilknytter en omkostningsfunktion, og beregner sandsynligheden for, at du spilder din tid. Tænkeren tænker bare.
Digteren Edgar Allan Poe fangede noget af den mystiske kvalitet ved grublende handling – en ting, der er meget mere en oplevelse end en proces, en ting uden spor af optimering – i hans første linje digt Ravnen: “Der var engang en kedelig midnat, mens jeg grublede, svag og træt.”
skal læse
Etik for AI: Fordele og risici ved kunstig intelligens
Den stigende AI -skala øger indsatsen for større etiske spørgsmål.
Læs mere
Relaterede emner:
Udvikler Digital Transformation CXO Internet of Things Innovation Enterprise Software 