Tiden for dyp læring begynte i 2006, da Geoffrey Hinton, professor ved University of Toronto, som er en av grunnleggerne av den spesielle tilnærmingen til kunstig intelligens, teoretiserte at sterkt forbedrede resultater kunne oppnås ved å legge til mange flere kunstige nevroner til et maskinlæringsprogram. Det “dype” i dyp læring refererer til dybden i et nevrale nettverk, hvor mange lag med kunstige nevrondata som passeres gjennom.
Hintons innsikt førte til gjennombrudd i den praktiske ytelsen til AI -programmer på tester som ImageNet -bildegjenkjenningsoppgaven. De påfølgende femten årene har blitt kalt deep learning -revolusjonen.
En rapport som ble lagt ut av Stanford University i forrige uke, i forbindelse med flere institusjoner, hevder at dominansen i tilnærmingen til dyp læring kan falme i årene som kommer, ettersom den går tom for svar på vanskelige spørsmål om å bygge AI.
“Den nylige dominansen av dyp læring kan komme til en slutt,” skriver rapportens forfattere. “For å fortsette å gjøre fremgang, vil AI-forskere sannsynligvis trenge å omfavne både generelle og spesielle formål håndkodede metoder, så vel som stadig raskere prosessorer og større data.” sier AI100 -rapporten.
Også: AI -industrien, besatt av hastighet, avskyer å vurdere energikostnadene i den siste MLPerf -referansen
Rapporten, formelt kjent som “The Hundred Year Study of AI”, er den andre delen i det som er planlagt å være en serie rapporter hvert femte år om disiplinens tilstand. Rapporten er satt sammen av en samling akademikere som utgjør en stående komité og organiserer workshops hvis funn er oppsummert i studien.
Rapportens spådom om dyp læring kan være for tidlig, av den enkle grunn at i motsetning til tidligere epoker, da AI var i utkanten av informatikk, matematikken som driver dyp læring har nå blitt godt forankret i kommersiell databehandling.
Hundrevis av milliarder dollar i markedsverdi tilskrives nå grunnleggende om dypt læring. Dyp læring, i motsetning til enhver AI -tilnærming før den, er nå etableringen.
For flere tiår siden gikk selskaper med ambisiøse databehandlingsoppgaver ut av drift på grunn av mangel på penger. Thinking Machines var perlen på 1980-90 -tallet kunstig intelligens -søken. Det gikk konkurs i 1994 etter å ha brent gjennom 125 millioner dollar i risikokapital.
Ideen om at dagens oppstart går konkurs virker mye mindre sannsynlig, fylt som de er med enestående mengder kontanter. Cerebras Systems, Graphcore, SambaNova Systems har samlet fått milliarder og har tilgang til mye mer penger, både i gjelds- og aksjemarkeder.
Enda viktigere, lederen innen AI -brikker, Nvidia, er et kraftverk som er verdt 539 milliarder dollar i markedsverdi og tjener 10 milliarder dollar årlig på å selge sjetonger for dyp læring og slutning. Dette er et selskap med mye rullebane for å bygge mer og selge mer og bli enda rikere av deep learning -revolusjonen.
Hvorfor er dybdelæring så vellykket? Det er fordi dyp læring, uansett om det faktisk fører til noe som ligner intelligens, har skapt et paradigme for å bruke raskere og raskere databehandling for å automatisere mye dataprogrammering. Hinton, sammen med sine medsammensvorne, har blitt hedret for å gå fremover med datavitenskap uavhengig av hva AI-lærde måtte synes om deres bidrag til AI.
Forfatterne av AI100 -rapporten hevder at dyp læring løper opp mot praktiske grenser i sitt umettelige ønske om data og datakraft. Forfatterne skriver,
Men nå, i 2020 -årene, løper disse generelle metodene inn i grenser – tilgjengelig beregning, modellstørrelse, bærekraft, tilgjengelighet av data, sprøhet og mangel på semantikk – som begynner å drive forskere tilbake til å designe spesialiserte komponenter i systemene sine for å prøve å omgå dem.
Alt det kan godt være sant, men igjen, det er en oppfordring til at datamaskinindustrien gjerne bruker milliarder på å svare. Oppgavene med dyp læring har blitt målet for de sterkeste datamaskinene. AI er ikke lenger en spesiell disiplin, det er hjertet i datateknikk.
Det tar bare fjorten sekunder for en av de raskeste datamaskinene på planeten, bygget av Google, å automatisk bli “opplært” til å løse ImageNet, ifølge referanseresultatene tidligere i år i MLPerf -testpakken. Det er ikke et mål for tenkning, i seg selv, det er et mål på hvor raskt en datamaskin kan transformere input til output – bilder inn, lineær regresjon svarer ut.
Alle datamaskiner, helt siden Alan Turing ble unnfanget av dem, gjør én ting og bare én ting, de forvandler en serie med en og nuller til en annen serie med en og nuller. Alt det dype læring er, er en måte for datamaskinen automatisk å komme opp med transformasjonsreglene i stedet for at en person spesifiserer regelen.
Det Google og Nvidia hjelper til med å bygge er ganske enkelt fremtiden for alle datamaskiner. Hvert dataprogram kan dra nytte av å ha noen av transformasjonene automatisert, i stedet for å bli møysommelig kodet av en person.
Den utrolig enkle tilnærmingen som ligger til grunn for den automatiseringen, matrisemultiplikasjon, er sublim fordi det er en så grunnleggende matematisk operasjon. Det er et enkelt mål for datamaskinprodusenter.
Det betyr at hver brikke blir en dyp læringsbrikke, i den forstand at hver brikke nå er en matrisemultiplikasjonsbrikke.
“Nevrale nett er de nye appene,” sa Raja M. Koduri, senior visepresident og daglig leder for Intels Accelerated Computing Systems and Graphics Group, nylig til ZDNet. “Det vi ser er at hver socket, det er ikke CPU, GPU, IPU, alt vil ha matriseakselerasjon,” sa Koduri.
Også: Etikk for AI: Fordeler og risiko ved kunstig intelligens
Når du har en hammer, alt er en spiker. Og dataindustrien har en veldig stor hammer.
Cerebras WSE -brikke, den største halvlederen i verden, er en gigantisk maskin for å gjøre en ting om og om igjen, matrisemultiplikasjonene som driver dyp læring.
Dataindustrien ønsker å glede seg over gigantiske matrisemultiplikasjonsmotorer, for eksempel Cerebras WSE chip, den største brikken i verden, dedikert til å utføre raske multiplikasjoner parallelt.
Cerebras Systems
Benchmark -testen MLPerf, har blitt målestokk for selskaper som kjøper datamaskiner, basert på hastigheten på dyplæringsberegning. Dyplæringsrevolusjonen har blitt dyplæringsindustrien ettersom den har etablert matrisematematikk som det nye målet for beregning.
Forskerne som satte sammen AI100 -rapporten gjør et poeng om forskningsretninger. Mange lærde er bekymret for at dyp læring ikke har kommet nærmere målet om å forstå eller å oppnå menneskelignende intelligens, og det ser ikke ut til å bli det snart.
Dyp læringskritikere som NYU -psykolog Gary Marcus har organisert hele seminarer for å utforske en måte å slå sammen dyp læring med andre tilnærminger, for eksempel symbolsk resonnement, for å finne en vei forbi det som virker som den begrensede karakteren av dyp lærings monotoniske tilnærming.
Også: AI på seksti sekunder
Kritikken er elegant innkapslet av en av rapportens studiepanelmedlemmer, Melanie Mitchell fra Santa Fe Institute og Portland State University. Mitchell skrev i et papir i år, med tittelen “Why AI is harder than we think,” at dyp læring løper opp mot alvorlige begrensninger til tross for den optimistiske omfavnelsen av tilnærmingen. Mitchell nevner som bevis på at mye ballyhooed-mål som den langalderte alderen på selvkjørende biler ikke har realisert seg.
Som Mitchell argumenterer, dypt læring vet ganske enkelt ikke hvordan man snakker om intelligens, langt mindre replikerer det:
Det er klart at for å gjøre fremdriften innen AI mer effektivt, må vi utvikle et bedre ordforråd for å snakke om hva maskiner kan gjøre. Og mer generelt vil vi trenge en bedre vitenskapelig forståelse av intelligens slik den manifesterer seg i forskjellige systemer i naturen. Dette vil kreve at AI -forskere engasjerer seg dypere i andre vitenskapelige disipliner som studerer intelligens.
Alt dette er uten tvil sant, og likevel elsker datamaskinindustrien inkrementalisme. Seksti år med å gjøre integrerte kretser doble i hastighet og doble i hastighet har fått datamaskinverdenen hekta på ting som enkelt kan replikeres. Dyp læring, basert på et hav av matrisemultiplikasjoner, er igjen et sublimt mål, en fryktelig enkel oppgave å løpe raskere og raskere.
Så lenge dataselskaper kan fortsette å finne forbedringer i matriseakselerasjon, vil deep learning -industrien, som hovedstrøm i databehandling, ha en utholdenhet som må regnes med.
(Hvis du vil lære mer om AI100 -rapporten, holder Stanford en virtuell diskusjon i dag fra 9.00 til 10.00, Pacific Time, som du kan få tilgang til på arrangementets webside.)
Relaterte emner:
Hardware Digital Transformation CXO Internet of Things Innovation Enterprise Software 