I en intervju med ZDNet på International Solid-State Circuits Conference i San Francisco, Yann LeCun, chef för Facebook är AI-Forskning laget, sade företaget har sitt arbete på marker för lärande som pågår, men han lät hoppfull och säker på att många lösningar kommer från chip-branschen.
“Visst, det är rimligt att företag som Google och Facebook att de har hög volym att arbeta på sina egna motorer om branschen inte ge det,” sade LeCun, med hänvisning till behovet av nya typer av bearbetning-teknik optimerad för djupt lärande.
“Vad Facebook har gjort traditionellt är att samarbeta med leverantörer hårdvara för att locka dem att bygga saker som vi tror är bra för oss,” sade han.
Yann LeCun, chef för Facebook är Facebook AI-Forskning enhet, som utvecklar grundläggande genombrott i djupt lärande som power sina produkter, i en intervju med ZDNet.
Tiernan Ray för ZDNet
LeCun har i tidigare intervjuer hänvisade till möjligheten av intern chip utveckling. Men, “skillnaden nu är att det finns en inre aktivitet på den här, vilket var väldigt omogen på den tiden,” sade han, mening, för fyra år sedan. Ombedd att expandera på vad som interna verksamhet finns på Facebook, LeCun demurred. “Jag skulle nog inte berätta för dig”, sa han med ett skratt.
Också: ISSCC 2019 Förhandsgranska: Moores Lag kan vara långsammare, men innovation är inte
Googles Tensor Processing Unit, eller TPU, nämndes av LeCun som ett exempel på den typ av interna insatser från stora företag som han talar om.
Mer allmänt, LeCun upprepade väsentliga i hans kammaren tala om behovet av en bred bransch försök att ta itu med djupt lärande kisel på många punkter genom hela utbildningen och inferens processen.
Höjdpunkter i LeCun punkter ingår i en video han gjorde postat av Facebook AI-Forskning måndag morgon.
LeCun har också publicerat hans bilder från hans föredrag i morgon.
Till exempel, det finns ett tvingande behov av för låg effekt chips att arbeta på alla sensor data som kommer från mobila enheter, men arbetar på att data på själva enheterna, i stället för att skicka data till molnet.
Sedan finns det områden beräkna “i mitten,” såsom traditionella “offline” utbildning av neurala nät i molnet och traditionella slutledning i molnet. Båda uppgifterna förbrukar en hel del energi, så även här, industrin behöver för att leverera mer energi-effektiv behandling.
På den högsta delen av den djupa lärande livsmedelskedjan, i R&D-avdelningar på Facebook och andra, det är ett måste för fler alternativ utöver den dominerande leverantören Nvidia, vars Grafikprocessorer är de facto-lösning för neurala nätet utbildning.
“I mycket hög i slutet, vad vi nu behöver är konkurrenter till den dominerande leverantören just nu,” sade LeCun. “Inte för att de är inte bra på det, men eftersom de gör antaganden och det skulle vara trevligt att ha en annan uppsättning av hårdvara som gör olika antaganden som kan användas för kompletterande saker som dagens skörd av Grafikprocessorer är bra på.”
Men, hur dessa alternativa marker bör utformas är en öppen fråga, Sade LeCun. Det är klart att morgondagens neurala nät kommer att vara enormt mycket större än i dag, sade han, på grund av saker som de behöver för att ta in en hel video foder och titta på massor och massor av pixlar, för saker som att förutsäga rörelse från ett videoklipp. Men på samma gång, en sådan verksamhet kan beräknas i en bearbetning arkitekturen som skiljer sig från dagens matris-multiplicera hårdvara. Matriser och tensorer, byggstenarna i dagens AI hårdvara, kommer förmodligen inte vara den idealiska lösningen i framtiden, sade han.
State-of-the-art marker är “i grund och botten är optimerade för att göra massor av fyra-av-fyra-matris multiplicerar,” sade LeCun. “Så, om du kan minska alla dina neurala nät till fyra-av-fyra-matris multiplicerar, okej. Men det är kanske inte ett optimalt sätt att göra massor av veck,” sade han.
Vad kan ersätta dem? “Jag vet inte. Jag tror att det verkliga hårdvara genier kommer att behöva uppfinna nya sätt att göra dessa saker.”
“Till viss mån du kan tänka på detta som en liknande uppsättning operationer som vi för närvarande gör i neurala nät, förutom att sättet du kommer åt data är genom interaktion, i stället för att saker och ting kommer till dig i en snygg rad, vad du har är en array av pekare för att hämta data,” för saker som behandlingen grafen-baserade data.
Måste läsa
‘AI är mycket, mycket dumt”, säger Googles AI ledare (CNET)Hur man får alla Google Assistant nya röster just nu (CNET)Enhetlig Google AI division en tydlig signal om att AI: s framtid (TechRepublic)Topp 5: Saker att veta om AI (TechRepublic)
Som kan medföra sätt att optimera minne trafik, bland annat “smart caching” eller utforska delar av grafen i förväg, sade LeCun.
W”I slutet, det kommer att bli multiplicera lägger till, frågan är kan du lägga det snyggt, antingen i form av ett gäng dot-produkter, eller ett gäng matris-vektor multiplicerar, eller ett gäng matris multiplicerar,” förklarade han. “Den nuvarande antagande är att du kan minska det till en massa matrix förökar sig. Jag tror inte att det är svaret.”
Oavsett vilka former den nya chip arkitekturer ta, LeCun anser AI-fokus hårdvara kan ta över mer och mer av den totala arbetsbelastning beräkna.
“Jag skulle inte försöka spekulera i termer av kronor, men i termer av FLOPPAR, eller verksamhet, om du går fem, tio år i framtiden, och du ser på vad datorer tillbringar sin tid att göra, mestadels, jag tror att de kommer att göra saker som djupt lärande, de flesta av dem. I form av beräkning, inte i termer av intäkter, resultat, antal datorer, antal enheter, men i termer av hur vi tillbringar vår milliwatt eller FLOPPAR, kommer de att användas på detta sätt.”
Tidigare och relaterade täckning:
Vad är AI? Allt du behöver veta
En verkställande guide till artificiell intelligens, från maskininlärning och allmänna AI att neurala nätverk.
Vad är djupt lärande? Allt du behöver veta
Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.
Vad är lärande? Allt du behöver veta
Denna guide förklarar vad lärande är, hur den är relaterad till artificiell intelligens, hur det fungerar och varför det är viktigt.
Vad är cloud computing? Allt du behöver veta om
En introduktion till cloud computing rätt från grunderna upp till IaaS och PaaS, hybrid, offentliga och privata moln.
Relaterade artiklar:
Googles AI surfar “gamescape” att erövra spelteori
Detta är vad AI ser ut (som skissat av AI)
Googles DeepMind lag med ledande 3D-spel dev plattform
DeepMind AI fläckar tidiga tecken på ögonsjukdom
Relaterade Ämnen:
Big Data Analytics
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem