För trettio år sedan, Yann LeCun börjat använda sig av en speciell form av lärande, som kallas convolutional neurala nätverk, eller CNN, medan vid University of Toronto. Detta synsätt, att flytta ett filter över en uppsättning av pixlar för att upptäcka mönster i bilder, visade lovar att knäcka problem som att få datorn att känna igen handskrivna siffror med minimal mänsklig vägledning.
Facebook AI forskningsledare Yann LeCun.
Tiernan Ray för ZDNet.
År senare, LeCun, sedan vid NYU, lanserade en “konspiration”, som han kallade det, för att få machine learning tillbaka i rampljuset efter en lång vinter för disciplin. Nyckeln var LeCun CNN, som hade fortsatt att utveckla i elegans till den punkt där det kan ge resultat i computer vision som bedövade området.
Den nya genombrott med CNNs, tillsammans med innovationer av jämnåriga som Yoshua Bengio, av Montreal MILA-gruppen för maskininlärning, och Geoffrey Hinton av Google Hjärnan, lyckats skapa en ny våren för AI-forskning, i form av djupt lärande.
Idag, överklagande av faltningar visar inga tecken på kyla, som tekniken sprider sig som ett ogräs till varje hörn av maskininlärning. Aktuell forskning har visat att förekomsten av CNNs bland neurala nätverk modeller i bruk. En studie av Microsoft publicerade i November, som tittade på olika typer av djupt nätverk som körs på Android mobila enheter, fann att nästan 90% av de nätverk som återhämtat sig från mobil apps var någon form av CNN.
På International Solid-State Circuits Conference i San Francisco den här veckan, LeCun reflekterat över varför detta enkla tekniken har utvecklats, och varför dess inflytande kommer bara att växa, enligt honom.
Också: Facebook är Yann LeCun säger “inre verksamhet” utgår AI marker
“En hel del av de signaler som system kommer att ha att ta itu med är naturliga signaler som kommer från en mängd sensorer,” sade LeCun i en intervju med ZDNet efter hans keynote prata på måndag.
“Något som kommer från en kamera, med panoramautsikt kameror och etc. Ljud, antingen i form av råa ljud eller i form av tid-frekvens representationer.” Videor också måste bearbetas via veck, LeCun sade, inklusive särskilt 3-D avbildning från djupet sensorer som LIDAR.
Många av de demonstrationer av olika marker på show den här veckan presenterade den välbekanta “segmentering karta,” en bild på datorskärmen saker sett genom en kamera, oavsett om en bil av vägen eller en syn på människor i rummet. Varje objekt är markerad med en färgad kontur med en etikett som anger vilken typ av sak som det är — en person, en hund, en gatlykta, etc. Veck är tidsandan för den nuvarande ålder, det tydligaste uttrycket för AI: s förmåga att i någon mening förstå världen runt omkring.
“Så, för allt detta, de flesta av dina cykler kommer att vara förbrukade bearbetning av låg-nivå”, sade LeCun, vilket innebär att de cykler av compute kommer att spenderas med att plocka ut vad varje pixel av de miljarder pixlar i en bild eller video att visa. “Och vad mer, men faltningar kommer ni att använda? Just nu, det finns inget alternativ. Så, de flesta cyklerna kommer att spenderas för att göra veck, är det ingen tvekan om.”
Också: Google image erkännande AI luras av nya tricks
En bild erkännande neurala nätverk som utvecklats av LeCun 1989, en föregångare till dagens convolutional neurala nätverk.
Yann LeCun et al. 1989
På konferensen fanns det massor av chip innovationer som ägnas åt bättre behandling av faltningar. Till exempel har forskare vid University of Michigan visade upp en design för fordon, som kan tränga undan en del av de funktioner LIDAR genom att i stället analysera många bildrutor från en bil ombord kamera. Forskarna sade att de hade gjort ett genombrott i hur man utvecklar ett chip dedikerad till CNNs som kommer att driva nätverket modell i hög hastighet samtidigt som den förbrukar mindre ström.
Det finns några allvarliga tekniska utmaningar som CNNs sprida sig till program utanför bild erkännande, sade LeCun. I fallet med 3-D avbildning, med djup givare som LIDAR, där data kommer i form av “point clouds”, konstaterade LeCun, “de flesta av 3-D-domäner som din neurala nätverk kommer att ha att processen kommer att vara tom, och det är mycket sparsam när det gäller aktiveringar.”
Vad man inte vill ha är faltningar att slösa en massa tid på att arbeta med att multiplicera nollor av en mestadels tom vektor eller matris. “Så, du skulle vilja veta var uppgifterna finns och sedan vara smart om hur du gör detta”, sade LeCun. Han konstaterade att det har varit att jobba med frågan på Facebook, med hjälp av “gles convnets,” kör på Grafikprocessorer”, Men det kanske kräver lite mer low-level support,” i hårdvara, observerade LeCun.
Det är där hårdvara innovatörer måste få arbeta, föreslog han.
Samsung forskare på tisdagen presenterade sin design för ett mobilt system-on-a-chip som kan “skära” ingångar just för att undvika bearbetning nollor i gles-ingång prover. LeCun uttryckte sitt godkännande efter att ha hört de prata, twittra ut några specifikationer för Samsung arbete.
“Den mest uttalade ord vid ISSCC denna morgon: faltning,” twittrade gudfadern av CNNs.
Relaterade Ämnen:
Big Data Analytics
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem