Dertig jaar geleden, Yann LeCun pionier in het gebruik van een bepaalde vorm van machine learning, genaamd de convolutional neurale netwerk, of CNN, terwijl aan de Universiteit van Toronto. Die aanpak, het verplaatsen van een filter over een set van pixels op te sporen patronen in beelden, toonde belofte in het kraken van problemen, zoals het verkrijgen van de computer te herkennen met de hand geschreven cijfers met minimale menselijke begeleiding.
Facebook AI Onderzoek leider Yann LeCun.
Tiernan Ray voor ZDNet.
Jaren later, LeCun, dan aan de NYU, gestart met een “samenzwering”, zoals hij het noemde, te brengen machine learning terug in de schijnwerpers na een lange winter voor de discipline. De sleutel was LeCun ‘ s van CNN, die was blijven ontwikkelen in verfijning naar het punt waar het zou kunnen produceren resultaten in computer vision verdoofde het veld.
De nieuwe doorbraken met CNNs, samen met innovaties door collega ‘ s, zoals Yoshua Bengio, van Montreal MILA groep voor machine learning, en Geoffrey Hinton van Google Hersenen, is erin geslaagd in het creëren van een nieuwe lente voor het AI-onderzoek, in de vorm van diep leren.
Vandaag de dag, het beroep van de windingen toont geen teken van afkoeling, als de techniek zich als een onkruid tot in elke hoek van machine learning. Recent onderzoek heeft aangetoond dat de prevalentie van CNNs onder neurale netwerk modellen in gebruik. Een studie door Microsoft bekendgemaakt in November, waarbij wordt gekeken naar het soort van diepe netwerken die worden uitgevoerd op mobiele Android-apparaten, bleek dat bijna 90% van de netwerken hersteld van mobiele apps waren een soort van CNN.
Op de International Solid State Circuits Conference in San Francisco deze week, LeCun gereflecteerd op het waarom van deze eenvoudige techniek bloeide, en waarom zijn invloed zal alleen maar groeien, in zijn ogen.
Ook op: Facebook ‘ s Yann LeCun zegt ‘interne activiteit’ opbrengst op AI chips
“Veel van de signalen die systemen zal te maken hebben met zijn natuurlijke signalen die afkomstig zijn van array sensoren,” zei LeCun in een interview met ZDNet na zijn keynote-toespraak op maandag.
“Alles komt uit een camera, inclusief panoramische camera’ s en etc. Audio, hetzij in de vorm van ruwe audio of in de vorm van tijd-frequentie vertegenwoordigingen.” Video ‘ s moeten ook worden verwerkt via kronkels, LeCun zei, met inbegrip van met name de 3-D beeldvorming van de diepte sensoren zoals LIDAR.
Inderdaad, veel van de demonstraties van verschillende chips op de show deze week voorzien van de bekende “segmentatie kaart,” een afbeelding op het scherm van de computer van de dingen gezien door een camera, of een auto van de weg of de mensen in de kamer. Elk object is hoogtepunt door een gekleurd kader met een etiket met vermelding van het type van wat het is — een mens, een hond, een straat lamp, enz. Windingen zijn de tijdgeest van de huidige leeftijd, de duidelijkste uitdrukking van AI de mogelijkheid om in zekere zin begrijpen van de wereld om hem heen.
“Dus, voor dit alles, de meeste van de cycli zal worden besteed verwerking van de laag-niveau signaal” zei LeCun, wat betekent dat de cycli van berekenen zal worden gestoken in het uitzoeken van wat elke pixel van de miljarden pixels in een afbeelding of video weergeven. “En wat anders maar windingen ga je gebruiken? Nu, er is geen alternatief. Dus, de meeste van de cycli zal worden besteed aan het doen windingen, er is geen sprake.”
Ook: Google ‘ s image recognition AI misleiden door nieuwe trucs
Een afbeelding erkenning neurale netwerk ontwikkeld door LeCun in 1989, een voorloper van de huidige convolutional neurale netwerken.
Yann LeCun et al. 1989
Op de conferentie, waren er tal van chip innovaties gewijd aan een betere verwerking van de windingen. Bijvoorbeeld, onderzoekers aan de Universiteit van Michigan bleek uit een ontwerp voor automotive toepassingen die kunnen verdringen enkele van de functies van LIDAR door in plaats van het analyseren van alle frames van een video van een auto camera aan boord. De onderzoekers zei dat ze had gemaakt voor een doorbraak in het ontwikkelen van een chip gewijd aan CNNs dat zal draaien op het netwerk model op hoge snelheid, terwijl ze minder energie verbruiken.
Er zijn een aantal ernstige technische uitdagingen als CNNs verspreid naar toepassingen buiten beeld erkenning, zei LeCun. In het geval van 3-dimensionale beeldvorming, met diepte sensoren zoals LIDAR, waar de data vandaan komt in de vorm van “point clouds,” merkte LeCun, “de meeste van de 3-D-domeinen dat aan uw neurale netwerk zal moeten verwerken leeg — het is zeer schaars in termen van activeringen.”
Wat je niet wilt zijn kronkels dat afval veel tijd op het vermenigvuldigen van nulpunten van een meestal lege vector of matrix. “Dus, je zou graag willen weten waar de data is, en vervolgens slim te zijn over hoe je dit volgen”, zei LeCun. Hij merkte er is werk aan de materie op Facebook, met behulp van “sparse convnets, op de’ Gpu ‘ s, “Maar het zou kunnen vereisen wat meer low-level support’ in hardware, waargenomen LeCun.
Dat is waar de hardware vernieuwers hebben om te werken, stelde hij voor.
Samsung onderzoekers op dinsdag presenteerden hun ontwerp voor een mobiele system-on-a-chip die “snoeien” ingangen juist om te voorkomen dat de verwerking van nullen in magere input samples. LeCun geuit zijn goedkeuring na het horen van het gesprek, het tweeten van een paar specs van de Samsung werken.
“De meest uitgesproken woord op de ISSCC deze ochtend: convolutie,” twitterde de godfather van CNNs.
Verwante Onderwerpen:
Big Data Analytics
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software