In een interview met ZDNet op de International Solid State Circuits Conference in San Francisco, Yann LeCun, hoofd van Facebook het AI Onderzoek team, zei dat het bedrijf heeft zijn eigen werk op chips voor machine learning aan de gang, maar hij klonk hoopvol en vol vertrouwen dat vele oplossingen zal komen van de chip-industrie.
“Zeker, het is logisch dat bedrijven als Google en Facebook die een hoog volume aan het werk op hun eigen motoren als de industrie niet geven,” zei LeCun, verwijzend naar de noodzaak van nieuwe vormen van verwerking van technologie, geoptimaliseerd voor deep learning.
“Wat Facebook heeft gedaan van oudsher is om samen te werken met hardware leveranciers om ze te verleiden tot het bouwen van de dingen die we denken, is goed voor ons,” zei hij.
Yann LeCun, hoofd van Facebook is Facebook AI Research unit, die zich ontwikkelt fundamentele doorbraken in de diepe leren dat de macht van haar producten, in een interview met ZDNet.
Tiernan Ray voor ZDNet
LeCun heeft in eerdere interviews gezinspeeld op de mogelijkheid van interne chip ontwikkeling. Echter, “Het verschil is dat er sprake is van interne activiteit, die was erg ontluikende op het moment,” zei hij, betekenis, vier jaar geleden. Gevraagd om uit te breiden op wat die interne activiteit omvat op Facebook, LeCun maakte bezwaar. “Ik zou waarschijnlijk het niet vertellen,” zei hij met een lach.
Ook: ISSCC 2019 Voorbeeld: de Wet van Moore kunnen vertragen, maar innovatie is niet
Google Tensor Processing Unit, of TPU, werd genoemd door LeCun als een voorbeeld van het soort van interne inspanningen van grote bedrijven die hij over praat.
Meer in het algemeen, LeCun herhaald essentials van zijn plenaire praten over de noodzaak van een brede industrie poging om diep leren silicium op veel punten tijdens de training en inferentie-proces.
Hoogtepunten van LeCun de punten zijn opgenomen in een video die hij deed, geplaatst door Facebook AI Onderzoek maandag ochtend.
LeCun heeft ook geplaatst zijn dia ‘ s van zijn toespraak vanochtend.
Bijvoorbeeld, er is een dwingende noodzaak voor een low-power chips werken op de sensor van de gegevens afkomstig van mobiele apparaten, maar werken op dat de gegevens op de apparaten zelf, in plaats van het versturen van de data naar de cloud.
Dan zijn er de gebieden van berekenen “in het midden”, zoals de traditionele ‘offline’ training van neurale netwerken in de cloud en traditionele gevolgtrekking, in de cloud. Beide taken verbruiken veel energie, zo ook hier, het bedrijfsleven moet zorgen voor meer energie-efficiënte verwerking.
Op het hoogste einde van de diepe leren voedselketen, in de R&D-afdelingen van Facebook en anderen, is er een behoefte aan meer opties dan de dominante leverancier Nvidia, waarvan de Gpu ‘ s zijn de facto de oplossing voor neurale netto-opleiding.
“Aan de zeer hoge kant, wat we nu nodig hebben zijn concurrenten van de dominante aanbieder op het moment,” zei LeCun. “Niet omdat ze niet goed in, maar omdat ze aannames maken en het zou leuk zijn om een andere set van hardware die er voor zorgt dat verschillende veronderstellingen die gebruikt kunnen worden voor aanvullende dingen die de huidige oogst van de Gpu’ s goed in zijn.”
Echter, hoe deze alternatieve chips moeten worden opgebouwd, is een open vraag, Zei LeCun. Het is duidelijk dat morgen de neurale netten zal veel en veel groter dan de huidige, zei hij, omdat dingen zoals de noodzaak tot het nemen van een complete video-feed en kijken naar ton en ton van pixels, voor dingen zoals het voorspellen van de beweging van een video clip. Maar op hetzelfde moment, deze activiteiten kan worden berekend in een architectuur voor het verwerken van die verschilt van de huidige matrix vermenigvuldigen hardware. Matrices en tensoren, de bouwstenen van de hedendaagse AI hardware, zal waarschijnlijk niet de ideale oplossing in de toekomst, zei hij.
State-of-the-art chips “in principe zijn geoptimaliseerd om te doen veel van de vier-by-vier matrix vermenigvuldigt,” zei LeCun. “Dus, als je het kan verminderen alle van uw neurale netten vier-by-vier matrix vermenigvuldigen, oké. Maar het is niet mogelijk een optimale manier om veel windingen,” zei hij.
Wat kon ze vervangen? “Ik weet het niet. Ik denk dat de echte hardware-genieën zal hebben voor het uitvinden van nieuwe manieren om die dingen te doen.”
“Tot op zekere hoogte zou je kunnen denken dat dit een gelijkaardige set van activiteiten die we op dit moment doen in neurale netwerken, behalve dat de manier waarop u toegang tot de gegevens door middel van interacties; in plaats van dingen tot u te komen in een nette array, wat je hebt is een array van pointers voor het ophalen van de gegevens,” voor dingen zoals het verwerken van grafiek op basis van data.
Moet lezen
‘AI is heel, heel stom,’ zegt Google AI leider (CNET)Hoe krijg je al die Google Assistent van de nieuwe stemmen nu (CNET)Unified Google AI afdeling een duidelijk signaal van AI ‘ s toekomst (TechRepublic)Top 5: Dingen om te weten over AI (TechRepublic)
Dat zou kunnen betekenen manieren om het geheugen te optimaliseren verkeer, met inbegrip van “slimme caching” of het verkennen van delen van de grafiek van tevoren, zei LeCun.
W”Op het einde, het gaat om toe-voegt, de vraag is kan je hem netjes in de vorm van een bos van dot-producten, of een stel van matrix-vector vermenigvuldigen, of een stel matrix vermenigvuldigt,” legde hij uit. “De huidige aanname is dat u kunt beperken tot een bos van matrix vermenigvuldigt. Ik denk niet dat dat het antwoord is.”
Welke vorm de nieuwe chip architecturen nemen, LeCun gelooft AI-gericht hardware kan nemen meer en meer van de totale werklast van berekenen.
“Ik zou het niet proberen om te speculeren in termen van dollars, maar in termen van FLOPS, of operaties, als je gaat vijf, tien jaar in de toekomst, en je ziet wat doen computers besteden hun tijd aan, meestal, denk ik dat ze dingen doen, zoals diep leren, de meeste van hen. In termen van de berekening, niet in termen van omzet, winst, aantal computers, het aantal apparaten, maar in termen van hoe besteden we onze milliwatt of FLOPS, ze zal besteed worden op deze manier.”
Vorige en aanverwante dekking:
Wat is AI? Alles wat je moet weten
Een executive gids voor kunstmatige intelligentie, van machine learning en algemene AI-neurale netwerken.
Wat is diep leren? Alles wat je moet weten
De lowdown op diep leren: van hoe het zich verhoudt tot het bredere veld van machine-leren door te zien hoe aan de slag met het.
Wat is machine learning? Alles wat je moet weten
In deze gids wordt uitgelegd wat ‘machine learning’ is, hoe het is in verband met kunstmatige intelligentie, hoe het werkt en waarom het belangrijk is.
Wat is cloud computing? Alles wat u moet weten over
Een introductie van cloud computing recht vanaf de basis tot IaaS en PaaS -, hybride -, public en private cloud.
Verwante artikelen:
Google AI surft op het “gamescape” te veroveren spel theorie
Dit is wat AI eruit ziet (zoals geschetst door AI)
Google DeepMind teams met toonaangevende 3D-game dev platform
DeepMind AI plekken vroege tekenen van de ziekte van het oog
Verwante Onderwerpen:
Big Data Analytics
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software