Nul
Intel heeft diverse overnames en vernieuwde haar routekaart voor diep leren. De nieuwe portfolio strekt zich uit van de Ridders van de Molen en het Meer van Crest (Nervana) voor het trainen van neurale netwerken te Xeons, Altera fpga ‘ s en Movidius visie processors voor het uitvoeren van deze modellen. (Ik schreef over een aantal van deze in een post van vorige week.)
Nu heeft Intel nog een andere chip aan de mix met de aankondiging van Loihi. Deze, echter, is een beetje anders. Voor starters, het is geen onderdeel van de onderneming AI Producten van de Groep, maar Intel Labs, die heb ongeveer zes jaar de ontwikkeling van de test chip. Bovendien, Loihi heeft een compleet andere, “self-learning,” neuromorphic architectuur met de potentie om het aanpakken van een bredere klasse van AI problemen.
Het concept van een computer bootst de hersenen is niet nieuw–Caltech wetenschapper Carver Mead begon te werken op het in de jaren 1980 en bedacht de term “neuromorphic”–maar deze bleven grotendeels wetenschappelijke projecten met weinig commerciële toepassing. In een interview, Narayan Srinavasa, Senior Principal Engineer en Chief Scientist bij Intel Labs, legt uit waarom het bedrijf koos om te gaan op deze weg.
De Wet van Moore schalen is toegestaan Intel pack veel meer kernen in een bepaald gebied. (Deze week Intel heeft aangekondigd haar eerste mainstream desktop processors met zes cores en begon de verzending van de Core i9 chips met maximaal 18 kernen.) Maar de waarheid is dat veel van werkbelasting kan het niet benutten van al die kernen, Srinavasa zei, wat heeft geleid tot een fenomeen dat bekend staat als dark siliconen. In andere woorden, het is gewoon niet efficiënt om het licht van al die transistors alle tijd. Om dit aan te pakken, de industrie heeft behoefte aan zowel een meer efficiënte architectuur en aanvullende toepassingen die kunnen profiteren van al deze kernen.
Intel en anderen zijn geïnspireerd door het ontwerp van de hersenen omdat het zeer efficiënt is in wat het doet. Het menselijk brein heeft naar schatting 100 miljard neuronen, die elk met 10.000 synaptische verbindingen–of een totaal van ongeveer een quadriljoen synapsen–maar werkt veel minder energie dan een gloeilamp. Natuurlijk, neuromorphic chips niet kan sluiten voor deze schaal nog niet. De 14nm Loihi test chip is georganiseerd in 128 clusters, elk met 1,024 neuronen, voor een totaal van rond de 130.000 neuronen met 130 miljoen synapsen verdeeld over hen.
Maar de chip werkt op soortgelijke principes, tenminste in de mate dat we begrijpen hoe de hersenen werken. Wanneer de pulsen of ‘spikes’ verzonden naar een neuron het bereiken van een bepaalde activering niveau, stuurt deze een signaal over de synapsen naar andere neuronen. Veel van de actie, echter, gebeurt in de synapsen, die ‘plastic’ in de zin dat zij kunnen leren van deze veranderingen en het opslaan van deze nieuwe informatie. In tegenstelling tot een conventioneel systeem met een aparte berekenen en geheugen, neuromorphic chips hebben veel geheugen (in dit geval SRAM caches) ligt zeer dicht bij het berekenen van motoren.
Er is geen globale klok in deze spiking neural networks–de neuronen alleen vuren als ze hebben bereikt een activatie-niveau. De rest van de tijd dat ze donker blijven. Deze asynchrone bewerking is wat maakt neuromorphic chips zo veel energie-efficiënter dan een CPU of GPU, die is “altijd op.” De asynchrone technologie heeft zijn wortels in de Fulcrum Microsystems, een bedrijf dat Intel verworven weg terug is in 2011 ontwikkeld voor Ethernet switch chips, maar Srinivasan zei dat het was gewoon “schreeuwen om gebruikt te worden in andere technologie.”
Dit is ook wat maakt spiking neural networks een veelbelovende oplossing voor andere manieren van leren. Een GPU is goed geschikt voor het begeleid leren, omdat deze diep neurale netwerken kunnen worden opgeleid offline met behulp van grote sets van label gegevens dat het kan bewaren enorme arrays bezig. Deze modellen zijn vervolgens overgebracht naar en uitvoeren–een proces dat bekend staat als ‘inferencing’–op Cpu ‘s, fpga’ s of gespecialiseerde ASICs. Neuromorphic chips kunnen gebruikt worden voor begeleid leren, maar omdat ze zijn intrinsiek meer efficiënte, spiking neural networks moet ook ideaal voor zonder toezicht of reinforcement learning met schaarse gegevens. Goede voorbeelden hiervan zijn intelligente video surveillance en robotica.
Loihi is niet de eerste neuromorphic chip. IBM ‘ s TrueNorth, een deel van een oude DARPA research project, is misschien het best bekend, maar andere activiteiten hebben opgenomen Stanford Neurogrid, de BrainScaleS systeem aan de Universiteit van Heidelberg en de SpiNNaker aan de Universiteit van Manchester. Deze vertrouwen op de planken met meerdere chips–in sommige gevallen met analoge schakelingen–dat zijn opgeleid offline. Intel zegt dezelfde Loihi chip kan worden gebruikt voor zowel real-time opleiding en inferencing, en leert de loop van de tijd, geleidelijk steeds beter in wat hij doet.”Wij zijn de enigen die kunnen omgaan met al deze manieren van leren op een enkele chip,” Srinavasa zei.
De all-digital design bestaat eigenlijk uit twee 14nm chips, een eenvoudige x86 processor die niet veel van de pre-processing (de gegevens, gecodeerd in een indeling voor spiking neural networks, en verstuurt het naar de neuromorphic chip) en de neuromorphic mesh, beide in hetzelfde pakket. Loihi is niet een co-processor; de x86-chip zal een boot-omgeving en lichtgewicht OS en fungeren als host, hoewel het systeem-level details worden nog uitgewerkt.
De eerste chips zullen in de productie in November met de plannen om het te testen met een “toonaangevende universiteit en research instellingen met een focus op het bevorderen van de AI” in de eerste helft van 2018. Tegen die tijd, Intel ook plannen om een software-kit die het gemakkelijker maken om te zetten dataflow grafieken te voeren als spiking neural networks for begeleid, onbegeleid en reinforcement learning.
Met ongeveer hetzelfde aantal neuronen als in de hersenen van een mol, Loihi is een relatief kleine neuromorphic chip, maar Intel zegt de architectuur is eenvoudig te profiteren van de vennootschap advanced process technologie. “Er is niets verhinderen dat doet veel meer neuronen en synapsen, want ze zijn allemaal hetzelfde,” Srinavasa zei.
Maar voor nu blijft het een project. Inderdaad de naam Loihi een subtiele boodschap over hoeveel werk er nog te doen. Gelegen voor de kust van het eiland van Hawaii, Lo’ihi is de enige vulkaan in de Hawaiiaanse zeeberg, die in de vroegste stadia van ontwikkeling. Deze onderzeese vulkanen gaan door cycli van erupties, lava-afzettingen, erosie van miljoenen jaren gevormd eilanden. Hopelijk duurt dat niet lang om te zien de volgende grote doorbraken in de AI.
0