Loihi 2, uitgesproken als “Low-EE-he”, halveert de grootte van de chip en vertienvoudigt het aantal kunstmatige spiking neuronen. Hier is de buitenkant van de chip te zien met zijn contacten om aan te sluiten op de printplaat.
Walden Kirsch/Intel
Intel heeft donderdag de tweede versie van zijn Loihi-neuromorfische chip onthuld, “Loihi 2”, een processor voor kunstmatige intelligentie waarvan hij beweert dat deze beter de processen weerspiegelt die plaatsvinden in het menselijk brein in vergelijking met andere AI-technologie.
De nieuwe chip is gehalveerd in een meer geavanceerd procesknooppunt, dat nu 31 vierkante millimeter groot is, maar toch een miljoen kunstmatige neuronen bevat, acht keer zoveel als zijn voorganger.
p>En de chip krijgt nieuwe flexibiliteit door een uitgebreidere microcode te hebben die ten grondslag ligt aan de werking van de stekelige neuronen.
Loihi, uitgesproken als “low-EE-he”, is genoemd naar een Hawaiiaanse zeeberg, een jonge vulkaan, “die op elk moment uit de zee tevoorschijn komt”, zoals Mike Davies, Intel's directeur van neuromorphic computing, het uitdrukt.
De nieuwe chip krijgt ook een nieuw ontwikkelingsraamwerk, Lava genaamd, dat is geschreven in Java en uitgebracht als open source. Ontwikkelaars kunnen aan programma's voor Loihi werken zonder toegang tot de hardware. De software is beschikbaar op Github.
Intel onthulde de eerste versie van Loihi in 2017 en beschreef het destijds als een chip die “zich zou laten inspireren door hoe neuronen communiceren en leren, met behulp van spikes en plastic synapsen die kunnen worden gemoduleerd op basis van timing.”
p>De chip is gevormd als een “mesh” van rekenkernen
De eerste Loihi werd gemaakt met behulp van Intel's 14-nanometer procestechnologie. De nieuwe versie maakt gebruik van Intel's Intel 4-technologie, aangezien het bedrijf zijn productiegeneraties heeft omgedoopt. Er wordt aangenomen dat dit in feite een 7-nanometer-chip is, hoewel Intel geen volledige details van de procestechnologie heeft bekendgemaakt. De technologie is een pre-productieversie van Intel 4, benadrukt het bedrijf.
De chip krijgt een flexibelere microcode waarmee programmeurs “variabelen kunnen toewijzen en een breed scala aan instructies kunnen uitvoeren die zijn georganiseerd als korte programma's met behulp van een assembleertaal”, stelt Intel.
Deze programma's hebben toegang tot het geheugen van de neurale toestand, de geaccumuleerde synaptische input ai voor de huidige tijdstap, willekeurige bits voor stochastische modellen en een tijdstappenteller voor tijdgestuurde berekening. De instructieset ondersteunt voorwaardelijke vertakking, bitsgewijze logica en vaste-kommaberekeningen ondersteund door hardwarevermenigvuldigers.
“Het voegt veel algemeenheid en programmeerbaarheid toe, terwijl we voorheen werden beperkt door de vaste functies in Loihi 1”, zei Davies van Intel in een telefonisch interview met ZDNet.
Intel heeft de prestaties op veel niveaus verbeterd met de chip, zei hij.
“We hebben workloads die meer dan tien keer sneller zullen gaan, en op circuitniveau zitten we ergens tussen de twee en zeven keer, afhankelijk van de parameter.” Intel heeft ook de “chip-to-chip-schaalbaarheid” verbeterd door de bandbreedte op elke link tussen cores met vier te vermenigvuldigen.
De chip kan in drie dimensies worden geschaald, zei Davies, door gebruik te maken van inter-chip links.
De chip heeft nu bijna 150 onderzoeksgroepen over de hele wereld die Loihi gebruiken, zei Davies.
De stelling van voorstanders van neuromorphic computing is dat de benadering de feitelijke kenmerken van het functioneren van de hersenen beter nabootst, zoals de grote economie waarmee de hersenen signalen verzenden.
Het gebied van deep learning, dat een andere benadering van AI hanteert, heeft kritiek geuit op neuromorfische benaderingen omdat deze geen praktische resultaten hebben opgeleverd, in tegenstelling tot deep learning-systemen zoals ResNet die afbeeldingen in afbeeldingen kunnen onderscheiden. Facebook's hoofd van AI, Yann LeCun, verwierp in 2019 de neuromorfische benadering op een conferentie waar hij en Davies beiden spraken.
Een foto van het netwerk van rekenkernen in Loihi 2.
Intel
In een artikel dat eerder dit jaar in IEEE Spectrum werd gepubliceerd, brachten Davies en collega's bewijs aan voor wat volgens hen aantoonbare voordelen zijn van neuromorfe chips op allerlei problemen. Zoals ze het in de krant stellen, hebben neuromorfische chips voordelen wanneer er elementen in een probleem zijn, zoals recursie, die ze koppelen aan de manier waarop de hersenen verwerken:
Terwijl conventionele feedforward diepe neurale netwerken een bescheiden of enig voordeel laten zien op Loihi, voeren meer hersengeïnspireerde netwerken die gebruik maken van herhaling, precieze piek-timing relaties, synaptische plasticiteit, stochasticiteit en sparsiteit bepaalde berekeningen uit met een orde van grootte lagere latentie en energie vergeleken met state-of-the-art conventionele benaderingen. Deze boeiende neuromorfische netwerken lossen een breed scala aan problemen op die representatief zijn voor hersenachtige berekeningen, zoals event-base
“We hebben een portfolio met resultaten die voor het eerst echt kwantitatief de belofte bevestigen van neuromorfe hardware om aanzienlijke winsten te behalen in energie-efficiëntie, in de latentie van verwerking en de data-efficiëntie van bepaalde leeralgoritmen,” vertelde Davies aan ZDNet.
“Het was een van de echt aangename verrassingen om te ontdekken dat neuromorfische chips fantastisch zijn in het oplossen van optimalisatieproblemen”, zegt Davies. “Het is niet zo verwonderlijk omdat hersenen altijd optimaliseren”, zei hij.
Bij deep learning-vormen van machine learning is het proces van het maken van voorspellingen, het doen van gevolgtrekkingen, een strikt “feed-forward-proces”, zei Davies. Daarentegen, zei Davies, “het brein is een veel complexer proces dan dat, het houdt altijd rekening met feedback, het is begrip van context en verwachting, in zijn gevolgtrekkingen.”
Intel's Loihi-team beschrijft benchmarkresultaten ten opzichte van conventionele deep learning-benaderingen. De Loihi-vermeldingen zijn de drie netwerken die worden vermeld als “SLAYER”, wat staat voor “Spike Layer Error Reassignment”, een hulpmiddel dat in 2018 is ontwikkeld door wetenschappers van de National University of Singapore om neuromorfische spikes te trainen met back-propagatie.
IntelAls resultaat: “Het brein is eigenlijk bezig met optimalisatie”, zei hij. “Omdat we sommige van die mogelijkheden in een standaard wiskundig raamwerk hebben geabstraheerd, hebben we ontdekt dat we problemen kunnen oplossen zoals QUBO, kwadratische onbeperkte primaire optimalisatie”, een klasse van problemen die in kwantumcomputers werden uitgevoerd.
“We hebben ontdekt dat we QUBO-problemen fantastisch goed kunnen oplossen”, zei hij.
Een vroege gebruiker van Loihi 2, het Los Alamos National Laboratory van het Amerikaanse ministerie van Energie, vertelt dat hij met de chip verbindingen tot stand heeft kunnen brengen over meerdere domeinen. Loihi bijvoorbeeld, zijn ontdekking van kruisstromen in machine learning en kwantumcomputing, volgens Los Alamos-stafwetenschapper Dr. Gerd J. Kunde:
Onderzoekers van het Los Alamos National Laboratory hebben het Loihi-neuromorfische platform gebruikt om de wisselwerking tussen kwantum- en neuromorfe computing te onderzoeken, en om leerprocessen op de chip te implementeren. Dit onderzoek heeft enkele opwindende equivalenten aangetoond tussen spiking neurale netwerken en kwantum-annealing-benaderingen voor het oplossen van harde optimalisatieproblemen. We hebben ook aangetoond dat het backpropagation-algoritme, een fundamentele bouwsteen voor het trainen van neurale netwerken en waarvan eerder werd aangenomen dat het niet implementeerbaar was op neuromorfe architecturen, efficiënt kan worden gerealiseerd op Loihi. Ons team is verheugd om dit onderzoek voort te zetten met de tweede generatie Loihi 2-chip.
In een binnenkort te verschijnen paper, ingediend bij IEEE Spectrum, beschrijven Davies en het team experimenten met Loihi 2 waarin ze de chip vergeleken. op standaard machine learning-taken, zoals de Google Speech Commands-dataset, door een meerlaags perceptron-model te trainen en dit te vergelijken met het beste diepe netwerk, een model dat is gebouwd door Google-onderzoekers en waarover vorig jaar is gerapporteerd.
De Loihi-inzendingen gebruikten een tool genaamd “SLAYER”, wat staat voor “Spike Layer Error Reassignment”, een programma dat in 2018 werd geïntroduceerd door Sumit Bam Shrestha en Garrick Orchardat van de National University of Singapore om neuromorfische spikes te trainen met back-propagation.
Eén model, dat in windingen bakt, behaalde bij die test een nauwkeurigheid van 91,74%, wat beter is dan het standaard diepe netwerk, maar met veel minder parameters.
Verwante onderwerpen:
Hardware Digitale transformatie CXO Internet of Things Innovatie Enterprise Software 