Neuromorphic computing: Het verhaal tot nu toe
Geïnspireerd door een theorie in de organismen van geheugen en herinnering in de hersenen, neurale netwerken is een digitale simulatie van hoe synapsen kunnen onthouden van informatie, na te zijn getraind op het herkennen van patronen. Bijvoorbeeld neurale netwerken inschakelen van een computer, of misschien een op de cloud gebaseerde service, om de tekens herkennen van gedrukte tekst, zonder de noodzaak voor het programmeren uitdrukkelijk opgeven wat tekst is, of hoe het kan ter plaatse een bepaalde gezicht in een menigte na het zien van enkele foto ‘ s van hetzelfde gezicht.
Als een neurale netwerken probleem wordt lineair bredere — bijvoorbeeld het onderscheiden van een vorm van geschreven tekst van een ander — de gegevens die nodig zijn om het te trainen groeit exponentieel groter. Er is een geldig argument dat een deel van de taken wordt voorgesteld voor neurale netwerken, zoals het spotten bij iedereen is het krijgen van depressieve of opgewonden te zijn, kan het onmogelijk, zelfs met de huidige opslag-en geheugen technologieën. Dus de openbaringen door onderzoekers die een chemische structuur die bestaat uit volledig willekeurig samenstellen van nanometer-schaal draden kunnen vertonen de elektrische eigenschappen van het geheugen in de hersenen misschien niet moeten blijven worden ontslagen voor veel langer.
“Ik wil het maken van een synthetische hersenen,” schreef Dr. James K. Gimzewski in oktober 2012 [PDF]. “Ik wil maken van een machine die denkt, een machine die over fysieke intelligentie. . . Een dergelijk systeem niet bestaat en belooft te zorgen voor een revolutie kan men bellen met de post-human revolution.”
Ook: Dit miljoen-core supercomputer geïnspireerd door het menselijk brein breekt alle regels
Het is het spul van zo veel science fiction, dat de laatste tijd, sci-fi auteurs hebben gestuurd afstand van het onderwerp, uit angst voor een komende uit droge, klinkende als een retread-of een retread van een retread — van Isaac Asimov. Het mechanisme voorzien door Dr. Gimzewski en zijn collega ‘ s aan het California NanoSystems Institute van UCLA is, vreemd genoeg, niet een digitale processor en niet in de context van de moderne elektronica, een halfgeleider. Het is niet, in ieder geval voor nu, over de programmering.
De vraag in het hart van zijn team onderzoek is dit: Als het proces vormt natuurlijke geheugen is, ten minste op het atomaire niveau, voornamelijk mechanische, dan in plaats van het bouwen van een digitale simulatie van dat mechanisme, waarom niet verkennen bouwen van een echte machine, op dezelfde atomaire niveau dat voert dezelfde functies op dezelfde manier? Anders gezegd, als de hersenen is een complete machine, waarom dan niet een complete machine in de hersenen?
Neuroplasticiteit
Eerder op ZDNet, introduceerden wij u naar het concept van neuromorphic computing, als contrast tegen het rijk van de digitale neurale netto-simulatie. In de conventionele simulaties, de relatieve sterkte van een “synaps” in vergelijking met andere synapsen wordt vertegenwoordigd door een waarde in het geheugen — of, om preciezer te zijn over dit, in het RAM-geheugen. Een “geleerd” patroon kan het gewicht van de synaps, zodat, wanneer een afbeelding die overeenkomt met degene die het systeem heeft “gezien” voor het gewogen synaps is gegeven precedent, en “brand” in een geval analoog aan de elektrische impuls van synapsen in de hersenen.
Een neuromorphic architectuur is een poging om een systeem te bouwen dat werkt eigenlijk op deze manier, eerder dan het simuleren van het digitaal. Wat conventionele halfgeleiders gebaseerde computers gebrek met betrekking tot het simuleren van neurale activiteit is, bij gebrek aan een meer passende woord, schaal. Een 2013 research project koppelen duitse Jülich Research Centre en het Japan MICHEL laboratorium, waarbij RIKEN s K supercomputer — de snelste op dat moment — succesvol gesimuleerd voor de neurale activiteit waargenomen in ongeveer 1 procent van het menselijke brein, in een volgorde die duurde ongeveer 40 minuten om uit te voeren. Het duurde nog vijf jaar van algoritmische resequencing voor dat team zou aankondigen een methodiek die uitgeklede anders ondersteunende neurale activiteit, het versnellen van de uitvoering door ongeveer vijf keer.
In dit tempo door, zij moeten in staat zijn om te simuleren dat de neurale activiteit die nodig is voor een presidentiële tweet rond 2050.
Dr. Gimzewski de driekoningen — geïnspireerd door zijn goede werk in de loop van de decennia, niet alleen met Intel, maar ook met collega ‘ s in de fysica en de chemie, met inbegrip van een nobelprijswinnaar, of twee, is dat de structuren van nature geproduceerd door chemische reacties in het bezit gedrag vergelijkbaar met de schakelaars (digitale of fysieke) gebruikt bij het simuleren van de werking van de synapsen, met name in hoe ze het gedrag van elektriciteit. Ze verzetten zich tegen de toepassing van de huidige, maar na verloop van tijd, ze kunnen beter tegen minder — een fenomeen geassocieerd met hersenactiviteit, als een individu is immers te leren.
De UCLA team onderzoek is gecentreerd rond de hefboomwerking van de natuurlijke chemische verschijnselen op atomair niveau als atomaire schakelaars, en hun bewijs is waaruit blijkt dat als hun chemisch geproduceerde systemen worden behandeld als een natuurlijke geheugen (als de receptieve onderdelen van de hersenen dat het onthouden van informatie), dan zullen ze zich gedragen als een natuurlijke geheugen.
UCLA
“Als je een machine learning analogie, we hebben een netwerk, en we hebben een aantal ingangen en een aantal uitgangen. In dergelijke systemen, die u moeten trainen van het netwerk,” aldus Gimzewski in een interview met ZDNet Schaal. “In een conventioneel systeem, je hebt om te trainen van het netwerk in dat elke synaptische verbinding in het systeem heeft een ding genaamd een ‘gewicht.’ Het is slechts een getal. Hoe groter het gewicht, hoe sterker het effect.”
De wet van de opleiding het netwerk, bijvoorbeeld door het geven van meer monsters van dezelfde klasse van gegevens, zoals de opnames van een persoon de stem, of beelden van een persoon het gezicht — veranderingen in de gewichten’ waarden. In de mate dat deze waarden worden relatief hoog, ontwikkelaars zeggen dat het systeem is “leren.” Hoe groter de verscheidenheid van mogelijke, learnable entiteiten in de training set (bijvoorbeeld meerdere gezichten), de meer gewichten zijn nodig om vast te stellen differentiatie. Zelfs vandaag de dag, conventionele digitale supercomputers vinden dat het leren van complexe patronen uit de natuur moeilijk, en de resultaten zijn minder dan optimaal.
In een neuromorphic systeem, deze gewichten zijn niet digitaal. Zij zijn de producten van atomic schakelaars — apparaten bestaat uit ionen of paren van ionen, waarvan de binaire quantum attributen kunnen worden gemanipuleerd om een staat of de andere. Ze zijn als binaire cijfers of stukjes, maar in dit geval gaan ze niet elektronisch zijn. Een complete switch kan worden “geproduceerd” ten minste in één zin, door direct te dreigen met een paar covalente (met elkaar verbonden) ionen te ruilen posities met elkaar, met behulp van een dynamische kracht microscoop waarvan de tip, net als de naald van een atomaire-platenspeler, is gescherpt, een één-atoom breedte.
Maar Gimzewski ‘ s atomic schakelt niet zo veel gegroeid. De voortzetting van het werk begonnen door Prof. Masakazu Aono in de japanse International Center for Materialen Nanoarchitectonics (MANA), zijn team chemisch produceert netwerken waarvan de circuits gevormd zijn door het zilver sulfide nanodraadjes. Om meer specifiek te zijn, ze behandelen een rooster van koperen berichten gestationeerd één micron los van elkaar, met zilvernitraat. Als een resultaat, de nanodraadjes groeien van deze berichten, in geheel willekeurige richtingen. Één woord te beschrijven van de vorm van deze structuren is dendritische, die-niet toevallig-is gebruikt voor het beschrijven van de structuur van synapsen in de hersenen.
Na deze dendrieten hebben gevormd, sulfurizing het product maakt de kruispunten gevormd waar de nanodraadjes touch, worden verbindingen. Gimzewski verwijst naar deze verbindingen als synapsen. Op het atomaire niveau, deze synapsen gedragen als de gesimuleerde synapsen in een digitale neurale netwerk, ook al zijn ze technisch niet-elektronische.
U zult zich herinneren dat, in een gewone elektronische schakeling, logische poorten zijn in wezen schakelaars. Alle computer programma ‘ s zijn, op hun basest niveau, sequenties van de logica. Delen van deze sequenties worden geparafraseerd, als je wil, dus we kunnen direct verkeer met meer comfortabele high-level talen, zoals Python, JavaScript, en Clojure zonder directe elke elektron met een beetje aftasten microscoop.
Maar als je ooit studeerde een trein, weet je dat simpele schakelaars bepalen van de routes die treinen te nemen. Als we beweren dat, als het internet zelf, een systeem wordt bepaald door de routes te vormen, het is niet te groot van een sprong van de logica om te concluderen dat een systeem, zoals een brein is lichamelijk samengesteld uit de neuronen, axonen en synapsen die collectief bestaat uit de functies. Dit is het kenmerk van de hersenen dat de neurologen noemen neuroplasticiteit. Toegepast op een kunstmatig apparaat, zoals een processor, een analoog kenmerk zou worden van de mogelijkheid om het apparaat om te bouwen naar zichzelf te vervullen van een nieuwe functie. De eenvoudigste manier om dat te bereiken kenmerk zou worden door een herschikking van de schakelaars.
Menselijke inspanning is
Alsof dat fysici en chemici zijn maar nu komt tot het punt van de hefboomwerking van natuurlijke processen voor rekenkundige of wiskundige doeleinden, is het doen van een onrecht aan de mensen die gaf aanleiding tot computing in de eerste plaats. Onder Charles Babbage ‘ s bedoelingen voor zijn berekening van de motor was duidelijk het idee dat wiskunde alleen maar een menselijke interpretatie van een groter, goddelijke mechanisme. Als Babbage schreef in 1838:
Foto van Charles Babbage, circa 1850, in het publieke domein.
Ter illustratie van het onderscheid tussen een systeem waarmee het herstel van de hand van de contriver wordt toegepast, hetzij regelmatig, of op verre intervallen, en één die gekregen had bij de eerste formatie de indruk van de wil van de auteur, voorzien in de gevarieerde maar toch noodzakelijke wetten van de activiteit in het geheel van het bestaan, moeten we beroep doen op enkele machine, het produceren van menselijke vaardigheid. Maar zover al deze motoren moeten altijd geplaatst worden in een onmetelijke interval hieronder de eenvoudigste van de Natuur werkt, maar toch, van de uitgestrektheid van deze cycli, die zelfs het menselijk vernuft in sommige gevallen ontvouwt zich voor onze ogen, we kunnen wellicht worden ingeschakeld om een vage schatting van de omvang van die laagste stap in de keten van redeneringen, die ons leidt tot de Natuur van God.
Het werk van James Gimzewski ‘ s team heeft aangetoond dat er een mechanisme voor de montage zelf uit de willekeurige grillen van een chemisch proces kan vertonen een fenomeen dat vaak geassocieerd wordt met een digitale simulatie, waarvan de intentie is om zich te gedragen zoals het ding in de natuur dit mechanisme noemt, al is het zwakjes, voor de geest, de hersenen, de neocortex. De natuur kan de imitator imiteren, en misschien wel in zo te doen, het laatste lachen.
Maar het is hier dat de professor ons neem de grootste sprong van het geloof en logica: een mentale bereiken van Babbagian verhoudingen. In de vooruit met zijn onderzoek, zocht hij naar model wat neurologen noemen de neuropil — de grootste collectie van synapsen in de hersenen, het verzamelen van talloze zenuwbanen samen. Op een gegeven moment, schatte hij een synthetische interconnectie dichtheid van één miljard per vierkante centimeter, dat is dichter dan die van de matrices van de transistoren in de moderne halfgeleiders.
Deze neuronale “stof,” lenen van een termijn van computer netwerken is gegroeid chemisch in wat Gimzewski noemt een “bottom-up” proces. Het is vervolgens gekoppeld aan een elektrode grid, dat is een gewoon apparaat bestaat uit 64, of bij gelegenheid 128, koper-uitgangen, conventioneel vervaardigd en van boven naar beneden. Die interface zorgt voor een multi-elektrode uitlezing, vergelijkbaar met hoe neurologen scan voor de hersenactiviteit.
“In het type van circuit wij produceren, het gedrag van een individuele element — in de atomaire switch, een individuele knooppunt — is niet zo belangrijk voor ons. Het is het systeem-brede activiteit van het gehele apparaat, en hoe het is ruimtelijk en temporeel georganiseerd, dat we zijn bezig met.”
Een echte microscoop foto van een van de neuropil gevormd door een dendritische geheugen circuit.
DE UCLA (CNSI
De dendritische netwerk dat wordt gevormd door deze zelf-assemblerende atomic schakelaars, Gimzewski beweert, heeft een stijl van leren-een model dat beantwoordt in veel opzichten aan wat ingenieurs van neuronale netwerken (met behulp van gesimuleerde neuronen) gesprek met reservoir computing (RC).
Er is niet noodzakelijk een lineair verband tussen de volgorde van de input-signalen en de signalen die zijn opgenomen van de uitgangen. Dus, bijvoorbeeld, een perfecte sinus gebruikt voor de ingang zou niet resulteren in een sinusgolf in een van de uitgangen individueel.
Wat gebeurt er toch, stelt de professor, om redenen die nog niet volledig verklaarbaar, is dat de dendritische paden lijken om dingen uit te werken voor zichzelf. “Wanneer ze worden gecombineerd, ze beginnen met elkaar te praten,” zei hij. “Een manier om de hele schakeling komt tot leven, in die zin dat elk deel is de interactie met elk ander deel. En er zijn wegen die we kunnen vaststellen sterker neuromorphic verbindingen.”
Ook: Wat is diep leren? Alles wat je moet weten
In een RC netwerk, gewichten zijn gekoppeld aan de uitgang laag, waar de resultaten worden geregistreerd. “Dan door zoiets als een lineaire regressie, die conventionele berekening, reconstrueren we de golfvorm.”
Dat houdt in dat alle van de uitgangen samen vormen een matrix waarop lineaire regressie kan worden toegepast, pak een patroon gereconstrueerd op basis van de ingangen. Dus als sinusgolven input, het resultaat van de berekening zou een sinus; als een persoon ‘ s stem werd gebruikt als input voor een hoorbare extrapolatie van de stem zou verschijnen in de uitgangen.
Dus een netwerk van natuurlijk fenomeen dat wordt geteeld, niet geprogrammeerd is, kan worden behandeld als een neuraal netwerk, en dus in reactie gedraagt zich als een — niet een gewone neural net, mind you, maar de meest geavanceerde klasse in het huidige gebruik.
Zijn extrapolatie houdt daar niet op. Gimzewski gaat over het verband tussen het gedrag van zijn neuropil netwerk met een werkelijke psychologie — een echte theorie van de menselijke cognitie. De zogenaamde Multistore Model is een theoretisch kader voor het menselijke geheugen, voor het eerst voorgesteld in 1968 door de UCSD Kanselier Emeritus Dr. Richard C. Atkinson en Indiana University cognitieve wetenschap professor Dr. Richard M. Shiffrin. Het geheugen verdeelt in drie structurele componenten: korte termijn zintuiglijke retentie, zijn relatief korte termijn “werkgeheugen” en lange termijn, permanent geheugen. De verzamelde informatie uit de zintuigen reizen door de kortere termijn fasen in de richting van de blijvende toestand, of anders is het toegestaan om te vergaan en vergeten worden.
Het was niet de manier waarop de dendritische netwerk onthoudt informatie die gedwongen Gimzewski om dit te tekenen correlatie met Atkinson-Shiffrin, maar hoe de mens-zoals het leek toen het systeem vergeet het.
“Het is gevaarlijk om direct te correleren dingen als: ‘Dit is een brein!'” de professor erkend in een punt. “Het tentoonstellen van elektrische kenmerken die zijn zeer vergelijkbaar met een functionele MRI van de hersenen, vergelijkbaar met de elektrische eigenschappen van neuronale culturen, en ook EEG patronen. We noemen het ‘ self-organized criticality, dat is een hele tak van wetenschap die wordt geaccepteerd, meer of minder. Sommige mensen kunnen het oneens zijn, maar het is algemeen aanvaard nu dat de hersenen vertonen een soortgelijke elektrische kenmerkend voor wat we hebben in onze circuits, [dat] is vrij uniek is in termen van de functie. We proberen niet om een deterministisch systeem. We laten het systeem zelf monteren, en dan observeren wat het doet en probeert te leren.”
Reconnoiter
In mijn familie, er is een uitdrukking die gewassen in een gesprek dat dateert uit ongeveer 1973, toen de historicus Jacob Bronowski verscheen op NBC ‘ s Today show te bespreken zijn boek, De Beklimming van de Mens. Hij legde vervolgens-host Frank McGee waarom hij geloofde oude beschavingen, zoals de Azteken, had een diepere en meer accuraat begrip van ruimte en tijd dan in de Renaissance, gebaseerd op zijn onderzoek van hun agenda ‘ s. De zin, uitgesproken door eerst McGee en bespot schaamteloos door mijn moeder al drie decennia lang daarna, is dit: “Wat heeft dat te maken met de prijs van thee in China?”
Zodat je kunt groeien in een geheugen in een pot, stop de stekker in een Radio Shack elektrode raster kit, en het maken van dingen te herhalen na u. Zou dat een einde maken aan de oorlog in Vietnam?
Het is eerlijk om te zeggen dat we niet praten over een systeem dat, eenmaal ingebracht in een Galaxy S29 smartphone, zou kunnen inzetten neuroplasticiteit om zelf een Galaxy S30. Vanuit een louter praktisch standpunt, de Gimzewski team onderzoek wijst u de weg in de richting van de vervanging van conventionele digitale supercomputers in de taken die vereisen dat inductief redeneren, met een geheel nieuwe vorm van de machine. Het zou een ‘ time-sharing systeem, aangebracht door middel van een cloud of cloud-achtige diensten, en, althans in theorie, het kan veel zuiniger om te draaien en te beheren.
Maar vandaag de dag, en voor de nabije toekomst, het is als de toestand van mijn slaapkamer in 1973: een wetenschappelijk experiment.
“Als je zag het apparaat zelf, het is verbonden door een hele hoop draden aan machines die in principe zijn aangesloten op de computer, die geen van alle de analyse,” zei de professor, het onderdrukken van een paar lachsalvo ‘ s. “Het is niet zo dat we kunnen werken met dit ding zonder transistoren of geïntegreerde schakelingen — dat kunnen we niet… Het is gewoon een onderdeel van het hele systeem. Er is niet echt net de hersenen en niets anders.”
Ook: De 10 meest in-demand AI banen in de wereld TechRepublic
Maar als de hersenen is als dat UCLA laboratorium — een hoop draden bij elkaar gegooid lukraak, die door een onmerkbaar proces concocts de processen waarmee we rijden auto ‘ s, converse, schrijven van lange artikelen, en het creëren van nieuwe neuromorphic apparaten — dan Prof. Gimzewski brengt ons allemaal naar dezelfde drempel van realisatie van Charles Babbage en Jacob Bronowski leidde ons naar (met uitzondering, natuurlijk, Frank McGee). Als we het kunnen reproduceren, tot in het kleinste atoom, alles dat bestaat uit de fysieke menselijke systeem, en toch eindigen we met net een andere cloud computing service, dan moet er worden een aantal belangrijke element we missen op onze checklist.
“Het geheugen is wat we zijn,” schreef Atkinson en Shiffrin in de buurt van de 50ste verjaardag van hun modale model van het geheugen, “en wat definieert ons als individuen.” Als dat waar is, dan kunnen we willen teruggaan naar het onderwerp van wat we echt zijn, zodra we succesvol hebben geautomatiseerd proces van het kweken in een glazen pot.
Meer informatie Van het CBS Interactive Netwerk
Wat neuromorphic engineering is, en waarom het tot een analoge revolutie door Scott M. Fulton, III, ZDNet
Intel ‘ s neuro-goeroe slams diep leren: ‘Het is eigenlijk niet te leren’ door Tiernan Ray, ZDNet
De AI-chip eenhoorn dat is ongeveer om de wijze alles heeft computational Grafiek in de Kern van George Anadiotis, ZDNet
Elders
Neuromorphic Atomic Schakelen tussen Netwerken door James K. Gimzewski, Masakazu Aono, et al
Waarom Initialiseren van een Neuraal Netwerk met Willekeurige Gewichten? door Dr. Jacob Brownlee, Machine Learning Meesterschap
ORNL Neuromorphic Werk Suggereert een Directe Computer-naar-Brein Potentieel door John Russell, HPC Draad
Instituto Cajal, Madrid
De “memory kaart” aanbevolen in deze editie van ZDNet Schaal is geïnspireerd door de tekeningen van Santiago Ramon y Cajal, die ontdekte dat de leidende principes voor de werking van de neuronen in de hersenen. Hij voor het eerst publiceerde zijn ontdekkingen vergezeld van de originele pentekeningen, gebruik te maken van zijn vaardigheden als kunstenaar, velen zouden nu zeggen de beide zijden van zijn hersenen. Voor deze, Cajal werd bekroond met de Nobelprijs in 1906. Het bovenstaande voorbeeld is in de collectie van het Instituto Cajal in Madrid, en deze foto in het publieke domein.
Verwante Onderwerpen:
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software
Smart Cities