Neuromorphic design: The story so far
Inspirerad av en teori i organismer från minnet och minns i hjärnan och neurala nätverk är en digital simulering av hur synapser kan behålla information, efter att utbildas för att känna igen mönster. Till exempel, neurala nät gör att en dator, eller kanske en moln-baserad tjänst, att känna igen tecknen i den tryckta texten utan behov av programmering uttryckligen ange vad text är, eller hur det kan se ett visst ansikte i en folkmassa efter att ha sett flera bilder av samma ansikte.
Som ett neuralt nätverk problemet blir linjärt bredare — till exempel, att skilja en form av skriven text från en annan-de data som krävs för att träna den växer exponentiellt större. Det är ett giltigt argument att vissa av de uppgifter som föreligger för neurala nät, som spotting när någon blir deprimerad eller orolig, kanske omöjligt, även med dagens lagring och minne teknik. Så uppenbarelser av forskare som kemiska strukturer som består av helt slumpmässiga sammanställningar av nanometer-skala kablar kan uppvisa de elektriska egenskaperna i minnet i en hjärna kanske inte fortsätta att avsättas för mycket längre.
“Jag vill skapa en syntetisk hjärna som,” skrev Dr James K. Gimzewski i oktober 2012 [PDF]. “Jag vill skapa en maskin som tänker, en maskin som har fysisk intelligens. . . Ett sådant system inte existerar och lovar att orsaka en revolution man skulle kunna kalla den post-human revolution.”
Även Denna miljon-core superdator inspirerad av den mänskliga hjärnan bryter alla regler
Det är saker så mycket science fiction som nyligen, sci-fi författare som har styrt bort från ämnet, av rädsla för att komma ut låter som en regummering — eller en regummering av en regummering — av Isaac Asimov. Den mekanism som föreskrivs av Dr Gimzewski och hans kollegor vid California Nanosystem Institute of UCLA är, konstigt nog, inte en digital processor och inte, i samband med modern elektronik, en halvledare. Det är det inte, åtminstone för nu, om programmering.
Frågan i hjärtat av laget och forskning är denna: Om den process som utgör naturliga minnet är, åtminstone på atomär nivå, i huvudsak mekanisk, då i stället för att bygga en digital simulering av denna mekanism, och varför inte utforska bygga en verklig maskin på samma atomär nivå som utför samma funktioner på samma sätt? Uttryckt på ett annat sätt, om hjärnan är en atomär maskinen, så varför kan inte en atom maskinen vara en hjärna?
Neuroplasticitet
Tidigare på ZDNet, vi infört dig till begreppet neuromorphic computing, och kontrasteras det mot riket av digitala neurala nätet simulering. I konventionella simuleringar, den relativa styrkan av en “synaps” jämfört med andra synapser representeras av ett värde i minnet — eller, för att vara mer korrekt om detta, i RAM-minnet. En “lärd” mönster kan vikt synapsen, så att, när en bild matchar en att systemet har “sett” förut, den vägda synapse ges prejudikat, och “bränder” i en händelse liknande den elektriska impulsen av en synaps i hjärnan.
Någon neuromorphic arkitektur är ett försök att bygga upp ett system som faktiskt fungerar på det sättet, snarare än att simulera det digitalt. Vad konventionella halvledar-baserade datorer brist med avseende simulering av neurala aktivitet är, i brist på ett mer passande ord, skala. En 2013 forskningsprojekt ihopkoppling Tysklands Jülich Forskning Centrum och Japan RIKEN laboratorium, där RIKEN, s K superdator — snabbast på den tiden — framgångsrikt simulerade neural aktivitet som observerats i cirka 1 procent av en mänsklig hjärna i en sekvens som tog ca 40 minuter att köra. Det tog ytterligare fem år av algoritmisk resequencing innan att laget skulle presentera en metod som avskalad annars kompletterande neural aktivitet, att påskynda genomförandet av ungefär fem gånger.
På denna kurs, de bör kunna simulera neural aktivitet som krävs för en presidentkandidat tweet med ca 2050.
Dr. Gimzewski s uppenbarelse — inspirerad av hans arbete under de senaste decennierna, inte bara med Intel men med kollegor i fysik och kemi, inklusive en nobelpristagare eller två — är att de strukturer som produceras naturligt genom kemiska reaktioner redan har beteenden som liknar de växlar (digital eller fysisk) som används för att simulera driften av synapser, särskilt i hur de bedriver el. De motsätter sig tillämpningen av de nuvarande, men med tiden, de motstå mindre-ett fenomen som är förknippade med aktiviteten i hjärnan när en individ uppfattas som lärande.
UCLA gruppens forskning är centrerad kring att utnyttja naturliga kemiska fenomen på atomär nivå som atomic växlar, och deras bevis är avslöjande att om de kemiskt framställda system behandlas som en naturlig minne (som den receptiva delarna av en hjärna som lagrar information), då de kommer att bete sig som en naturlig minne.
UCLA
“Om du tar en machine learning analogi, vi har ett nätverk, och vi har några ingångar och några utgångar. I sådana system, du har för att träna nätverket,” förklarade Gimzewski i en intervju med ZDNet Skala. “I ett konventionellt system, du har för att träna nätverket i och med att varje synaptic anslutning i systemet har en sak som kallas en” i vikt.’ Det är bara en siffra. Ju större vikt, desto starkare effekt.”
Lagen om utbildning i nätverket, till exempel genom att ge det mer prover av samma klass av data, till exempel inspelningar från en persons röst, eller bilder från en persons ansikte — ändringar vikter’ värden. I den mån dessa värden blir relativt hög, utvecklare säger att systemet är “att lära sig.” Ju större mängd möjligt, att lära sig enheterna i utbildning ställt in (till exempel flera människors ansikten), mer vikter är skyldiga att införa differentiering. Även idag, konventionella digitala superdatorer hitta inlärning av komplexa mönster från naturen svårt, och resultaten är mindre än optimalt.
I en neuromorphic system, dessa vikter är inte digital. De är produkter av atomic växlar — enheter som består av joner eller par av joner vars binära quantum attribut kan vara manipuleras till att en stat eller det andra. De är som binära siffror eller bitar, men i det här fallet, de är inte elektronisk. En atomic-switch kan “tillverkas” åtminstone i en mening, genom att direkt tvinga ett par av kovalent bindning (bundna tillsammans) joner för att byta positioner med varandra, med hjälp av en dynamisk kraft mikroskop vars spets, som nålen på en atomär skivspelaren, är vässade till en atom bredd.
Men Gimzewski s atomic växlar inte gjort så mycket som odlas. Fortsätter det arbete som påbörjats av Prof. Masakazu Aono på Japans Internationella Center för Material Nanoarchitectonics (MANA), hans team kemiskt producerar nätverk som kretsar bildas av silver svavelväte nanotrådar. För att vara mer specifik, de behandlar ett nät av koppar, och inlägg som är stationerade en micron från varandra, med silvernitrat. Som ett resultat, nanotrådar växer från dessa inlägg, i helt slumpmässiga riktningar. Ett ord för att beskriva formen på dessa strukturer är dendritiska, som — inte en slump — används för att beskriva strukturen av synapser i hjärnan.
Efter dessa dendriter bildas, sulfurizing produkten möjliggör korsningar bildas där nanotrådar kontakt, att bli anslutningar. Gimzewski hänvisar till dessa anslutningar som synapser. På atomär nivå, dessa synapser beter sig som den simulerade synapser i en digital neurala nätverk, även om de är tekniskt, icke-elektroniska.
Du minns att, i en vanlig elektronisk krets, logiska grindar är i huvudsak växlar. Alla programmen är på sin lägsta nivå, sekvenser av logik. Delar av dessa sekvenser är omskrivningar, om du kommer, så vi kan styra trafiken med hjälp av mer bekväm, hög-nivå språk som Python, JavaScript, och Clojure utan att direkt varje enskild elektron med lite granskande lupp.
Men om du någonsin studerat ett järnvägssystem, du vet att enkelt växlar bestämma vägar att ta tåg. Om vi hävdar att det, precis som internet i sig självt, ett system som definieras av de rutter som det former, det är inte för bra för att hoppa av logik för att dra slutsatsen att ett sådant system som hjärnan är fysiskt består av nervceller, axoner och synapser som tillsammans utgör dess funktioner. Detta är attribut av hjärnan som neurologer kallar neuroplasticity. Tillämpas på en konstgjord enhet, till exempel en processor, en liknande attribut skulle vara möjligheten för enheten för att bygga på sig att uppfylla en ny funktion. Det enklaste sättet att uppnå detta attribut skulle ske genom en omfördelning av växlar.
Mänskliga påhitt
Att låtsas som fysiker och kemister är just nu kommer till den punkt att utnyttja naturliga processer för datoriserad eller matematiska ändamål, är att göra en orättvisa att de människor som gav upphov till datorer i första hand. Bland Charles Babbage intentioner för sin beräkning av motorn var att göra självklara uppfattningen att matematik var bara en mänsklig tolkning av en högre, gudomlig mekanism. Som Babbage skrev 1838:
Fotografi av Charles Babbage, ca 1850, i det offentliga rummet.
För att illustrera skillnaden mellan ett system som återställer sidan av sin contriver tillämpas, antingen regelbundet eller på avlägsna mellanrum, och en som hade fått på sin första formation de imponera på sina författare, att förutse de olika men ändå lagar som är nödvändiga för sin talan i hela dess existens, måste vi ha tillgång till vissa maskinen, producera mänsklig skicklighet. Men långt som alla sådana motorer får någonsin placeras i en omätlig intervall nedan den enklaste av Naturens verk, men ändå, från vidden av dessa cykler som även mänskliga påhitt i vissa fall utvecklar sig till vår uppfattning, vi kan kanske vara aktiverat för att bilda en svag uppskattning av storleken på det lägsta steget i kedjan av resonemang, som leder oss upp till Naturens Gud.
Arbetet med James Gimzewski team har visat att en mekanism för montering sig från den slumpmässiga fantasier av en kemisk process som kan uppvisa ett fenomen som vanligen förknippas med en digital simulering, vars avsikt är att bete sig som sak i naturen denna mekanism samtal, om än svagt, att tänka på: hjärnan är neocortex. Naturen kan imitera imitatör, och kanske på så sätt har de senaste skratta.
Men det är här som den professor som vill att vi ska ta det största steget i både tro och logik: en mental räckhåll för Babbagian proportioner. Att gå vidare med sin forskning, sökte han att modellen vad neurologer kallar neuropil — den största samlingen av synapser i hjärnan, samla otaliga nervtrådar tillsammans. Vid ett tillfälle, han uppskattade en syntetisk samtrafik med en densitet av en miljard per kvadratcentimeter, vilket är tätare än de kedjor av transistorer i moderna halvledare.
Detta neuronala “tyg” för att låna en term från dator-nätverk, är odlat kemiskt i vad Gimzewski kallar en “bottom-up” – process. Det är då som kopplas samman med en elektrod grid, som är en vanlig utrustning som består av 64, eller på tillfälle 128, koppar utgångar, konventionellt tillverkade från toppen och nedåt. Som gränssnitt gör det möjligt för en multi-elektrod avläsning, liknande hur neurologer scan för hjärnans aktivitet.
“I den typ av krets som vi producerar, beteendet hos en enskild del-i atomär switch, en enskild korsning — är inte så viktigt för oss. Det är det systemet för aktivitet för hela enheten, och hur det är rumsligt och tidsmässigt organiserad, att vi sysslar med.”
En verklig elektronmikroskop fotografi av en neuropil bildas av en dendritiska minne krets.
UCLA CNSI
De dendritiska nätverk som bildas av dessa självbyggande atomic växlar, Gimzewski hävdar, har antagit en typ av lärande-en modell som motsvarar på många sätt till vad ingenjörer av neurala nätverk (med hjälp av simulerade nervceller) ringa reservoar computing (RC).
Det är inte nödvändigtvis någon linjär korrelation mellan den sekvens av insignaler och de signaler som spelats in från utgångarna. Så, till exempel, en perfekt sinusvåg som används för inmatning inte skulle ge en sinusvåg i någon av utgångarna var för sig.
Vad händer ändå, konstaterar professor, av skäl som ännu inte är helt förklarlig, är att de dendritiska vägar visas att arbeta ut saker för sig själva. “När de är alla tillsammans, de börjar prata med varandra,” sade han. “På ett sätt, hela kretsar vaknar till liv, i en mening, i varje del av interagerar med alla andra delar. Och det finns vägar där vi kan skapa starkare neuromorphic anslutningar.”
Också: Vad är djupt lärande? Allt du behöver veta
I ett RC-nät, vikter är förknippade med produktionen lager, där resultaten är registrerade. “Sedan med en sak som kallas för linjär regression, vilket är konventionell beräkning, vi rekonstruera den vågform.”
Mening, alla utgångar tillsammans utgör en matris som en linjär regression kan användas, för att utvinna ett mönster rekonstruerade från ingångarna. Så om sinusvågor input, resultatet av den beräkningen skulle vara en sinusvåg, om en persons röst användes som indata, och en ljudsignal extrapolering av att rösten skulle visas i output.
Alltså ett nätverk av naturligt förekommande fenomen som vuxit organiskt, inte programmerad, kan behandlas som ett neuralt nätverk, och därmed som ett svar beter sig som en — inte en vanlig neurala nätet, tänker du, men den mest avancerade klassen i det nuvarande användning.
Hans extrapolering slutar inte där. Gimzewski går att korrelera beteende av hans neuropil nätverk med en verklig psykologi — en verklig teori om människans kognition. Den så kallade Multistore-Modellen är en teoretisk ram för mänskliga minnet, först föreslog 1968 av UCSD Kansler Emeritus Dr. Richard C. Atkinson och Indiana University cognitive science professor Dr. Richard M. Shiffrin. De delar upp minnet i tre strukturella komponenter: på kort sikt sensoriska lagring, relativt kort sikt “arbetsminne”, och långsiktiga, permanenta minne. Information som samlas in från sinnena färdas genom kortare sikt skeden mot den bestående staten, eller annars är tillåtet att förfalla och bli bortglömd.
Det var inte den väg de dendritiska nätverk kommer ihåg information som tvingat Gimzewski att dra denna korrelation med Atkinson-Shiffrin, utan snarare hur mänskliga-som det verkade när systemet glömmer det.
“Det är farligt att direkt korrelerar saker som,” det Här är en hjärna!”” professor erkände vid ett tillfälle. “Det är som uppvisar elektriska egenskaper som är mycket lika en funktionell MRI av hjärnan, som liknar de elektriska egenskaperna av neuronala kulturer, och även EEG-mönster. Vi kallar det själv-organiserade kriticitet, som är en hel vetenskap som är accepterade, mer eller mindre. Vissa människor kanske inte håller, men det är allmänt accepterat nu att hjärnan inte uppvisar en liknande elektrisk egenskap till vad vi har i våra kretsar, [som] är tämligen unik i termer av dess funktion. Vi försöker inte att göra en deterministiska system. Vi kommer låta systemet själv montera, och sedan iaktta vad den gör och att försöka lära sig från det.”
Reconnoiter
I min familj, det är en fras som dyker upp i samtal som går tillbaka till omkring 1973, när historikern Jacob Bronowski visades på NBC: s Today show för att diskutera sin bok, The Ascent of Man. Han förklarade att då-värd Frank McGee varför han trodde forntida civilisationer, såsom Maya, hade en djupare och mer exakt förståelse av rum och tid än under Renässansen, baserat på hans undersökningar av deras kalendrar. Orden yttrades första av McGee och hånade skamlöst av min mamma för tre decennier därefter, är denna: “Vad är det som har att göra med priset på te i Kina?”
Så att du kan växa som ett minne i en burk, sätt i den i en Radio Shack elektrod nätet kit, och få det att upprepa saker efter dig. Skulle att få slut på kriget i Vietnam?
Det är rättvist att säga att vi inte talar om ett system som, när de implanteras i en Galax S29 smartphone, skulle dra nytta av neuroplasticitet att göra sig själv till en Galaxy S30. Ur en rent praktisk synvinkel, Gimzewski team forskning visar vägen mot att ersätta konventionella, digital superdatorer på arbetsuppgifter som skulle kräva ett induktivt resonemang, med en helt ny typ av maskin. Det skulle vara en time-sharing-system, som etablerats genom ett moln eller moln-som service, och åtminstone i teorin, kan det vara långt mer ekonomiskt att köra och hantera.
Men i dag och under överskådlig framtid, det är som att staten i mitt sovrum 1973: vetenskapliga experiment.
“Om du såg själva enheten, och den är ansluten med en hel massa sladdar till maskiner som i princip är ansluten till datorn, som gör alla analyser”, sade professor, förtrycka ett par skratt. “Det är inte så att vi kan driva denna sak utan transistorer eller integrerade kretsar — vi kan inte… Det är bara en del av hela systemet. Det är egentligen inte bara hjärnan och inget annat.”
Också: De 10 mest efterfrågade AI jobb i världen TechRepublic
Men om hjärnan är som att UCLA laboratorium-en massa sladdar slängs ihop på måfå, som genom några omärklig process ihop de processer som vi kör bil, samtala, skriva långa artiklar, och skapa nya neuromorphic enheter — då Prof. Gimzewski är att föra oss alla till samma dörr av insikten att Charles Babbage och Jacob Bronowski lett till att vi (förutom, naturligtvis, Frank McGee). Om vi kan återskapa, ner till sista atomen, allt som innefattar den fysiska mänskliga systemet, och ändå kan vi sluta med bara en annan cloud computing tjänst, då måste det finnas någon betydande del vi saknar på vår checklista.
“Minne är vad vi är”, skrev Atkinson och Shiffrin nära 50-årsdagen av deras modal modell av minnet, “och vad som definierar oss som individer.” Om det är sant, då kan vi kanske vill se över frågan om vad det är vi verkligen är, när vi har framgångsrikt automatiserade processen av växande det i en glasburk.
Lär dig mer — Från CBS Interactive Nätverk
Vad neuromorphic engineering är och varför det utlöste en analog revolution av Scott M. Fulton, III, ZDNet
Intels neuro guru slår djupt lärande: “Det är faktiskt inte lära sig” genom att Tiernan Ray, ZDNet
AI chip unicorn som är på väg att revolutionera allt har datoriserad Graf i sin Kärna av George Anadiotis, ZDNet
Någon annanstans
Neuromorphic Atomic Byta Nätverk av James K. Gimzewski, Masakazu Aono, et al
Varför Initiera ett Neuralt Nätverk med Slumpmässiga Vikter? av Dr Jacob Brownlee, maskininlärning Mästerskap
ORNL Neuromorphic Arbete Föreslår Direkt Dator-till-Hjärnan Potential av John Russell, HPC Tråd
Instituto Cajal, Madrid
“Memory map” med i denna utgåva av ZDNet Skala var inspirerad av ritningar i Santiago Ramon y Cajal, som upptäckte de vägledande principerna för driften av nervceller i hjärnan. Han publicerade sina upptäckter tillsammans med original bläck ritningar, utnyttja sin kompetens som en konstnär — hjälp, många skulle säga idag, båda sidor av hans hjärna. För detta, Cajal tilldelades Nobelpriset 1906. Ovanstående är ett exempel på insamling av Instituto Cajal i Madrid och den här bilden i det offentliga rummet.
Relaterade Ämnen:
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem
Smarta Städer