Vad neuromorphic engineering är och varför det utlöste en analog revolution

0
194

Det finns ett antal typer och stilar av artificiell intelligens, men det finns en viktig skillnad mellan den gren av programmering som ser intressanta lösningar på relevanta problem, och den gren av vetenskap som söker för att modellera och simulera funktionerna av den mänskliga hjärnan. Neuromorphic computing, vilket omfattar produktion och användning av neurala nätverk, handlar bevisar effekten av någon uppfattning om hur hjärnan utför sina uppgifter-inte bara nå beslut, men memorera information och även kunna utläsa fakta.

Både bokstavligt och praktiskt, “neuromorphic” betyder “att ta form i hjärnan.” Nyckelordet här är “form”, främst på grund av att så mycket av AI-forskning handlar om att simulera, eller åtminstone att härma, den funktion i hjärnan. Konstruktion av en neuromorphic enheten innefattar utveckling av komponenter vars funktioner är analogt med att delar av hjärnan, eller åtminstone vad sådana delar som man tror att göra. Dessa komponenter är inte hjärnan-formade, naturligtvis, men som ventiler av ett konstgjort hjärta, att de inte uppfyller de roller av deras ekologiska motsvarigheter. Vissa arkitekturer gå så långt som att modellera hjärnan uppfattade plasticitet (dess förmåga att ändra sin egen form för att passa dess funktion) genom etablering av nya komponenter baserade på behoven hos de uppgifter som de är för närvarande kör.

Också: En neuromorphic, minne-centrerad, chip arkitektur

part-of-trees-and-undergrowth-by-van-gogh.jpg

Närbild av “Träd och Undervegetation” av Vincent Van Gogh, 1887. En del av samlingen av Van Gogh-Museet i Amsterdam. Fotografi i public domain.

Målen för neuromorphic engineering

Samtidigt bygga en sådan enhet som kan informera oss om hur sinnet fungerar, eller åtminstone avslöja vissa sätt på vilket den inte gör det faktiska målet för en sådan strävan är att producera en mekanism som kan “lära sig” från sina ingångar på ett sätt som en digital dator komponent kanske inte kan. Payoff kan vara en helt ny klass av maskinen klarar av att vara “utbildad” för att känna igen mönster med betydligt mindre resurser än en digital neurala nätverk skulle kräva.

“En av de mest tilltalande attribut av dessa neurala nätverk är deras portabilitet till låg effekt neuromorphic hårdvara”, läser ett September 2018 IBM neuromorphic patentansökan [PDF], “som kan användas på mobila enheter och inbyggda sensorer som kan arbeta vid mycket låg strömförbrukning i real-tid. Neuromorphic beräkningar visar på en aldrig tidigare skådad låg-power-beräkning substrat som kan användas i många tillämpningar.”

Även om Google har varit en ledare i de senaste åren av både forskning och produktion av hårdvara som kallas tensor-processorer (TPU) särskilt avsedd för att neurala nätverk-baserade program, neuromorphic filial är ett helt annat djur. Specifikt, det handlar inte om utvärdering av alla uppgifter i form av diskreta numeriska värden, såsom skalor från 1 till 10, eller procent grader från 0 till 100. Dess utövare har ett mål i sikte än att lösa en ekvation, eller helt enkelt för att producera mer programvara. De syftar till att ge en kognition maskin — och en som kan leda tilltro till, om inte helt och hållet bevisa, att en rationell teori för hur det mänskliga sinnet fungerar. De är inte ute för att fånga kungen i sex steg. De är i det för att bygga mekanismer.

Också: AI chip unicorn som är på väg att revolutionera allt

Varför bry sig om att experimentera med neuromorphic mönster?

Ett neuralt nätverk i design och är vanligtvis representeras av en rad faktorer i minnet-som ofta kallas axoner, efter deras motsvarigheter i neurologi — att bli justerad, eller viktade svar på en serie av insatsvaror. Dessa vikter sägs att lämna ett avtryck, och det är detta intryck av att (förhoppningsvis) ett neuralt nätverk kan minnas när du blir ombedd att avslöja de gemensamma elementen bland de ingångar. Om detta intryck kan behandlas som ett “lärande” och sedan en liten neurala nät kan tränas till att känna igen bokstäverna i alfabetet efter en omfattande utbildning.

Proviantering ett neuralt nätverk modellen i en helt digital miljö kräver en enorm mängd data. En cloud service provider i en särskilt fördelaktig position att kapitalisera på detta krav, särskilt om det kan popularisera program som använder maskininlärning. Det är därför Amazon och andra är så glada över dessa dagar om AI: Som en kategori av uppgift, det är den största konsumenten av data.

Men du kanske har märkt något om mänskliga varelser: De har blivit ganska skicklig med bara hjärnan som de har, utan användning av fiberoptiska länkar till leverantörer av molntjänster. Av någon anledning, hjärnor är uppenbarligen klarar av att lära sig mer, utan den råa overhead av binär lagring. I en perfekt värld, ett neuralt net system bör vara kapabel att lära sig precis vad en ansökan behöver veta om innehållet i en video, till exempel, utan att behöva lagra varje ram av video i hög upplösning.

Sålunda, medan en neuromorphic dator skulle vara byggt på en ganska komplexa motor, en gång massproducerade, det kan bli en överraskande enkel maskin. Vi kan inte exakt växa hjärna i burkar ännu. Men om vi har en rimlig teori om vad som utgör kognition, vi kan syntetisera ett system som håller sig till de regler som gäller teori, kanske ger bättre resultat att använda mindre energi och som kräver en storleksordning mindre minne.

Forskning som inleddes 2012 mot att bygga arbetar neuromorphic modeller, ett team av forskare, bland annat California Nanosystem Institutet vid UCLA skrev följande [PDF]:

Även om aktiviteten hos enskilda nervceller uppstår storleksordningar långsammare (ms) än klockfrekvenser av moderna mikroprocessorer (ns), den mänskliga hjärnan i hög grad kan överträffa CMOS-datorer i en mängd olika uppgifter såsom bild erkännande, särskilt i fråga om utvinning av semantiska innehåll från begränsad eller snedvriden information, när bilderna presenteras på drastiskt beslut. Dessa funktioner är tänkt att vara ett resultat av både seriella och parallella samspelet över en hierarki av områden i hjärnan i en komplex, återkommande nätverk, där kopplingarna mellan nervceller leder ofta till feedback-loopar.

Också: Neuton: En ny, omvälvande neurala nätverk ramen för AI

Self-syntes

En verkligt neuromorphic enhet, dess utövare förklara, skulle innehålla komponenter som är fysiskt självbyggande. Specifikt, de skulle innebära atomic växlar vars magnetiska korsningar skulle skildra roll synapser, eller kopplingarna mellan nervceller. Enheter som innehåller dessa växlar skulle bete sig som om de var ursprungligen framtagen för de uppgifter de utför, snarare än allmänna ändamål datorer tar sina instruktioner från electronic program.

En sådan enhet skulle inte nödvändigtvis vara till uppgift att AI-program för att ha praktisk användning. Tänk dig en uppsättning av robot controllers på ett fabriksgolv, till exempel, vars marker kan strukturera egna växlar när de kände förändringar i de församlingar komponenter robotar håller på att bygga. Internet of Things är tänkt att lösa problemet med fjärrenheter behöver nya instruktioner för utvecklats uppgifter, men om dessa enheter var neuromorphic av design, de kanske inte behöver sakernas internet alls.

Neuromorphic ingenjörer har påpekat en brist i allmänna datorn chip design som vi sällan tar sig tid att begrunda: Som Moores Lag tvingade chip designers för att klämma in fler transistorer på kretsar, antalet förbindelser mellan dessa transistorer multiplicerat om och om igen. Från en teknisk synvinkel, är effektiviteten av alla tråd som används i de sammanlänkningar försämras med varje chip generation. Länge sedan stannade vi för att kunna kommunicera med alla logiska grindar på en CPU under en och samma klockcykel.

Hade chip design varit neuromorphic en eller två årtionden sedan, vi skulle inte behöva fördubbla antalet transistorer på ett chip var 12 till 18 månader för att uppnå resultat av att vi har sett-som blev allt mindre och mindre i alla fall. Om du anser att varje samtrafik som en sorts “virtual synapse,” och om varje synaps var utförda atomärt, chips skulle kunna anpassa sig till bästa servicen deras program.

Dessutom: Hur sakernas internet kan förvandla fyra industrier i år

Exempel på neuromorphic projekt

Idag finns det flera akademiska och kommersiella experiment pågår för att producera arbetar, reproducerbara neuromorphic modeller, bland annat:

spinnaker-at-univ-manchester.jpg

SpiNNaker [bilden ovan] är en låggradig superdator som utvecklats av ingenjörer med Tysklands Jülich forskningscentret Institutet för Neurovetenskap och Medicin, arbetar med den BRITTISKA Avancerad Processor Technologies Group vid University of Manchester. Dess uppgift är att simulera funktionerna så kallade kortikala mikrokretsar, om än i en långsammare tid omfattning än de skulle förmodligen fungera när de tillverkas. I augusti 2018, Spinnaker genomfört vad som tros vara den största neurala nätverk simulering för att datum, som omfattar ca 80 000 nervceller ansluten omkring 300 miljoner synapser.

180108-intel-ceo-krzanich-with-loihi.jpg

Intel är experimentera med vad man beskriver som en neuromorphic chip arkitektur, som kallas Loihi (lo · EE · hee). Intel har varit ovilliga att dela med dig av bilder som skulle avslöja delar av Loihi arkitektur, men baserat på vilken information vi har, Loihi skulle vara producible med hjälp av en form av samma 14 nm litografi tekniker som Intel och andra använder idag. Först tillkännagavs i September 2017, och officiell premiär följande januari på CES 2018 då-VD Brian Krzanich, Loihi är mikrokod inkluderar uttalanden som utformats speciellt för utbildning av neurala nät. Det är utformat för att genomföra en tillsatta neurala nätverk (SNN), vars modell lägger mer hjärna-liknande egenskaper.IBM håller en Neuromorphic Enheter och Arkitekturer som deltar i Projektet med nya experiment i analog beräkning. I en uppsats, IBM laget visat hur dess icke-flyktiga phase-change minne (PCM) snabbare feedback eller backpropagation algoritmen i samband med neurala nät. Dessa forskare är nu på jobbet avgöra om PCM kan användas i modellering syntetiska synapser, som ersätter den statiska RAM-baserade matriser som används i dess tidigare TrueNorth och NeuroGrid design (som inte var neuromorphic).

Dessutom: Varför Intel byggt en neuromorphic chip

Den tror, därför är det

Några av de viktigaste neuromorphic forskning inleddes 2002, och som svar på ett förslag av ingenjörer med italienska Fiat. De ville ha ett system som kunde svara för att föraren somnar vid ratten. Professor James K. Gimzewski av UCLA ‘ s California Nanosystem Institute (CNSI), svarade med att undersöka om en atom switch kan utlösas av minne tillstånd av förarens hjärnan. Här är där Gimzewski började sitt sökande efter en länk mellan nanoteknik och neurologi — till exempel, i den uppmätta skillnader i elektrisk potential mellan signalerna registreras av hjärnan, på kort sikt minne och de som registrerats av långtidsminnet.

Skiner ett ljus på den länk från en väldigt hög höjd är UC Berkeley Prof. Walter Freeman, som under de senaste åren har spekulerat om förhållandet mellan densitet tyg av hjärnbarken, och inte mindre än medvetandet i sig — den biologiska processen genom vilken en organism kan tryggt hävda att det lever och tänker. Freeman kallar det för tjockt tyg i neocortex, som utgör det organ av medvetandet neuropil, och medan Gimzewski design har en mycket mindre skala, han är inte rädd för att låna som koncept för dess syntetiska motsvarighet.

I och med 2014, Gimzewski premiär hans forskning, som visar fotografier av ett rutnät av koppar inlägg på nära-micron skala, som har behandlats med en silvernitratlösning. När utsatta för gasformigt svavel, silver atomer form av nanotrådar från punkt till punkt på grid-ledare som beter sig, åtminstone tillräckligt bra, som synapser. Enligt Gimzewski:

“Vi fann att när vi bytte dimension av koppar inlägg. Vi kunde flytta… mer nanowire strukturer, och det var på grund av det faktum att vi kan undvika en del problem som uppstår på större skala. Så kan vi göra med dessa mycket fina nanowire strukturer. Här kan du se, kan du ha mycket långa och korta. Och med hjälp av denna process av bottom-up-tillverkning, med hjälp av silicon technology, [i motsats till] top-down-tillverkning med hjälp av CMOS-process… sedan kan vi skapa dessa strukturer… Det är perfekt, och var och en av dessa har en syntetisk synaps.”

Den CNSI team tillverkningsprocessen är kapabel, Gimzewski påståenden, genom att sätta in 1 miljard synaptiska anslutningar per kvadratcentimeter. (I Mars 2017, Intel tillkännagav att man lyckats klämma 100 miljoner transistorer på en kvadrat-centimeter CPU dö.)

Också: Sydkorea att investera över $620 miljoner euro i nanotekniska R&D

Varför neuromorphic engineering kräver en ny klass av maskinen

Om du någonsin har spelat schack mot en app, du har lekt med en av de tidigaste och mest grundläggande former av AI: trädet. Liberal användning av ordet “beslut” och slutar upp att göra denna gren ljud alldeles för storslagen; i praktiken, det är extremt enkelt, och det har noll att göra med den form av hjärnan.

minimax-svg.png

Diagram över en minimax beslut träd av Nuno Nogueira. Släppt via Wikimedia Commons.

I huvudsak, ett beslut träd algoritm gäller numeriska värden för att bedömas möjligheter. Ett schackprogram utvärderar alla de möjligheter som it kan hitta, för rörelser och motverka rörelser och counter-counter-rör sig långt in i framtiden, och väljer att flytta med bästa taxeringsvärde. Ett schack-program kan skilja sig från de andra genom att värdet punkter attribut av den exponering eller fånga en viktig bit eller nedläggning av ett viktigt försvar.

Förmågan att kondensera dessa utvärderingar i automatiskt svar mönster kan utgöra vad vissa skulle kalla, åtminstone rudimentarily, en “strategi”. Anpassning som strategi för att förändra omständigheterna är vad många forskare skulle ringa lärande. Googles DeepMind enhet är ett exempel på ett forskningsprojekt som gäller rent matematisk logik för att uppgiften i machine learning, även detta exempel innefattar modellering svar till flera patienter hjärt-och lung beteende.

Också: Googles AI surfar “gamescape” att erövra spelteori

Nackdelen med determinism

Här är där allt kastar sin digital-age dräkt och tar på sig en mer fysisk, taktil, Jules Verne-esque atmosfär: Vi har en tendens att definiera en “dator” som nödvändigtvis digital, och allt som utför en beräkning uppgift som en digital komponent. Som neuromorphic vetenskap sträcker sig i arkitektur design och hårdvara, såsom processorer, forskare har redan insett att det finns delar av neuromorphology att, i likhet med quantum computing, kan inte modelleras digitalt. Slumpen, eller på annat sätt oförklarliga fenomen, är en del av deras modus operandi.

En viktig beteende som i huvudsak diskvalificerar en digital dator från att härma en ekologisk eller en subatomär enhet, är det mycket faktor som gör det så pålitlig redovisning: Dess determinism. Hela poängen med en digital dator program är att fastställa hur maskinen ska fungera, får en särskild uppsättning ingångar. Alla digitala programmen är antingen deterministiska eller om de är felaktiga.

Hjärnan hos en människa eller något djur som hittills studerats, är inte en deterministisk organism. Vi vet att nervceller är de viktigaste komponenterna i minnet, även om vi inte riktigt vet hur erfarenheter och sinnesintryck karta själva att dessa nervceller. Forskare har observerat, men att de funktioner genom vilka nervceller som “brand” (peak elektriska laddningar) är probabilistisk. Det vill säga, sannolikheten att någon neuron kommer brand, givet samma ingångar (förutsatt att de kan skapas på nytt), är ett värde lägre än 100 procent.

Varken neurologer eller programmerare är helt säker varför en mänsklig hjärna kan så lätt att lära sig känna igen bokstäver när de har så många olika typsnitt, eller att känna igen ord när folkets röster är så tydlig. Om du tror på hjärnan som om det var en muskel, det kan vara stress som förbättrar och stärker det. Ja, intellekt (det fenomen som uppstår ur sinnets förmåga att resonera) skulle kunna tolkas som en produkt av hjärnan anpassar sig till den information som sina sinnen slutsatsen från världen runt omkring det, genom att bokstavligen bygga nya fysiska material för att rymma det. Neurologer hänvisa till denna anpassning som plasticitet, och detta är en av de fenomen som neuromorphic ingenjörer hoppas att simulera.

intel-spiking-neural-networks.jpg

Diagrammet genom att Alish Dipani, frigörs genom Intel Developer Mesh.

Ett taggat neurala nätverk (SNN) skulle åstadkomma detta. I den biologiska hjärnan, varje neuron är ansluten till en mängd olika ingångar. Några ingångar producera excitation i neuron, medan andra hämmar den-som de positiva och negativa vikter i ett artificiellt neuralt nät. Men med en SNN, när den når ett visst tröskelvärde tillstånd som beskrivs av en variabel (eller kanske till och med en funktion), neuron är staten spikar, bokstavligen med hänvisning till dess elektriska utdata. Syftet med en SNN-modellen är att dra slutsatser från dessa toppar-för att se om en bild eller data-mönster utlöser ett minne.

Även Denna miljon-core superdator är inspirerad av den mänskliga hjärnan

Vad gör en neuromorphic chip mer analoga?

Det är en skola som hävdar, även om en sekvens av siffror är inte helt slumpmässigt, så länge som enheten dra slutsatser om att uppgifterna inte är informerade, kommer det ingen roll ändå. Alla neurala nätverk modeller som utvecklats för deterministiska system fungerar enligt denna presumtion.

neural-net-02tkm11.jpg

Scott Fulton III

Counter-argument är det här: När ett neuralt nätverk är initierad, dess “vikter” (determinanter av axoner ” värden) måste vara randomiserade. I den mån det är möjligt för ett slumpmässigt mönster för att vara liknande eller exakt till en annan, att mån måste tillskrivas som en inriktning, och att fördomar reflekterar negativt på något slutgiltigt resultat.

Dessutom: Nytt år, nya nätverk som forskare optimera AI

Varför riktigt, slumpmässighet frågor

Det är också detta: Elektromekaniska komponenter som kan vara i stånd att införa icke-deterministiska faktorer som inte kan simuleras i en helt digital miljö, även när vi sätter skygglappar på. Forskare vid Purdue University experimenterar med magnetiska tunnel korsningar (MTJ) — två magnetiska lager sandwiching en magnesiumoxid barriär. En elektrisk ström kan retas en magnetisk laddning i hoppning genom barriären mellan lagren. Ett sådant hopp kan vara analogt med en spik.

En MTJ uppvisar ett beteende som påminner om en transistor, bråkade elektroner över en klyfta. I detta fall, MTJ gör en arbetsfördelning där den mottagande magnetiska skikt spelar rollen av axon, och tunnel mellan skildrar en synaps.

Den resulterande relationen är verkligen mekaniska, där beteende avgifter kan beskrivas, precis som i verkliga nervceller, med hjälp av sannolikhet. Så alla fel som är resultatet av en slutledning process där MTJs, eller komponenter som dem, inte kommer att vara hänförligt till bias som inte kan hjälpas på grund av determinism, men i stället för fel som kan rättas till med rätt omsorg. För hela processen att vara pålitliga, initieras värden upprätthålls av nervceller måste verkligen vara randomiserade.

Också: Artificiell intelligens har en sannolikhet som är problemet

Målet mot neuromorphic

Naturligtvis, neurologer och biotechnicians tona ner någon neuromorphic computing-modellen som stannar väl kort för att simulera verkliga hjärnans aktivitet. Vissa går så långt som att säga att, att, i den utsträckning som komponenter av en neuromorphic system är ofullständiga, någon modell av design och den producerar är helt fantastisk.

Dr. Gerard Marx, VD, Jerusalem-baserade forskning företag MX Biotech Ltd., tyder på att den rådande bilden av hjärnan som ett slags oändlig tropisk regnskog, där träd av nervceller swing från synapser i den öppna breeze, det är en massa struntprat. Saknas någon sådan modell, som Marx påpekar, är ett ämne som kallas den extracellulära matrix (nECM), vilket inte är en gelatinös, neutral havet utan snarare som en aktiv agent i hjärnans recall.

Marx postulat som minne i den biologiska hjärnan kräver nervceller, nECM, plus en uppsjö av dopants som signalsubstanser (NT) släpptes ut i nECM. Elektrokemiska processer som sker mellan dessa tre element, den kemiska reaktioner från de som har inte bara noterats, men upplevs som mer i linje med känslor. Den fysiologiska effekter i samband med att hämta ett minne (t ex, höjt blodtryck, tyngre andning) utlösa psykiska effekter (spänning, rädsla, ångest, glädje) som i sin tur har en förstärkande effekt på minnet i sig. Skriver Marx med sin kollega Åke Gilon [PDF]:

Vi befinner oss i omvänd position om pojken som ropade: “kejsaren har inga kläder!” som vi utbrista: “Det finns inga “naken nervceller!” De är swaddled i nECM, som är multi-funktionell, eftersom det ger strukturellt stöd och är en hydrogel som genom vätskor och små molekyler diffusa. Det framträder också som ett “minne material,” som beskrivs av det system som identifierar NTs som kodare av känslor.

Detta är inte att säga neuromorphic datorer inte kan ge fördelar. Men om teorin är att det kommer att ge större fördelar utan att ta med alla andra delar av hjärnan hänsyn till, då Marx ‘ hållning är, dess utövare borde sluta låtsas vara hjärnan kirurger.

Även: stöd för Minnet: Virtuell Verklighet kan snart hjälpa dig att plugga för ett prov

När neuromorphic potential kan spika

Vid någon tidpunkt i historien, det finns en teoretisk gräns för processorkraften i en superdator — en punkt efter vilken ökar arbetsbördan ger något mer, eller något bättre, resultat. Denna gräns har knuffat fram i anfall och startar genom framsteg inom mikroprocessorer, bland annat genom införandet av Grafikprocessorer (tidigare bara grafikprocessorer) och Google design för TPUs. Men det kan finnas en gräns till gräns: s utvidgning, som Moores Lag fungerar bara om fysik ger dig utrymme att mindre skala.

Neuromorphic engineering pekar på möjligheten, om inte ännu sannolikhet, en massiv steg framåt i resultat, i form av en radikal förändring av vad det innebär att dra slutsatsen information från data. Som quantum computing, det bygger på en kraft i naturen som vi ännu inte förstår: I detta fall, den informativa effekt av buller. Om all forskning lönar sig, superdatorer som vi uppfattar dem idag kan komma att bli helt omoderna i några år, ersatt av servrar med syntetiska, själv-montering av nervceller som kan stoppas in i hallen garderober, frigöra hårddiskutrymme som används av mega-skala datacenter för, säg, solenergi.

Tidigare och relaterade täckning:

Vad är djupt lärande? Allt du behöver veta

Lowdown på djupt lärande: från hur det förhåller sig till de bredare fält av maskinen lärande genom hur man kommer igång med det.

Vad är AI? Allt du behöver veta

En verkställande guide till artificiell intelligens, från maskininlärning och allmänna AI att neurala nätverk.

Vad en kvantdator är, och varför det behöver vara mer

Det skulle vara budbärare av ett helt nytt medium för beräkning, utnyttja det oförklarliga krafter av subatomära partiklar till att utplåna hinder på tid för att lösa omöjliga problem. Din del i att göra det hända kan helt enkelt vara att övertyga dig själv om att svart är vitt och upp är ner.

Vad är sakernas internet? Allt du behöver veta

Internet of Things förklaras. Vad sakernas internet är, och om det händer härnäst.

Läs mer-Från CBS Interactive Nätet:

AI chip unicorn som är på väg att revolutionera allt
Varför Intel byggt en neuromorphic chip
En neuromorphic, minne-centrerad chip architectureThe uppgång, fall och uppgång av superdator i molnet eraThe djup-learning revolution: Hur förstå hjärnan kommer att låta oss överladda AI TechRepublicMöta den bisarra D&D varelser som gjorts av ett neuralt nätverk CNET

På andra håll:

En Sällsynt Titt i IBM: s True North Neuromorphic Chip av Nicole Hemsoth, Nästa Plattform
IBM, Intel Tänka Processor Mönster för att Rymma AI Arbetsbelastningar av Agam Shah, Ny Bunt
HBP Neuromorphic Computing-Plattform Guidebok, en ständigt uppdaterad resurs som publiceras via GitHub

Relaterade Ämnen:

Artificiell Intelligens

Digital Omvandling

CXO

Sakernas Internet

Innovation

Affärssystem