Ras-och könsdiskriminering: Kan det bli renade från AI?
Modeller är att göra förutsägelser och slutsatser som visar alla tecken på systemisk påverkan. Scott Fulton diskuterar med Karen Forrest ett mycket svårt ämne: Om vi korrigera ML data, kommer det fortfarande att vara användbara? Läs mer: https://zd.net/2YVYkuD
I decennier, Hava Siegelmann har utforskat den yttre delarna av design och med stor nyfikenhet och stor övertygelse.
Domen visar upp i tron att det är en form av design som går utöver det som har dominerat under sjuttio år, den så kallade von Neumann-maskin, baserat på de principer som fastställs av Alan Turing på 1930-talet. Hon har länge kämpat begreppet “Super-Turing” datorer med nya möjligheter.
Och nyfikenhet dyker upp i olika former, bland annat hennes senaste verk, på “neuromorphic computing”, en form av datorer som kan närmare ungefärliga hur hjärnan fungerar.
Siegelmann, som håller två möten, ett med University of Massachusetts at Amherst, som är professor i datalogi, och ett som program manager på Defense Advanced Research Projects Agency, DARPA, satte sig ner med ZDNet att diskutera där neuromorphic computing går bredvid, och de insikter som det kan medföra om artificiell intelligens, och framför allt varför AI lyckas och misslyckas.
Idag är djupt lärande form av AI, för alla dess resultat, och har allvarliga brister i Siegelmann uppfattning.
“Det finns många problem med djupt lärande, säger Siegelmann. “Du ser skörhet i det: Om det presenteras med en ny situation, det kommer inte veta vad man ska göra. Generalisering är mycket tunn med djupt lärande, endast när nya data har samma statistiska egenskaper som utbildning och validering av data kommer att generalisering arbete.”
Hava Siegelmann
DARPA
Som kritik av dagens AI är inte på något sätt unik för Siegelmann, men hennes väg till att förverkliga är lite annorlunda från andra forskare. I nästan trettio år av publicerade arbeten, Siegelmann har påpekat hur AI är lamslagna av den begränsade karaktären av datorer där AI är byggd.
Von Neumann-maskin, inspirerad av Turings tidigt att skriva om “universal datorer” och genom studier av neurofysiologi av Warren McCulloch och Walter Pitts på 1940-talet, bygger på ett program som är utformat och sedan på kör. Det innebär att datorn aldrig anpassar sig, säger Siegelmann.
Och det kan inte vara en bra grund för intelligens, eftersom alla former av liv i den verkliga världen visar att anpassning till en föränderlig miljö.
Också: Neuromorphic design finner nytt liv i maskininlärning
En enhetlig tråd i Siegelmann arbete är det påstående som Turing själv insåg detta. Siegelmann har producerat något som en hemlig historia av Turing, som visar att han inte var nöjd med den grundläggande digital dator och strävade efter något annat.
“Turings sann passion-att hitta en mer lämplig maskin för att beskriva naturen och intelligens-har varit nästan överallt förbises,” Siegelmann skrev i ett 2013 papper, “Turing på Super-Turing och adaptivitet.” Datorindustrin ignoreras Turing ‘ s fascination med hjärnan för 70 år, tillgriper istället för att helt enkelt bygga något bättre versioner av den digitala datorn design han teoretiserade på 1930-talet.
Ingen annan än Geoffrey Hinton, en av tre vinnare av årets ACM Turing Award for lifetime achievement, och en dekan för djupt lärande, verkar hålla med Siegelmann om Turing, åtminstone delvis.
Som Hinton anmärkte i en intervju i 2017, “jag tror att i den tidiga dagar, tillbaka på 50-talet, människor som [John] von Neumann och Turing […] var mycket mer inspirerad av hjärnan. Tyvärr, de båda dog alltför ung, och deras röst inte hörs.”
Sieglemann övertygelse och nyfikenhet har tagit fram en uppsjö av arbete nyligen på så kallade tillsatta neurala nät, en form av neuromorphic computing. Dessa nätverk av artificiella neuroner endast utföra arbete när en stimulans som gör dem spik i den elektriska potentialen. Fältet, först utformades av Caltech professor Carver Mead i början av 80-talet, har blivit en besatthet för företag, inklusive IBM för år, med lite praktiska resultat.
Också: AI är att förändra hela karaktären hos beräkna
Chip jätten Intel har ett långvarigt projekt som heter “Loihi” att göra tillsatta nät livskraftig, även om skeptiker finns i överflöd. Facebook är Yann LeCun, som banat väg för utvecklingen av convolutional neurala nätverk, har sagt att det saknas fungerande sätt att träna tillsatta neurala nätverk.
Siegelmann är medveten om kritiken och håller med om att det finns problem, och dragit bort från tillsatta nät tills nyligen. “De är lite fast i ett lokalt minimum”, säger hon om att tillsätta neuron forskare. “Jag vet inte varför de inte har varit djärvare i att utforska nya möjligheter, säger hon.
För Siegelmann, hennes skäl för att utforska tillsatta två gånger. “Ett är att vi alltid prata om neurala beräkningar, men vi förstår inte hur det fungerar, och två, om vi vill räkna på kanten, med minimalt med batteri, tillsatta nervceller kan arbeta bättre för att, i slutändan [än artificiella neurala nätverk.].”
Siegelmann är övertygad om att det finns ledtrådar till hur hjärnan fungerar på det sätt som energi hanteras i ett system av tillsatta nervceller. “Frågan om energi är grundläggande för allt”, hävdar hon.
“Realistisk paradigm för beräkning kräver ersättning av resurser och energi är en av de ledande tvång”, förklarar hon.
I Siegelmann anser att tillsätta nervceller i standard modeller är för fixerade på spiken i en energi som gör en neuron bidra till en utgång från nätverket. Inte tillräckligt med uppmärksamhet är betalt till annan faktor, hämning av spikar genom att konkurrerande nervceller.
Hämningar är det tillåter vissa signaler att tysta andra signaler, för att förhindra en konstant lavin av neurala bränning. “Spetsades” med nätverk kan inte bara anta aktiverande nervceller,” hävdar hon.
I en rapport i Maj i år, Siegelmann en teori om att nervceller i de inledande stadierna av ett kraftigt nätverk konkurrera med andra nervceller genom att skicka “hämmande” signaler. Att pappers -, bly-författad av Daniel J. Saunders i labbet som Siegelmann ställa upp på U-Mass., den Biologiskt Inspirerade Neurala och Dynamiska System Laboratorium visade att det är något viktigt som händer med den “lokala” kluster av nervceller. Det är något som inte är till skillnad från “veck” i convolutional neurala nätverk av maskininlärning, som lär dig funktionerna av data på olika platser i ett data prov genom att ha signaler från ett område upprepade gånger betonat i nätverket. (Siegelmann deltagit i forskning i U-Mass., innan han kom till DARPA 2016, och arbetet är kopplad till hennes arbete för DARPA.)
Också: Chip världen försöker att komma till rätta med promise and peril of AI
Sådana lokalt ansluten tillsatta neurala nätverk, som de kallas, kan ännu inte konkurrera med djupt lärande bästa resultaten, men de bevara viktiga aspekter av “topologi” av nervceller i hjärnan, säger Siegelmann. Hämmande nervceller arbetar i samklang med vad som kallas “glia celler,” icke-neuronala celler i nervsystemet, som utgör “energi pooler.”
Saunders, Patela, Hazana, Siegelmanna, Kozmaa, “Lokalt Ansluten Tillsatta Neurala Nätverk för Ensamma Har Lärande,” Maj 2019.
“Användningen av mer än en typ av hämmare är av avgörande betydelse för förståelse av hjärnan-som dynamics”, säger Siegelmann. “Det gör det möjligt för utvecklande self-assembly i små kluster,” en avgörande strukturell har kvar av typiska tillsatta neurala nät.
Siegelmann är inte ensam om att vara en ny konvertera till tillsatta nervceller. Tidigare i år, Terry Sejnowski av Salk Institute i La Jolla, Kalifornien, som är en pionjär inom maskininlärning och var en mentor för att Geoffrey Hinton, gick med forskare i sitt labb för att publicera forskning på att tillsätta nät i vilket lärande har skett genom en överföring av parametrar från en vanlig djup lärande nätverk. Sejnowski berättade ZDNet han är entusiastisk över den potential för kraftigt nät på vägen.
Trots sin kritik av djupt lärande, Siegelmann har producerat ett arbete som kan förklara en del av dess resultat. I en 2015 papper i Naturen tidning som heter “Den Globala Landskapet av Kognition,” Siegelmann och andra i hennes labb visade att fMRI data, vilka modeller blodflödet i hjärnan, visar en hierarki av hjärnans aktivitet som inte är till skillnad från de olika lager av aktivitet djupt neurala nätverk som bidrar till en “lutning” med högre och högre nivåer av abstraktion.
I en uppsats från detta Kan, med titeln “Djupt Neurala Nätverk Abstrakt Som Människor,” Siegelmann bygger på att 2015 forskning, genom att förutsäga hur djupt lärande system prestera på slutsatser tester. “Våra resultat visar paralleller i den mekanism som ligger till grund abstraktion i DNNs och de i den mänskliga hjärnan,” skrev Siegelmann och kollegor.
Även Intels neuro guru slår djupt lärande: “det är inte lärande”
Fortfarande, det är den gnagande problem som djupt lärande är statisk: dess vikter behöver inte anpassa sig till nya uppgifter i det vilda. Att brist är en artefakt, i Siegelmann uppfattning, av det faktum att maskininlärning är tillverkade i von Neumann-maskin, och dess statiska, begränsade programmering modell.
Att brist är föremål för Siegelmann primära arbete på DARPA, “Livslångt Lärande Maskiner” – projektet, eller “L2M,” under ledning av DARPA: s Microsystems Technology Office. (Siegelmann för närvarande två program manager beteckningar, med den andra en som på den Information Innovation Office.)
“Livslångt Lärande är nästa generation av AI, säger Siegelmann. Det stora problemet i djupt lärande, en del av dess oförmåga att anpassa sig, är att konstgjorda nätverk kan förlora spår av vikt uppdateringar som tidigare utgjorde lärt sig information, ett fenomen som är känt som “katastrofala glömma.” Det huvudsakliga målet för L2M, säger hon, är “ett system som kan lära sig av erfarenhet, och tillämpa erfarenheter mot de nya förhållandena så att det inte är så skört.”
Konsekvenserna gå längre än att bara förbättra prestanda på test-apparater. DARPA har identifierat AI som en gräns av it-attacker. Traditionella it-säkerhet och försvar är avsedd för fast övergrepp, saker som virus och “ROP prylar” som skrivs en gång och distribueras i stort sett för en viss typ av attack. Men AI sprödhet till nya uppgifter innebär djupa lärande nätverk kan utsättas för ett ständigt skiftande hot mot miljön i så kallade öppna attacker.
Av den anledningen, Siegelmann övervakar ett annat projekt, ett inom den Information Innovation Office, som kallas “att Garantera AI Robusthet mot Bedrägeri” eller GARD. Som hon beskriver målet, “det kan finnas en miljon olika attacker, men vårt försvar bör vara tillräckligt för alla angrepp.” En konstruktion som L2M kan vara den typ av AI som kan anpassas, där “vi tycker om olika typer av försvar som förändras över tiden.” Ett första möte GARD är planerad till December, med resultat som förväntas för att förverkliga ett år senare.
Relaterade Ämnen:
Säkerhet
Digital Omvandling
CXO
Sakernas Internet
Innovation
Affärssystem