Race og køn bias: Kan det være renset fra AI?
Machine learning modeller er at lave forudsigelser og konklusioner, der viser alle tegn på systemisk bias. Scott Fulton diskuterer med Karen Forrest et meget vanskeligt emne: Hvis vi rette ML data, vil det stadig være brugbar? Læs mere: https://zd.net/2YVYkuD
I årtier, Hava Siegelmann har undersøgt de yderste afkroge af design og med stor nysgerrighed og stor overbevisning.
Den overbevisning, der viser op i en tro på, at der er forskellige former for design, der går ud over den ene, der har domineret i halvfjerds år, den såkaldte von Neumann maskine, baseret på de principper, der er fastlagt af Alan Turing i 1930’erne. Hun har længe kæmpet begrebet “Super-Turing” computere med nye kapaciteter.
Og nysgerrigheden viser sig i forskellige former, herunder hendes seneste arbejde, på “neuromorphic computing,” en form for design, der kan mere tæt omtrentlige den måde, at hjernens funktioner.
Siegelmann, der holder to aftaler, en med University of Massachusetts i Amherst som professor of computer science, og et som program manager på Defense Advanced Research Projects Agency, DARPA, satte sig ned med ZDNet til at diskutere, hvor neuromorphic computing går ud, og den indsigt, der kan skabe kunstig intelligens, især hvorfor AI lykkes og mislykkes.
I dag er dybt læring form af AI, for alle sine resultater, har alvorlige mangler, i Siegelmann ‘ s mening.
“Der er mange problemer med dyb læring,” siger Siegelmann. “Du ser skørhed af det: Hvis det præsenteres for en ny situation, det vil ikke vide, hvad de skal gøre. Generalisering er meget tynd med dyb læring; kun når de nye data, har de samme statistiske egenskaber som uddannelse og validering af data vil generalisering arbejde.”
Hava Siegelmann
DARPA
Der kritik af dagens AI er ikke på nogen måde enestående for Siegelmann, men hendes vej til, at erkendelse er en smule anderledes fra andre forskere. I næsten tredive år publicerede arbejde, Siegelmann har påpeget, hvordan AI er hæmmet af det begrænsede omfang af de computere, hvor AI er bygget.
Von Neumann maskine, inspireret af Turing tidligt at skrive om “universal computere,” og ved undersøgelse af neurofysiologi af Warren McCulloch og Walter Pitts i 1940’erne, er baseret på et program, der er designet og derefter på kør. Det betyder, at computeren aldrig tilpasser sig, siger Siegelmann.
Og der kan ikke være et godt grundlag for intelligens, fordi alle former for liv i den virkelige verden viser, tilpasning til skiftende forhold.
Også: Neuromorphic computing finder nyt liv i machine learning
En sammenhængende tråd i Siegelmann ‘ s arbejde er i den påstand, at Turing selv indset dette. Siegelmann har produceret noget, som en hemmelig historie Turing, der viser, at han ikke var tilfreds med den grundlæggende digitale computer og kæmpede for noget andet.
“Turing’ s sande passion — for at finde en mere passende maskine til at beskrive natur-og intelligens-har været næsten universelt overset,” Siegelmann skrev i en 2013-papir, “Turing på Super-Turing og adaptivity.” Computer industrien ignoreret Turing ‘ s fascination af hjernen for 70 år, i stedet for at ty til blot at bygge noget bedre versioner af den digitale computer design han teoretiserede i 1930’erne.
Ingen andre end Geoffrey Hinton, en af tre vindere af årets ACM ‘ s Turing Award for lifetime achievement, og dekan for dyb læring, synes at være enige med Siegelmann om Turing, i det mindste delvis.
Som Hinton bemærkede i et interview i 2017, “jeg tror i de tidlige dage, tilbage i 50’erne, folk som [John] von Neumann og Turing […] var langt mere inspireret af hjernen. Desværre, de er begge døde alt for unge, og deres stemme var ikke hørt.”
Sieglemann ‘ s overbevisning og nysgerrighed har produceret en sværm af arbejde sidst på såkaldte tilsætte neurale net, en form for neuromorphic computing. Sådanne netværk af kunstige neuroner kun udføre arbejde, når en stimulus gør dem spike i det elektriske potentiale. Området, først udtænkt af Caltech professor Carver Mjød i begyndelsen af 80’erne, har været en besættelse for virksomheder, bl.a. IBM til år, med lidt praktisk resultat.
Også: AI er en ændring af hele naturen af compute
Chip-giganten Intel har et mangeårigt projekt kaldet “Loihi” at gøre tilsætte net levedygtig, selv om skeptikere bugne. Facebook ‘ s Yann LeCun, der var pionerer i udviklingen af convolutional neurale netværk, har sagt, at der ikke er nogen holdbare måder at træne tilsætte neurale netværk.
Siegelmann er opmærksom på den kritik og er enig i, at der er problemer, og veget tilbage fra at tilsætte nets, indtil for nylig. “De er en smule fast i et lokalt minimum,” siger hun til spiking neuron forskere. “Jeg ved ikke, hvorfor de ikke er blevet dristigere i at udforske nye muligheder,” siger hun.
Som for Siegelmann, sine grunde for at udforske tilsætte er to-fold. “Den ene er, at vi altid taler om neurale beregning, men vi forstår ikke, hvordan det virker, og to, hvis vi ønsker at beregne på kanten, med minimal batteri, tilsætte neuroner kan arbejde bedre for, at, i sidste ende [end kunstige neurale netværk.].”
Siegelmann er overbevist om, at der er spor til, hvordan hjernen fungerer på den måde, at energi er lykkedes i et system af at tilsætte neuroner. “Spørgsmålet om energi, der er grundlæggende for alt,” hun hævder.
“Realistisk paradigmer for beregning, kræve vederlag af ressourcemæssige begrænsninger, og energi er de førende tvang,” forklarer hun.
I Siegelmann ‘ s opfattelse, at tilsætte neuroner i standard modeller er alt for fikseret på den stigning i energi, der gør en neuron bidrage til et output fra netværket. Ikke nok opmærksomhed til en anden faktor, hæmning af pigge ved at konkurrere neuroner.
Hæmninger er, hvad der gør, at nogle signaler til at dæmpe andre signaler, for at forhindre en konstant lavine af neurale fyring. “At tilsætte netværk kan ikke påtage sig kun excitatoriske neuroner,” hun hævder.
I en artikel i Maj i år, Siegelmann teoretiseret, at neuroner i de indledende faser af en tilsætte netværk konkurrere med andre neuroner ved at sende “hæmmende” signaler. At papir -, bly-forfattet af Daniel J. Saunders i laboratoriet, der Siegelmann sat op på U Masse., den Biologisk Inspirerede Neurale og Dynamiske Systemer Laboratorium, viste, at der er noget vigtigt, der foregår med “lokale” klynger af neuroner. Det er noget, der ikke er i modsætning til “snoninger” i convolutional neurale netværk af machine learning, som lærer funktioner af data på forskellige steder i en data-prøve ved at have signaler fra, at et område, gentagne gange fremhævet i netværket. (Siegelmann deltaget i forskning i U Masse., før de kom til DARPA i 2016, og det arbejde, der er relateret til hendes arbejde for DARPA.)
Også: Chip verden forsøger at komme til livs med et løfte og faren for AI
En sådan lokalt tilsluttet tilsætte neurale netværk, som de kaldes, kan endnu ikke konkurrere med dyb læring bedste resultater, men de bevare vigtige aspekter af den “topologi” af neuroner i hjernen, siger Siegelmann. Hæmmende neuroner arbejder i harmoni med det, der kaldes “glia celler,” ikke-neuronale celler i nervesystemet, som udgør “energi swimmingpools.”
Saunders, Patela, Hazana, Siegelmanna, Kozmaa, “Lokalt Tilsluttet Tilsætte Neurale Netværk til Uovervåget Funktion Læring,” Kan 2019.
“Brug af mere end én slags-hæmmer er afgørende for forståelse af hjernen-som dynamik,” siger Siegelmann. “Det giver udviklingsmæssige samlesæt i små klynger,” en afgørende strukturelle træk til venstre ud af typiske tilsætte neurale net.
Siegelmann er ikke alene om at være en ny konvertere til at tilsætte neuroner. Tidligere på året, Terry Sejnowski af Salk Institute i La Jolla, Californien, som er en pioner inden for machine learning og blev en mentor til Geoffrey Hinton, sammen med forskere i sit laboratorium for at offentliggøre forskningsresultater på tilsætte net i hvilken læring, der blev opnået via en overførsel af parametre fra en almindelig dyb læring nettet. Sejnowski fortalte ZDNet han er begejstret for mulighederne for at tilsætte net ned af vejen.
På trods af sin kritik af dyb læring, Siegelmann har fremstillet arbejder, der kan forklare nogle af sine resultater. I 2015 papir i Nature magazine kaldte “Den Globale Landskab af Kognition,” Siegelmann og andre i hendes laboratorium viste, at fMRI data, som modeller blodgennemstrømningen i hjernen, afslører et hierarki af hjernens aktivitet, der ikke er i modsætning til hinanden følgende lag af aktivitet dybt neurale netværk, der bidrager til en “gradient” på højere og højere niveauer af abstraktion.
I et papir fra dette Kan, med titlen “Dybt Neurale Netværk Abstrakt Som Mennesker,” Siegelmann bygget på, at 2015 forskning, ved at forudsige, hvordan dyb læring systemer udføre inferens tests. “Vores fund viser paralleller i den underliggende mekanisme abstraktion i DNNs og dem, i den menneskelige hjerne,” skrev Siegelmann og kolleger.
Også: Intel ‘s neuro guru slams dyb læring: “det er ikke læring”
Der er dog stadig den nagende problem, at dyb læring er statisk: dens vægt ikke tilpasse sig de nye data i naturen. Denne mangel er en artefakt, i Siegelmann ‘ s opfattelse af det faktum, at machine learning er udformet i von Neumann-maskine, og dens statiske, begrænset programmering model.
Denne mangel er omfattet af Siegelmann ‘ s primære arbejde på DARPA, “Livslang Læring Maskiner” – projektet, eller “L2M,” under ledelse af DARPA ‘ s Microsystems Teknologi Kontor. (Siegelmann i øjeblikket har to program manager betegnelser, med den anden er på de Oplysninger, Innovation Office.)
“Livslang Læring” er den næste generation af AI,” siger Siegelmann. Det store problem i dyb læring, en del af dens manglende evne til at tilpasse sig, er, at kunstige netværk kan miste overblikket over den vægt opdateringer, der tidligere udgjorde lært oplysninger, et fænomen kendt som “katastrofal glemme.” Det vigtigste mål for L2M, hun siger, er “et system, der kan lære af de erfaringer, samt anvende oplevelser mod nye omstændigheder, så det er ikke så skørt.”
Konsekvenserne gå ud over blot at forbedre præstationer på test sæt. DARPA har identificeret AI som en grænse for cyber-angreb. Traditionelle cyber-sikkerhed, forsvar er designet til fast overfald, ting som virus og “ROP gadgets”, der er skrevet én gang og distribueres bredt efter en bestemt type angreb. Men AI skørhed til nye data betyder, dyb læring netværk kan stå over for et konstant skiftende miljø, hvor truslen i såkaldte fjendtlige angreb.
Af denne grund, Siegelmann fører tilsyn med et andet projekt, denne ene inden de Oplysninger, Innovation Office, kaldet “, der Garanterer AI Robusthed mod Bedrag,” eller GARD. Som hun beskriver det mål, “der kan være en million forskellige angreb, men vores forsvar bør være tilstrækkelig for enhver angreb.” En konstruktion som L2M kan være den form for AI, der kan tilpasse, hvor “vi tænker på typer af forsvar, som ændrer sig over tid.” Et indledende møde af GARD er planlagt til December, med resultater, der forventes at materialisere sig et år senere.
Relaterede Emner:
Sikkerhed
Digital Transformation
CXO
Tingenes Internet
Innovation
Virksomhedens Software