Ras en gender bias: Kan het gereinigd worden van AI?
Machine learning modellen zijn het maken van voorspellingen en het trekken van conclusies die toon alle tekenen van systemische afwijking. Scott Fulton bespreekt met Karen Forrest een heel moeilijk onderwerp: Als we het corrigeren van de ML gegevens, zal het nog bruikbaar? Lees meer: https://zd.net/2YVYkuD
Voor decennia, Hava Siegelmann heeft onderzocht of de buitenste regionen van computing met grote nieuwsgierigheid en een grote overtuiging.
De overtuiging is te zien in een geloof dat er vormen van computergebruik die verder gaan dan de ene die heeft gedomineerd zeventig jaar, de zogenaamde von Neumann machine, gebaseerd op de beginselen die zijn neergelegd door Alan Turing in de jaren 1930. Ze heeft lang gepleit voor het idee van een “Super-Turing” computers met nieuwe mogelijkheden.
En nieuwsgierigheid is te zien in verschillende vormen, met inbegrip van haar meest recente werk, op “neuromorphic computing,” een vorm van computing en dat kan meer benadert de manier waarop de functies van de hersenen.
Siegelmann, die in het bezit van twee afspraken, één met de Universiteit van Massachusetts in Amherst als professor of computer science, en één als programma manager bij het Defense Advanced Research Projects Agency, DARPA, ging zitten met ZDNet om te bespreken waar neuromorphic computing gaat de volgende, en de inzichten die zij teweeg kunnen brengen, kunstmatige intelligentie, in het bijzonder waarom AI slaagt en faalt.
Vandaag is diep leren vorm van AI, voor al haar prestaties, heeft ernstige tekortkomingen in Siegelmann s te bekijken.
“Er zijn veel problemen met diep leren,” zegt Siegelmann. “Je ziet de broosheid van het: Als deze wordt geconfronteerd met een nieuwe situatie, het niet weten wat te doen. Generalisatie is zeer dun met diep leren; alleen als de nieuwe gegevens heeft dezelfde statistische eigenschappen als de training en validatie van gegevens zal generalisatie werk.”
Hava Siegelmann
DARPA
Die kritiek van vandaag de AI is helemaal niet uniek is voor Siegelmann, maar haar pad naar de realisatie is een beetje verschillend van andere onderzoekers. In de bijna dertig jaar van gepubliceerd werk, Siegelmann heeft erop gewezen hoe de AI is zeer belemmerd door het beperkte karakter van de computers in die AI is gebouwd.
De von Neumann machine, geïnspireerd door de Turing ‘ s begin te schrijven op de “universele computers”, en door de studie van de neurofysiologie van Warren McCulloch en Walter Pitts in de jaren 1940, is gebaseerd op een programma dat is ontworpen en vervolgens op uitvoeren. Dat betekent dat de computer nooit aanpast, zegt Siegelmann.
En dat kan een goede basis voor intelligentie, omdat alle vormen van het leven in de echte wereld laten zien aanpassing aan een veranderende omgeving.
Ook: Neuromorphic computing vindt nieuw leven in machine learning
Een consistente rode draad in Siegelmann het werk is van de bewering dat Turing zich dit gerealiseerd. Siegelmann heeft geproduceerd zoiets als een geheime geschiedenis van Turing, waaruit hij was niet tevreden met de standaard digitale computer en werd het streven naar iets anders.
“Turing’ s echte passie — om te zoeken naar een meer geschikte machine voor het beschrijven van de natuur en intelligentie — is door bijna iedereen over het hoofd gezien,” Siegelmann schreef in 2013 papier, “Turing op Super-Turing en adaptivity.” De computer-industrie genegeerd Turing ‘ s fascinatie met de hersenen voor 70 jaar, zijn toevlucht te zoeken in plaats van gewoon bouwen wat betere versies van de digitale computer ontwerp hij zijn theorie in de jaren 1930.
Niemand minder dan Geoffrey Hinton, een van de drie winnaars van dit jaar is de ACM Turing Award voor lifetime achievement en een decaan van diep leren, lijkt het eens te zijn met Siegelmann over Turing, op zijn minst gedeeltelijk.
Als Hinton merkte in een interview in 2017, “ik denk dat in de vroege dagen, terug in de jaren’ 50, mensen zoals [Johannes] van von Neumann en Turing […] waren veel meer geïnspireerd door de hersenen. Helaas zijn ze beide overleden, veel te jong, en hun stem niet gehoord.”
Sieglemann overtuiging en nieuwsgierigheid heeft een schare van het werk de laatste tijd op zogenaamde spiking neural nets, een vorm van neuromorphic computing. Dergelijke netwerken van kunstmatige neuronen alleen het uitvoeren van werken als een stimulans maakt ze een piek in de elektrische potentiaal. Het gebied, voor het eerst bedacht door Caltech professor Carver Mead in de vroege jaren ‘ 80, is een obsessie voor bedrijven waaronder IBM voor een jaar, met weinig concreet resultaat.
Ook: AI is het veranderen van de hele natuur van berekenen
Chip gigant Intel heeft een langdurig project met de naam “Loihi” te maken stekelige netten levensvatbaar, hoewel sceptici in overvloed. Facebook is Yann LeCun, pionier van de ontwikkeling van convolutional neurale netwerken, heeft gezegd dat er geen levensvatbare manieren om te trainen spiking neural networks.
Siegelmann is zich bewust van de kritiek en gaat ermee akkoord, er zijn problemen, en teruggeschrokken afstand van spiking netten tot voor kort. “Ze zijn een beetje vast te zitten in een lokaal minimum,” zegt ze van spiking neuronen onderzoekers. “Ik weet niet waarom ze nog niet zijn brutaler bij het verkennen van nieuwe mogelijkheden,” zegt ze.
Als voor Siegelmann, haar redenen voor het verkennen van de stekelige, zijn tweeledig. “Is dat we altijd praten over neural computation, maar als we niet begrijpen hoe het werkt; en twee, als we willen berekenen aan de rand, met een minimale accu, stekelige neuronen kunnen beter werken voor dat uiteindelijk [dan die van kunstmatige neurale netwerken.].”
Siegelmann is ervan overtuigd dat er aanwijzingen te vinden over hoe de functies van de hersenen in de wijze waarop energie wordt beheerd in een systeem van spiking neuronen. “Het probleem van energie is de basis voor alles,” ze stelt.
“Het realistische paradigma’ s van de berekening vereisen afweging van middelen en energie is de belangrijkste beperking”, legt ze uit.
In Siegelmann ‘ s bekijken, stekelige neuronen in de standaard modellen zijn te gefixeerd op de piek in de energie die maakt dat een neuron bijdragen aan een output van het netwerk. Niet genoeg aandacht is besteed aan een andere factor, de remming van de spikes door concurrerende neuronen.
Remmingen zijn wat laten sommige signalen naar de stille andere signalen, om te voorkomen dat een constante lawine van neurale afvuren. “Spiking netwerken kan echter niet alleen prikkelen neuronen,” ze stelt.
In een papier in Mei van dit jaar, Siegelmann theorie dat neuronen in de eerste stadia van een stekelige netwerk concurreren met andere neuronen door het verzenden van “remmende” signalen. Dat papier, lood-geschreven door Daniel J. Saunders van het lab dat Siegelmann ingesteld bij U Mass., de Biologisch Geïnspireerd Neurale en Dynamische Systemen Laboratorium, bleek dat er iets belangrijks aan de hand met “lokale” clusters van neuronen. Het is iets wat niet in tegenstelling tot de “kronkels” in de convolutional neurale netwerk van machine learning, die leren kenmerken van gegevens op verschillende plaatsen in een steekproef door het hebben van signalen van dat gebied herhaaldelijk benadrukt in het netwerk. (Siegelmann deelgenomen aan het onderzoek bij U Mass., voor zijn komst naar DARPA in 2016, en het werk niet gerelateerd is aan haar werk voor DARPA.)
Ook: Chip wereld probeert te doorgronden zijn belofte en risico van AI
Deze lokaal verbonden spiking neural networks, zoals ze worden genoemd, kan nog niet concurreren met diep leren de beste resultaten, maar ze behouden de belangrijke aspecten van de “topologie” van neuronen in de hersenen, zegt Siegelmann. Remmende neuronen werken in concert met de zogenaamde “gliacellen cellen,” niet-neuronale cellen in het zenuwstelsel, een vorm van “energie zwembaden.”
Saunders, Patela, Hazana, Siegelmanna, Kozmaa, “Lokaal Aangesloten Spiking Neural Networks for Toezicht-Functie te Leren,” Mei 2019.
“Het gebruik van meer dan één soort remmer is van cruciaal belang voor het begrijpen van de hersenen-als dynamiek,” zegt Siegelmann. “Het maakt ontwikkelings-zelf-assemblage in kleine clusters,” een cruciale structurele functie links typische spiking neural nets.
Siegelmann is niet alleen in een nieuwe converteren naar spiking neuronen. Eerder dit jaar, Terry Sejnowski van het Salk Instituut in La Jolla, Californië, die is een pionier in machine learning en was een mentor, Geoffrey Hinton, samen met onderzoekers in zijn lab te publiceren onderzoek op de stekelige netten in die opleiding werd bereikt via een overdracht van de parameters van een gewone deep learning network. Sejnowski vertelde ZDNet hij is enthousiast over de mogelijkheden voor toevoeging van netten op de weg.
Ondanks haar kritiek op van diep leren, Siegelmann heeft geproduceerd werk dat kan verklaren waarom sommige van de resultaten. In 2015 papier in de Natuur tijdschrift genaamd “Het Mondiale Landschap van Cognitie,” Siegelmann en anderen in haar lab bleek dat de fMRI-gegevens, die modellen de bloedstroom in de hersenen, blijkt dat er een hiërarchie van hersenactiviteit, dat is niet in tegenstelling tot de opeenvolgende lagen van de activiteit van de diepe neurale netwerken die bijdragen aan een “verloop” van de hogere en hogere niveaus van abstractie.
In een paper uit dit Mogelijk, met de titel “Diep Neurale Netwerken Abstract is, Zoals de Mens,” Siegelmann gebouwd op dat 2015 het onderzoek, door te voorspellen hoe diep het leren van systemen uit te voeren op gevolgtrekking tests. “Onze bevindingen onthullen overeenkomsten in het onderliggende mechanisme van abstractie in DNNs en die in het menselijk brein,” schreef Siegelmann en collega ‘ s.
Ook: Intel neuro guru slams diep leren: ‘het is niet te leren’
Nog steeds is er de zeurende probleem dat diep leren is statisch: de gewichten niet aan te passen aan nieuwe gegevens in het wild. Die tekortkoming is een artefact, in Siegelmann de weergave van het feit dat machine learning is vervaardigd binnen de von Neumann machine, en het statische, programmeren beperkte model.
Die tekortkoming is het onderwerp van Siegelmann primaire werk bij DARPA, het “Lifelong Learning Machines” project, of “L2M,” onder de auspiciën van DARPA ‘ s Microsystems Technology Office. (Siegelmann heeft momenteel twee programma manager benamingen, met de andere wordt op de Informatie Innovation Office.)
“Een leven lang Leren is de volgende generatie van de AI,” zegt Siegelmann. Het grote probleem in de diepe leren, een deel van haar falen om zich aan te passen, is dat kunstmatige netwerken verliezen van het gewicht van de updates die eerder gevormd geleerd informatie, een fenomeen dat bekend staat als “catastrofaal te vergeten.” Het belangrijkste doel van L2M, zegt ze, “een systeem dat kan leren van de ervaring en het toepassen van ervaringen in de richting van de nieuwe omstandigheden, zodat het niet zo breekbaar.”
De gevolgen gaan verder dan alleen het verbeteren van de prestaties op de test-sets. DARPA heeft geïdentificeerd AI als een grens van cyber-aanvallen. Traditionele cyber-security verdediging zijn ontworpen voor vaste aanslagen, dingen zoals virussen en “ROP gadgets” die eenmaal geschreven en verspreid voor een specifieke soort van aanval. Maar AI broosheid aan nieuwe gegevens betekent diep leren netwerken kunnen worden geconfronteerd met een voortdurend veranderende dreiging omgeving in zogenaamde vijandige aanvallen.
Om die reden, Siegelmann houdt toezicht op een ander project, dit binnen de Informatie-Innovation Office, genaamd “het Waarborgen van AI Robuustheid tegen Bedrog” of de GARD. Als ze beschrijft het doel, “kan er een miljoen verschillende aanvallen, maar onze verdediging voldoende moeten zijn voor een aanval.” Een constructie zoals L2M kan worden de aard van de AI dat kan aanpassen, een waar “we denken over vormen van afweer, die in de tijd veranderen.” Een eerste bijeenkomst van de GARD is gepland voor December, waarvan de resultaten worden verwacht om ze voor een jaar later.
Verwante Onderwerpen:
Veiligheid
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software