Als je het nieuws op het gebied van kunstmatige intelligentie gaat volgen, kun je maar beter een exemplaar van een Engels woordenboek bij je hebben, en misschien ook een paar etymologische woordenboeken.
De huidige deep learning-vormen van AI zijn veelvuldig gebruik van gewone woorden die potentieel zeer misleidend kunnen zijn. Dat omvat de suggestie dat de machine daadwerkelijk iets doet wat een persoon doet, zoals denken, redeneren, weten, zien, zich afvragen.
Het nieuwste voorbeeld is een nieuw programma van DeepMind, de AI-eenheid van Google in Londen. DeepMind-onderzoekers onthulden donderdag wat ze PonderNet noemen, een programma dat een keuze kan maken over het verkennen van mogelijkheden voor een probleem of het opgeven.
DeepMind verwoordt deze oefening van de kant van de computer als “nadenken”, maar in werkelijkheid kan het net zo goed “beperk je verliezen” of “stop en vat vuur”, aangezien het eigenlijk heeft heeft weinig te maken met nadenken in de menselijke zin van die term, en veel meer met hoe een computer een taak voltooit.
Het programma, beschreven door wetenschappers Andrea Banino, Jan Balaguer en Charles Blundell, bevindt zich op een interessant kruispunt van neuraal netwerkontwerp en computeroptimalisatie.
Het programma draait helemaal om efficiëntie van computers en de afweging tussen efficiëntie en nauwkeurigheid. Zoals de auteurs het beschrijven, is PonderNet “een nieuw algoritme dat leert de hoeveelheid berekeningen aan te passen op basis van de complexiteit van het probleem.”
Ook: Google's Supermodel: DeepMind Perceiver is een stap op weg naar een AI-machine die alles kan verwerken
PonderNet verwerft het vermogen om zijn rekeninspanningen te verminderen als het lijkt dat de inspanning tot op een bepaald moment voldoende is voor het neurale net om een acceptabele voorspelling te doen. Omgekeerd kan het zijn berekeningen uitbreiden als dit betere resultaten kan opleveren.
Het programma balanceert enerzijds het diepgaande leerdoel van nauwkeurigheid bij benchmarktests tegen een waarschijnlijke veronderstelling dat verdere inspanning niet echt veel verschil zal maken.
Banino en collega's bouwden voort op het werk van een aantal onderzoekers door de jaren heen op gebieden zoals voorwaardelijke berekening. Maar hun meest directe invloed blijkt het werk te zijn van hun Google-collega Alex Graves.
Graves heeft een staat van dienst opgebouwd van interessante onderzoeken op het snijvlak van neuraal netwerkontwerp en computerbediening. Zo stelden hij en collega's enkele jaren geleden een “neurale Turing-machine” voor waarin de selectie van geheugen uit een registerbestand het resultaat zou zijn van een neurale netwerkberekening.
In het geval van PonderNet bouwen Banino en zijn team voort op het werk van Graves in 2016 over wat Adaptive Computation Time wordt genoemd. Het inzicht in dat artikel ligt op het gebied van menselijk redeneren, probleemstelling en oplossing zijn asymmetrisch. Een probleem kan soms heel weinig moeite kosten om te uiten, maar veel tijd om erachter te komen. Het is gemakkelijker om twee getallen op te tellen dan om ze te delen, hoewel het symboolbegrip er bijvoorbeeld bijna identiek uitziet.
Het klassieke voorbeeld, per Graves, is de laatste stelling van Fermat, zoals wiskundigen de notitie noemen die Pierre de Fermat maakte in de marge van een boek dat wetenschappers vervolgens drie eeuwen nodig hadden om te bewijzen.
Dus Graves bedacht een manier waarop een computer kan berekenen hoe lang hij moet “overdenken” over een voorspellingsprobleem, gezien de complexiteit van het probleem.
Ook: DeepMind's AlphaFold 2 onthult: windingen zijn uit, aandacht is binnen
Wat dat eigenlijk betekent, is hoeveel lagen van een neuraal netwerk moeten worden toegestaan voor het berekenen van een voorspelling. Een neuraal netwerkprogramma is een transformatiemachine: het vindt automatisch een manier om input om te zetten in output. Het aantal lagen kunstmatige neuronen waardoor invoer moet worden doorgegeven om met succes te worden omgezet in een nauwkeurige uitvoer, is een manier om de rekeninspanning te meten.
Nadenken betekent dus het variëren van het aantal netwerklagen, en daarmee de rekenkracht van het netwerk, om te beslissen hoe snel de computer het moet opgeven.
Zoals Graves schrijft,
In het belang van zowel de rekenefficiëntie als het leergemak lijkt het de voorkeur te verdienen om het aantal stappen waarover het netwerk elk 'overdenkt' dynamisch te variëren. invoer voordat u een uitvoer uitzendt. In dit geval wordt de effectieve diepte van het netwerk bij elke stap in de reeks een dynamische functie van de tot dusver ontvangen invoer.
De manier waarop Graves dat deed, is om aan het einde van een neuraal netwerk te koppelen wat een 'pover cost' wordt genoemd, een hoeveelheid rekentijd die men probeert te minimaliseren. Het programma voorspelt vervolgens de beste hoeveelheid rekenkracht om te stoppen met het berekenen van zijn voorspelling.
In navolging van Alan Turing's beroemde theorie van het 'stopprobleem', waarmee het computertijdperk begon, bestempelde Graves het deel van het programma dat berekent wanneer te stoppen op basis van de kosten de 'stopeenheid'. ”
Flash forward naar PonderNet. Banino en team nemen de zoektocht van Graves over en hun belangrijkste bijdrage is om opnieuw te interpreteren hoe ze moeten denken over dat laatste deel, de stoppende eenheid. Banino en team merken dat het doel van Graves te simplistisch is, in die zin dat het gewoon naar de laatste neurale netwerklaag kijkt en zegt: “dat is genoeg”, wat een niet erg geavanceerde manier is om rekenkosten te evalueren.
Dus komen de onderzoekers met wat ze een probabilistische benadering noemen. In plaats van alleen maar kosten aan het programma toe te voegen die het aanmoedigen om efficiënter te zijn, gebruikt de ontwikkeling van PonderNet een zogenaamd Markov-beslissingsproces, een toestandsmodel waarbij het programma op elke verwerkingslaag van het net berekent wat de waarschijnlijkheid is dat het tijd is om te stoppen met rekenen.
Ook: AI in zestig seconden
Het antwoord op die vraag is een beetje een evenwicht: nul kans op stoppen zou de standaard kunnen zijn, als de initiële lagen van een neuraal netwerk nooit eerder een effectief stoppunt zijn geweest; maar iets dichter bij één als uit ervaring blijkt dat er een drempel is overschreden waarbij meer rekenkracht zal leiden tot een afnemend rendement.
Zoals de auteurs het definiëren: “Tijdens de evaluatie bemonstert het netwerk stapsgewijs van de stoppende willekeurige variabele van Bernoulli […] om te beslissen of het doorgaat of stopt.”
Het bewijs is de pudding. Banino en collega's passen het apparaat toe op verschillende soorten neurale netwerken voor verschillende taken. De aanpak, schrijven ze, kan worden gebruikt voor tal van soorten machine learning-programma's, van eenvoudige feed-toward neurale netwerken tot zogenaamde zelfaandachtsprogramma's zoals Google's Transformer en zijn nakomelingen.
In hun experimenten ontdekken ze dat het programma de hoeveelheid berekeningen daadwerkelijk verandert om beter te presteren op een test. Opnieuw gaan ze terug naar Graves. Die paper stelde een zogenaamde pariteitstest voor. Voer in het programma een aantal cijfers in bestaande uit een willekeurig assortiment van nul, één en negatief één, en voorspel wat hun uitvoer is. Een heel eenvoudig neuraal netwerk, een met een enkele laag kunstmatige neuronen, zal in principe antwoorden vinden die vijftig-vijftig nauwkeurig zijn, een muntworp.
Met de mogelijkheid om de berekening te vergroten, deed het programma dat Graves en collega's hadden gebouwd het veel beter. En Banino en collega's vinden dat hun programma het nog beter doet dan dat. In het bijzonder, gegeven een groter aantal willekeurige cijfers, komt PonderNet tot de juiste som met hoge betrouwbaarheid, in tegenstelling tot wat door Graves en het programma van het team willekeurig begint te gissen.
“PonderNet was in staat om bijna perfecte nauwkeurigheid te bereiken bij deze harde extrapolatietaak, terwijl ACT [Adaptive Computation Time] op toevalsniveau bleef”, schrijven ze.
Edgar Allan Poe suggereerde geen optimalisatie toen hij in The Raven schreef “Once upon a middernacht somber, terwijl ik nadacht, zwak en moe.”
Onbekende auteur; Gerestaureerd door Yann Forget en Adam Cuerden
Je ziet een sleutelverschuiving plaatsvinden. Graves en team probeerden een grens op te leggen, een hoeveelheid efficiënt rekenbudget die een programma niet zou mogen overschrijden. Banino en team gaan in zekere zin de tegenovergestelde kant op: het instellen van rekenniveaus voor een programma kan herhaaldelijk op weg zijn naar verbeterde nauwkeurigheid.
Het resultaat van al deze fascinerende wetenschap is dat het een belangrijk hulpmiddel kan zijn voor diepgaand leren, het vermogen om op een rigoureuze manier voorwaarden toe te passen op hoeveel werk een programma moet doen om tot een antwoord te komen .
De auteurs wijzen op het belang voor het efficiënter maken van neurale netwerken. Het escalerende rekenbudget voor AI is genoemd als een belangrijk ethisch probleem voor het veld, gezien het risico om de klimaatverandering te verergeren. De auteurs schrijven: “Neurale netwerken […] vergen veel tijd, dure hardware en energie om te trainen en in te zetten.
“PonderNet […] kan worden gebruikt om de hoeveelheid rekenkracht en energie tijdens de inferentietijd te verminderen , waardoor het bijzonder geschikt is voor platforms met beperkte middelen, zoals mobiele telefoons.”
Interessant genoeg suggereren de auteurs ook dat PonderNet machine learning in de richting van “zich meer als algoritmen gedraagt, en minder als 'platte' mappings.” Die verandering zou 'zo kunnen helpen om deep learning-methoden zo goed mogelijk te ontwikkelen', beweren ze, enigszins cryptisch.
Hoe veelbelovend PonderNet ook klinkt, laat je niet misleiden door de naam. Dit is niet echt nadenken. Het woordenboek van Merriam Webster definieert het woord nadenken als 'in de geest wegen'. Ook worden de definities “nadenken over” en “overdenken” aangeboden.
Wat er ook gebeurt met mensen als ze zulke dingen doen, er lijkt geen kostenfunctie te zijn om te optimaliseren. Evenmin weegt een mens de kans op succes af als hij erover nadenkt, althans niet op de manier waarop een programma kan worden gemaakt.
Natuurlijk kan iemand de kamer binnenkomen, je aan je bureau zien, diep in gedachten, en enigszins geërgerd vragen: “denk je hier nog steeds aan?” Andere mensen hechten er een kostenfunctie aan, en berekenen de kans dat u uw tijd verspilt. De peinzende denkt alleen maar na.
De dichter Edgar Allan Poe legde een deel van de mysterieuze kwaliteit van de daad van nadenken vast – iets dat veel meer een ervaring is dan een proces, iets zonder een spoor van optimalisatie – in de openingszin van zijn gedicht The Raven: “Er was eens een sombere middernacht, terwijl ik nadacht, zwak en vermoeid.”
moet lezen
Ethiek van AI: voordelen en risico's van kunstmatige intelligentie
De toenemende schaal van AI verhoogt de inzet voor grote ethische vragen.
Lees meer
Verwante onderwerpen:
Ontwikkelaar Digitale Transformatie CXO Internet of Things Innovatie Enterprise Software 