AI en de kracht van negatief denken
Mike Amundsen, auteur, spreker, trainer en coach, vertelt Tonya Hall over zijn idee dat AI en negatief denken overlappen soms.
Weet je het antwoord op het volgende probleem in de rekenkunde?
Wat is de som van 1+1+1+1+1+1+1?
Als je zei: “zeven,” je hebt gelijk. En je bent ook beter in wiskunde dan de state-of-the-art diep leren neurale netwerken.
AI-onderzoekers uit de Google DeepMind deze week gepubliceerd onderzoek waarin geprobeerd is om te trainen van neurale netwerken voor het oplossen van fundamentele problemen in de rekenkunde, algebra en calculus. De soorten problemen waarop een student van de middelbare school zou worden meestal getest.
Maar de neurale netwerken niet al te goed tarief. Bovendien onjuist raden zes als het antwoord op de bovenstaande vraag, de neurale netwerken kreeg slechts 14 van de 40 vragen goed op een standaard test.
Dat is het equivalent van een E kwaliteit voor een zestien-jaar-oude in het Britse schoolsysteem, de onderzoekers opmerking.
Kortom, op dit punt, AI is het hebben van een vaste tijd echt het leren van een basis wiskunde.
Ook: Google DeepMind vraagt wat het betekent voor de AI om te falen
Het papier, “het Analyseren van Wiskundige manier van Redeneren van Neurale Modellen,” is gecreëerd als een benchmark test op die anderen kunnen bouwen aan het ontwikkelen van neurale netwerken voor wiskunde leren, vergelijkbaar met hoe ImageNet was als een image gemaakt erkenning benchmark test.
Het papier, geschreven door David Saxton, Edward Grefenstette, Felix Hill en Pushmeet Kohli van DeepMind, is geplaatst op het arXiv preprint server. (Zie ook de opmerkingen van revisoren op OpenReview.)
Het citeren opgemerkt neurale net criticus Gary Marcus van NYU, de auteurs verwijzen naar de beroemde “broosheid” van neurale netwerken, en pleiten voor een onderzoek naar waarom mensen zijn beter in staat om te presteren “discrete compositorische redenering over objecten en entiteiten, die ‘algebraically generaliseren’.”
Ze stellen een gevarieerde set van wiskundige problemen moet duwen neurale netwerken in het verwerven van een dergelijke redenering, waarin zaken als “Planning (bijvoorbeeld de identificatie van de functies in de juiste volgorde te componeren)” wanneer een wiskundig probleem heeft onderdelen die wel of niet associatief of verdelingstransacties of commutatief.
Inschaling op een curve: grafiek van prestaties van verschillende neurale netwerken op verschillende soorten vragen, met de beste nauwkeurigheid aan de top, voor vragen over de “waarde”, zoals dat aantal is in de “tientallen” plaats in een lang getal; en het ergste juistheid aan de onderkant, voor “basis conversie,” wat betekent, zetten een aantal van de base 2, laten we zeggen, op basis van 16.
DeepMind
×
deepmind-wiskunde-perfromance-van-lstm-en-transformator.png
“Het moet moeilijker worden voor een model om het goed te doen in een heel scala van probleem vormen (met inbegrip van de generalisatie, die hierna worden beschreven),” schrijven ze, “zonder het bezit van minstens een deel van deze vaardigheden die het mogelijk maken voor algebraïsche generalisatie.” Vandaar dat de data set.
De resultaten waren zo-zo. Bijvoorbeeld, terug naar de vraag aan het begin van dit artikel, basic bovendien is mislukt als de nummers van een hogere dan de eerste zes tellen van aantallen. De auteurs schrijven dat ze “het geteste modellen op toevoegen 1 + 1 + · · · + 1, waar de 1 zich voordoet n keer.
“Zowel de LSTM en Transformer modellen gaf het juiste antwoord voor n ≤ 6, maar een onjuist antwoord van de 6 voor n = 7 (schijnbaar ontbrekende één van de 1s), en andere onjuiste waarden voor n > 7.”
Waarom is dat? Zoals vaak het geval is met neurale netwerken, iets anders lijkt te gaan achter de schermen, omdat de netwerken in staat waren te goed doen bij het toevoegen van veel grotere getallen samen in een langere sequenties, zoals de negatieve 34 plus 53 plus negatieve 936, enz., de auteurs waargenomen.
“We hebben geen goede verklaring voor dit gedrag,” schrijven ze. Ze veronderstellen dat de neurale netwerken zijn het creëren van “sub-bedragen”, zoals zij het parseren van de vragen en werken op hen, en dat, wanneer zij falen, omdat ‘ de ingang ‘gecamoufleerd’ door bestaande uit hetzelfde nummer meerdere malen herhaald.”
In het algemeen, de neurale netten deed het best bij dingen zoals het vinden van de “waarde” in een lang nummer, als, laten we zeggen, het uitzoeken van de “tientallen” in een aantal zoals 9343012. Ze waren ook fijn bij de afronding decimale getallen en sorteren reeksen van getallen in de grootte orde.
Moet lezen
‘AI is heel, heel stom,’ zegt Google AI leider (CNET)Hoe krijg je al die Google Assistent van de nieuwe stemmen nu (CNET)Unified Google AI afdeling een duidelijk signaal van AI ‘ s toekomst (TechRepublic)Top 5: Dingen om te weten over AI (TechRepublic)
De moeilijkste problemen voor het systeem waren “aantal-theoretische vragen,” zoals de ontbinding, het afbreken van cijfers of andere wiskundige objecten in samenstellende delen en te vertellen als een getal een priemgetal is of niet. Maar mensen hebben moeite met die als goed, ze let op, het is dus geen verrassing. De andere problemen die de neiging om de stomp van de machine werden combinaties van “gemengde rekenen,” waar alle vier de activiteiten plaatsvinden. Er, de prestaties van het apparaat “daalt tot circa 50% van de” juistheid.
Waarom doet de computer goed doen als alleen toe te voegen of af te trekken, maar krijgt geen benul toen gevraagd om ze allemaal te doen?
“We speculeren dat het verschil tussen deze modules in de eerste kan worden berekend in een relatief lineaire/ondiep/parallelle wijze (zodat de oplossing methode is relatief makkelijker te ontdekken via gradient descent),” de auteurs muse, “overwegende dat er geen snelkoppelingen naar de evaluatie van gemengde rekenkundige expressies tussen haakjes.”
Al met al, op de middelbare school curriculum, een collectie van echte problemen, de auteurs noemen de netten’ E klasse “teleurstellend” en “matig” prestaties.
Zij concluderen dat terwijl de Transformator neurale netto bouwen ze beter presteert dan de LSTM variant “geen van de netwerken doen veel “algoritmische redenering,” en “de modellen niet leren te doen algebraïsche/algoritmische manipulatie van waarden, en in plaats daarvan leren relatief ondiepe trucs om het bekomen van goede antwoorden op veel van de modules.”
Nog, er is nu een set gegevens, en dat is een baseline, ze hopen op die anderen bij hen in de opleiding van meer soorten netwerken. De data set is eenvoudig uit te breiden, merken zij op, dat moet laten onderzoekers ga naar rechts tot aan universitair niveau wiskunde.
Hopelijk dan, neurale netwerken zal geleerd hebben toe te voegen afgelopen zes.
Vorige en aanverwante dekking:
Wat is AI? Alles wat je moet weten
Een executive gids voor kunstmatige intelligentie, van machine learning en algemene AI-neurale netwerken.
Wat is diep leren? Alles wat je moet weten
De lowdown op diep leren: van hoe het zich verhoudt tot het bredere veld van machine-leren door te zien hoe aan de slag met het.
Wat is machine learning? Alles wat je moet weten
In deze gids wordt uitgelegd wat ‘machine learning’ is, hoe het is in verband met kunstmatige intelligentie, hoe het werkt en waarom het belangrijk is.
Wat is cloud computing? Alles wat u moet weten over
Een introductie van cloud computing recht vanaf de basis tot IaaS en PaaS -, hybride -, public en private cloud.
Verwante artikelen:
Google AI surft op het “gamescape” te veroveren spel theorie
Dit is wat AI eruit ziet (zoals geschetst door AI)
Google DeepMind teams met toonaangevende 3D-game dev platform
DeepMind AI plekken vroege tekenen van de ziekte van het oog
Verwante Onderwerpen:
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software