| 26 November 2019 — 19:39 GMT (19:39 GMT)
| Onderwerp: Kunstmatige Intelligentie
“Veel van de goed gefinancierde, op grote schaal verloop-afdaling projecten uitgevoerd als een manier om het genereren van bombastische druk op de artikelen die misleidend suggereren dat de mens het niveau van de AI is misschien een paar jaar weg,” zegt Google wetenschapper François Chollet. “Veel mensen hebben een inzet van veel van deze illusie. Maar het is nog steeds een illusie.”
François Chollet, een wetenschapper in Google ‘ s artificial intelligence unit, is een lid van een nieuwe generatie van de pioniers in de machine learning. In 2015, hij introduceerde de wereld een application programming interface die is uitgegroeid tot enorm populair voor de uitvoering van diep leren netwerken, de zogenaamde Keras. Het wordt meestal gebruikt als een interface voor Google ‘ s TensorFlow kader. Het enorm vereenvoudigt de zaak van het monteren van neurale netwerken van de verschillende soorten.
Op die manier Chollet heeft geholpen in heel concrete manier om de vooraf aan de ontwikkeling en het testen van diep leren. Het lijkt misschien verwonderlijk dus, dat één van Chollet de brandpunten op het moment is de zeer grote foto van hoe om vooraf kunstmatige intelligentie verder dan alleen het krijgen van een beter op benchmarks.
Chollet niet helemaal tevreden met waar de AI is op het moment. “Veel van de goed gefinancierde, op grote schaal verloop-afdaling projecten uitgevoerd als een manier om het genereren van bombastische druk op de artikelen die misleidend suggereren dat de mens het niveau van de AI is misschien een paar jaar weg,” schreef Chollet in een communicatie met ZDNet in de e-mail. “Veel mensen hebben een inzet van veel van deze illusie. Maar het is nog steeds een illusie.”
ZDNet bereikt Chollet, nadat hij een paper gepubliceerd, drie weken geleden met een opmerkelijke kritiek van diep leren van de sterke en zwakke punten. Het papier, met de titel, Op de Maat van Intelligentie, stelt een nieuwe definitie van intelligentie, en materialen om wetenschappers te helpen bij het ontwikkelen van systemen die kunnen bereiken, genaamd de “Abstractie en Redeneren Corpus,” of ARC. ARC is een verzameling uitdagingen voor intelligente systemen, een nieuwe benchmark. Het idee is om te leiden van AI in de richting van “meer intelligente en menselijke kunstmatige systemen.”
Chollet identificeert als een van de belangrijkste beperkingen van de huidige diepe leren zijn obsessie met incrementele verbeteringen op smalle vaardigheden testen.
In plaats van boren op tests, ARC zou leiden tot het evalueren van systemen gebaseerd op hoe efficiënt ze zijn in het verwerven van vaardigheden. Een oplossing voor ARC, hij zegt, zou zijn een systeem dat is ontwikkeld “core knowledge priors,” brede informatie over de wereld, zoals object permanentie, maar verschillend van wat mensen terloops noemen “common sense.” Het doel groter zou zijn “generalisatie”, wat betekent, een mogelijkheid die een systeem om te slagen in gehouden-out, verborgen taken die zijn ontworpen om te worden opgelost met die priors.
Code voor ARC is geplaatst op GitHub.
Dit alles is “zeer speculatief,” schrijft Chollet in de papier -, en momenteel, “de beste van onze kennis, ARC niet benaderbaar is door een bestaande machine learning techniek,” schrijft hij.
ZDNet vroeg Chollet verschillende vragen over de inspanning, die hij antwoordde in geschreven vorm. De vragen en de antwoorden zijn hieronder afgedrukt in hun geheel.
In zijn schriftelijke antwoorden, Chollet beschrijft BOOG als een product van vijftien jaren van proberen te “‘het begrijpen van de geest.'” Hij was de laatste tijd geactiveerd, schrijft hij, door de “hokjesgeest” uitspraken dat hij hoorde gemaakt in het AI-veld, en een ahistoricity hij merkt in veel van de recente werk in reinforcement learning en dergelijke.
Ook voor: High energy: Facebook AI guru LeCun denkt AI ‘ s next frontier
Dergelijke systemen hebben een enorme vooruitgang geboekt en zijn waardevol, maar ze zijn niet de “end-all-worden-al,” schrijft hij. Diep leren gezocht naar gegevens uit het verleden en voert interpolatie, constateert hij. “Maar intelligentie als ik formeel definiëren in het papier moet zijn voorzien van een extrapolatie plaats van louter interpolatie.”
Chollet doel, schrijft hij, is “nudge onderzoekers zoeken op vragen die ze momenteel geen vraag, in het proberen van ideeën die ze normaal niet zouden nastreven.”
Chollet schrijft dat hij is enige vooruitgang geboekt in de richting van oplossingen voor ARC, en verwoordt de hoop dat anderen dat ook. Is het zo ver en leidde hem naar een “interessant en uniek onderzoek routebeschrijvingen.”
ZDNet: beschrijf in het kort hoe kwam je in de trein van denken die u gebracht gebouw ARC en het schrijven van de paper. Wat was uw intellectuele pad naar dit punt, maar die vraag voor u zin heeft?
Francois Chollet: Dit papier is mijn poging om op te schrijven en formalisering van de dingen die ik zeg al vele jaren, in gesprekken, in blogs of op Twitter, in persoonlijke gesprekken. Ik bedoel dat het bruikbaar nuttig voor anderen, niet slechts een verzameling van meningen — een formeel kader voor strikt uiten van bepaalde ideeën over generalisatie en intelligentie, en een concrete uitdaging voor anderen om op te nemen.
Ik heb geprobeerd om te “begrijpen” van de geest (in brede zin) als mijn primaire aandachtsgebied voor een lange tijd, in de afgelopen 15 jaar of zo. In eerste instantie heb ik kwam op vanuit het perspectief van de neuropsychologie en de ontwikkelingspsychologie. Ik stapte vervolgens in de richting van AI, in het bijzonder de “cognitieve ontwikkelingsstoornissen robotica,” dat is de AI subfield ik geïdentificeerd met als student aan de universiteit — bouwen van computationele modellen van de menselijke cognitieve ontwikkelingsstoornissen, soms fysiek belichaamd in robots of op zijn minst simulaties. In 2009 ben ik begonnen met werken op een vrij ambitieus algemene AI architectuur belde ik ONEIROS (Open-ended Neuro-Elektronische Intelligente Robot Operating System), dat heb ik gewerkt aan het voor een paar jaar voordat geleidelijk over te gaan tot andere dingen. Ik ben nu met een aantal van de ideeën uit het project als een basis voor het opbouwen van een ARC-oplosser. Algemene AI onderzoek was niet erg populair toen, dus op een bepaald moment moest ik pick-up verhandelbare vaardigheden en het krijgen van een baan. Het is een afleiding, maar ik heb nooit echt gestopt met denken.
Iets dat is een trigger voor mij om te schrijven deze ideeën is de hernieuwde interesse in het algemeen AI en reinforcement learning in de afgelopen paar jaar, en wat ik waarneem als een bepaalde bekrompenheid en ahistoricity in het vegen van uitspraken die ik heb gehoord over hem. Veel van deze paper is om de broodnodige context en aarding aan de discussie, en het inlijsten van zaken in een historisch perspectief. Voordat u start met het bedenken van het vegen van de antwoorden, die u nodig hebt om te weten wat de juiste vragen zijn en waar deze vragen vandaan komen.
Een model van hoe een intelligent systeem kan worden opgezet, volgens Chollet.
F. Chollet, Op het Meten van Intelligentie.
ZDNet: Hoe hoop je dat de internationale gemeenschap van onderzoekers zal ontvangen ARC? Wat zijn je doelen voor het, vooral gezien de vermelding van het hebben van AI wedstrijden? Is de “hypothetische ARC oplosser” een onmiddellijke doel?
FC: Het doel is om de nudge-onderzoekers zoeken op vragen die ze momenteel geen vraag, in het proberen van ideeën die ze normaal niet zouden nastreven. Ik wil mensen om te kijken naar ARC en vragen, wat zou het duren voor het oplossen van deze taken? De prestaties van bestaande technieken op het ARC is in principe nul, terwijl de mens dit kunnen oplossen zonder voorafgaande training of uitleg, dus dat is een grote rode neon zeggen dat er iets aan de hand is en dat we er behoefte is aan nieuwe ideeën. ARC dienen zowel als een maatstaf van de vooruitgang en als een bron van inspiratie.
Persoonlijk, ARC heeft al geleid mij naar interessante en vrij uniek onderzoek richtingen, en ik heb behoorlijke vooruitgang op te starten om het op te lossen, het hergebruik van oude ideeën die ik heb zijn te spelen met voor een lange tijd. Ik hoop dat dit zal binnenkort van andere mensen. Volledig oplossen ARC is waarschijnlijk niet binnen het directe bereik, maar BOOG als een AI challenge is op een niveau van conceptuele moeilijkheid waar betekenisvolle vooruitgang kan worden gemaakt juiste weg. Dat was één van de doelen: ARC zou zinloos zijn als het ware onmogelijk om het te benaderen. De ideale uitdaging is iets waar onze voorstelling begint om 0 — dat maakt het intrigerend en wijst op de nood aan frisse ideeën — maar al snel wordt het niet-nul-en dat is een teken dat het activeren aanzienlijke conceptuele vooruitgang.
Ook: Futuristische Tim O ‘ Reilly ziet een mens-computer symbiose groter dan AI
ZDNet: Wanneer zullen we weten of ARC is het hebben van een constructieve effecten? Betekenis, is er een meting van de impact ervan op de onderzoeksgemeenschap je verwachten of hopen te zien in de buurt – op de middellange termijn?
FC: ik weet niet hoeveel rente zal genereren in de eerste plaats. Maar ik ben redelijk hoopvol. Ik geef niet veel voor academische lopers van impact, zoals citaten, dus mijn persoonlijke gegeven van succes zal de snelheid waarmee de BOOG wordt opgelost. Als het opgelost is in een paar jaar, het was waarschijnlijk gebrekkig en niet uitdagend genoeg. Als onze prestaties is nog steeds in de buurt van nul op 10 jaar, de ARC zou zijn geweest van een geldige uitdaging, maar één die niet bevorderlijk is voor veel vooruitgang. Het zal succesvol zijn geweest als we zien een constante snelheid van betekenisvolle vooruitgang te boeken in een periode van meerdere jaren. En natuurlijk, als de ideeën en technieken die leiden tot deze vooruitgang eigenlijk generaliseren, dat is te zeggen, als ze uiteindelijk het vinden van nuttige toepassingen in de echte wereld-systemen. Pragmatisch, het meten van succes is uw uiteindelijke impact op de wereld, niet hoe veel u bij het vastleggen van de aandacht van de AI-onderzoekers en het algemene publiek.
ZDNet: Wat is de waarde van de bestaande werken op diep leren over het spectrum van de inspanningen van DeepMind het werk op AphaZero en AlphaStar de vele aanpassingen van de Transformator (bijv., BERT, GPT2, XLNet, enz.), vooral het gegeven punt op pagina 52 dat er geen bestaande diep leren systeem lijkt te kunnen oplossen ARC, en uw opmerking op pagina 55 over de mogelijke aanpassing van bestaande games of nieuwe testen? Zijn deze diep-learning systemen waardevol? Zijn ze misleid? Zijn ze verspilling van middelen die moeten worden besteed op een andere manier?
FC: ik zeggen dat dit veel, maar diep leren is enorm waardevol. Wat diep leren doet is het in kaart brengen van een input-ruimte X naar een doel ruimte Y, via een geometrische morphing, geleerd met behulp van grote hoeveelheden menselijke geannoteerde gegevens (of soms gegevens met automatisch gegenereerde annotaties). Zo diep leren is patroonherkenning, input-naar output-mapping gegeven een dichte bemonstering van een data-spruitstuk. Maar het is zeer goed in patroonherkenning.
Goed dit is een game-changer in zowat alle sectoren. Je kan het begrijpen als een manier om te coderen en te operationaliseren van bestaande menselijke abstracties, — voor het automatiseren van bekende oplossingen voor bekende problemen wanneer we in een positie om te verzamelen van een groot aantal voorbeelden. Dit opent de deur naar een hele nieuwe wereld van de automatisering. Dus om duidelijk te zijn, ik ga niet proberen af te zwakken de diepe betekenis van zijn goed in dit soort dingen. Ik heb jaren van mijn leven te werken aan diep leren. Ik heb het gezien leiden tot het oplossen van talloze problemen die we dachten dat onmogelijk op te lossen slechts een paar jaar geleden. Altijd met precies dezelfde basis recept.
Het zou echter een vergissing te denken dat de bestaande diep leren technieken vertegenwoordigen de einde-all-in-zijn-alle-AI. Door de bouw, door training, wat diep leren doet is het opzoeken van gegevens uit het verleden en het uitvoeren van interpolatie. Dit kan de uitvoering van de lokale generalisatie — op zijn best, de systemen robuust doen wat ze opgeleid om te doen, dat kunnen begrijpen wat ze hebben gezien, die kan omgaan met de aard van de onzekerheid die de makers hebben gepland. Maar intelligentie als ik formeel definiëren in het papier moet zijn voorzien van een extrapolatie plaats van louter interpolatie — het nodig heeft om een groot of zelfs extreme veralgemening, aan te passen aan onbekende onbekenden over vroeger onbekende taken. Intelligentie is niet curve-fitting.
Dit is iets dat diep leren is niet fundamenteel aangepast en de praktische resultaten van de afgelopen jaren geven deze weergave een doorslaand empirische bevestiging. Diep leren modellen zijn broos, zeer data-honger, en niet generaliseren buiten hun opleiding de distributie van gegevens. Dit is een onontkoombaar gevolg van wat zij zijn en hoe we ze trainen. Ze kunnen op zijn best het coderen van de abstracties we expliciet trainen hen om te coderen, kunnen zij niet zelfstandig produceren van nieuwe abstractie. Ze gewoon niet hebben van de machines voor het-zoals verwacht een auto om te beginnen met vliegen als alleen het wiel zou draaien snel genoeg. Auto ‘ s kunnen erg handig zijn, maar als je denkt dat ze kan gaan en staan waar en zijn de enige auto die we ooit, je bent verkeerd.
In mijn mening, het is absoluut waar dat het een verspilling van middelen aan het bouwen zijn voor eenmalig gebruik, speciale doeleinden, multi-miljoen dollar AI systemen die het afspelen van video games bij bovenmenselijk niveau. Het is een gimmick. Het doel van het wetenschappelijk onderzoek dient te beantwoorden open vragen, voor het produceren van nieuwe technologie — in een woord, aan het genereren van nieuwe kennis die relevant is voor de echte wereld, de kennis die de generalisatie ervan. Het doel van het onderzoek mag niet worden voor het genereren van splashy koppen om indruk te maken op het publiek. Deze multi-miljoen dollar inspanningen die, naar mijn mening, niet leren ons iets, en niet in het produceren van herbruikbare artefacten die we kunnen gebruiken bij het oplossen van nieuwe problemen. De staat van onze kennis is gelijk aan de voltooiing van het project zoals het was toen het project begon.
Ik weet dat dit een zeer ketterse dingen te zeggen in het huidige klimaat, waar veel van de goed gefinancierde grootschalige verloop-afdaling projecten uitgevoerd als een manier om het genereren van bombastische druk op de artikelen die misleidend suggereren dat de mens het niveau van de AI is misschien een paar jaar weg. Veel mensen hebben een inzet van veel van deze illusie. Maar het is nog steeds een illusie.
Een voorbeeld van een test van de brede cognitieve vaardigheden, zoals Chollet bedenkt het, een test voor “objectness.”
F. Chollet, Op het Meten van Intelligentie.
ZDNet: Hoe moeten we afstemmen op uw bespreking van “priors” in deze paper in het verleden met de bespreking van de priors in de diepe leren, zoals, bijvoorbeeld, het idee dat windingen zijn een soort van “brede voorafgaande” onderliggende convolutional neurale netwerken? Is uw idee van priors aaneengesloten/compatibel met de opvattingen van priors, zoals beschreven in de geschriften van, bijvoorbeeld, Yann LeCun en Yoshua Bengio? (Cf., Lecun, Bengio, 2007, “Schalen van het leren van algoritmes, naar AI”, pagina 5, “De flat voorafgaande hypothese moet worden verworpen: wat bedrading moet eenvoudiger aan te geven (of vaker) dan anderen. In wat lijkt op een ongelooflijk gelukkig toeval, een bijzonder goed (als het niet de “juiste”) bedrading patroon gebeurt om één te worden met behoud van de topologie.”)
FC: ik ben eigenlijk aan het praten over de exacte dezelfde soort kennis priors. Convolution in deep learning staat voor de dubbele veronderstelling dat, als je een 2D grid van variabelen codering van visuele gegevens, eerste, dicht bij elkaar variabelen zijn meer kans te worden gecorreleerd dan ruimtelijk verre variabelen, en de tweede, ruimtelijke correlatie patronen zijn onafhankelijk van locatie (vertaling invariantie). Deze veronderstellingen zijn eigenlijk een subset van de objectness voorafgaand van Spelke de Kern van de Kennis-theorie.
In het algemeen, de bedrading topologie in de diepe leren codeert aannames over de structuur van de correlaties in de input-kruis-uitgang van de ruimte — over de vorm van de ruimte van de informatie. Een goede topologie kan drastisch verminderen de grootte van de zoekruimte en kan het verbeteren van de haalbaarheid van het vinden van goede input-output-toewijzingen via gradient descent (de grote vraag in de diepe leren is niet zozeer of uw zoekopdracht ruimte omvat configuraties voor het oplossen van uw probleem, maar of deze configuraties zijn learnable met een kleurverloop afdaling en de gegevens die je beschikbaar hebt). Dit maakt handelbaar problemen die onmogelijk zijn op te lossen als je niet voldoende veronderstellingen. Om te leren van gegevens, die u nodig hebt om veronderstellingen te maken over het. Deze veronderstellingen vormen “voorafgaande kennis over de externe wereld” dat hoort in dezelfde categorie van priors als Kern Kennis.
Ook: computing Een visionair kijkt verder dan vandaag AI
De traditionele theorieën van intelligentie organiseren van cognitie in niveaus, schrijft Chollet, dat kan belangrijke implicaties hebben voor de AI.
F. Chollet, Op de Maat van Intelligentie
ZDNet: Wat is de betekenis van stochasticity intelligentie? U hebt genoteerd in een proces kan worden stochastische in de verschillende gebieden van het intelligente systeem voor u beschrijven. Is stochasticity van essentieel belang om de principes van u heb geschetst, is het van marginaal belang/wegwerp? Waarom of waarom niet?
FC: De echte wereld en de echte intelligente agenten (zoals dieren of mensen) hebben veel factoren van onzekerheid, dus een model van de interactie moeten rekening houden met deze onzekerheid door het betrekken van toeval en waarschijnlijkheid. Maar dat is echt een detail. Het model van intelligentie ik heb voorgesteld in het papier kunnen worden geformuleerd met een deterministisch taken en deterministische intelligente systemen zonder wezenlijk te veranderen de aard van het model en de bijbehorende conclusies. Al zou dat een heel stuk minder realistisch en heel wat minder algemeen.
ZDNet: Is er een waarde aan een achtervolging van intelligentie, die niet het volgen van een ‘antropocentrische focus” als je het op pagina 24? Sommige niet-menselijke intelligentie?
FC: Oh, absoluut. Ik denk dat intelligentie die sterk verschilt van onze eigen zou kunnen bestaan en zou de intrinsieke waarde. Maar we waarschijnlijk niet noemen het “intelligence” als het niet relatable. Het is een feit dat we alleen zin van andere geesten, of de waarde van hun cognitieve capaciteiten, relatief aan de onze. We hebben onlangs begon te merken dat de dieren intelligent zijn alleen het gevolg van de manieren hun gedrag lijken op het menselijk gedrag, vanwege het feit dat ze in staat schijnen te zijn om problemen op te lossen die wij van waarde. Als ze niet de mens-net als in ten minste een aantal manieren, zouden we niet eens *let op* — veel minder waarde — de rijkdom en de complexiteit van hun informatie-verwerking vaardigheden en hun aanpassing faculteiten. We zien geen bedrijven, markten, of de wetenschap, intelligent te zijn-maar ze kunnen gemodelleerd worden als intelligente systemen, en vaak hebben ze meer-dan-menselijke intelligentie in een zekere zin.
Een goede definitie van intelligentie moet blijven dicht bij wat mensen bedoelen als ze praten over intelligentie. En de mensen hebben een fundamenteel antropocentrische kijk op intelligentie. Dus ik denk dat het nodig is om expliciet te erkennen dit feit, in plaats van het gebruik van definities van intelligentie, die ogenschijnlijk streven naar universaliteit, maar dat impliciet het beschrijven van de menselijke cognitie en functioneren binnen een menselijke waarde-systeem.
Ook: AI-pionier Sejnowski, zegt alles over het verloop
ZDNet: Zou een systeem als Keras een andere vorm als u had het gebouwd vanaf wat je hebt hier beschreven, of, anders gevraagd, Is er een technologie artefact vergelijkbaar met Keras dat zou de output van de beginselen die u hebt met de hier beschreven?
FC: Gegeven wat ik heb geleerd van mijn pogingen op te lossen ARC, ik geloof dat er uiteindelijk softwaresystemen die pakket deze principes in een gemakkelijk te gebruiken manier voor ontwikkelaars om dit te beïnvloeden in hun eigen intelligente toepassingen. Er zal een Keras voor neuro-symbolische programma synthese. Een besturingssysteem voor de inlichtingendienst. Echter, dit is nog heel ver weg.
ZDNet: Met de trein en evaluatie test bestanden in JSON-vorm geplaatst op GitHub, kunt u er zeker van zijn dat de tests in de BOOG kan niet worden “gamed” als je dat? (Is dit de eigen test set waarin je schrijft?)
FC: Op dit moment is het onmogelijk om met zekerheid vertellen of ARC kan worden “gamed” of niet. Mijn eerste stap om deze vraag te beantwoorden zal het organiseren van een openbare wedstrijd rond ARC, met een monetaire stimulans, en zie wat er gebeurt. Als er sprake is van een niet-intelligente snelkoppeling op te lossen ARC, de kansen zijn dat een dergelijke competitie zou al snel aan het licht brengen.
De concurrentie zal gebruik maken van de privé test set — een volledig onbekende instellen van de ARC-taken. Dit garandeert dat de algoritmes die gebruikt worden in de competitie zal in staat moeten zijn om zelfstandig omgaan met nieuwe taken, in plaats van louter de registers van de mensenrechten uit het verleden gegenereerde oplossingen.
We zullen zien wat er gebeurt! We zijn pas net begonnen.
Verwante Onderwerpen:
Ontwikkelaar
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software
| 26 November 2019 — 19:39 GMT (19:39 GMT)
| Onderwerp: Kunstmatige Intelligentie