Hoe goed de machines doen tegen mensen in competitieve situaties misschien niet de typische dingen die je zou verwachten, zoals reactietijd, maar eerder de mogelijkheid om het maximaliseren van goede keuzes door lange ervaring.
Dat is één van de kernpunten van de Dec. 19 match-up in de real-time strategy computerspel StarCraft II tussen een computer, AlphaStar, ontwikkeld door Google, tegen een menselijke kampioen, Polen Grzegorz Komincz, bekend door zijn gamer handvat MaNa.
Een blog post door de AlphaStar team donderdag onthult een aantal fascinerende inzichten over hoe dat December overwinning werd gemaakt. (Research paper is in het proces.)
AlphaStar terug kwam van veel verliezen in 2017 ronduit trounce MaNa door vijf games op nul in de December match. “Het eerste systeem te verslaan van een top [de mens] pro” als AlphaStar makers getweet op donderdag.
Ook: China ‘ s AI-wetenschappers leren een neuraal net naar de trein zelf
Screent vastleggen van AlphaStar spelen tegen het Team Liquid.
(Beeld: Google DeepMind/Blizzard Entertainment)
Het kritische verschil kan een strategie van opleiding AlphaStar die werkzaam nieuwe “meta-game” technieken voor het kweken van een meester-speler.
De machine is niet sneller dan de mens op het nemen van acties. In feite, het gemiddelde aantal acties in StarCraft II is 280 per minuut, “aanzienlijk lager dan de professionele [de mens] spelers.”
In plaats daarvan, zijn kracht lijkt te zijn met het bedenken van nieuwe strategieën of ongewone wendingen op de bestaande strategieën door het vergaren van kennis over de vele games. Google DeepMind team gebruikte een nieuwe “meta-game” benadering voor het trainen van hun netwerk, het opbouwen van een competitie van de spelers in de loop van duizenden en duizenden gelijktijdige training wedstrijden, en vervolgens selecteren van de optimale speler van de resultaten van elk.
Ook: MIT kunt AI “synthetiseren” computer programma ‘ s om de steun van wetenschappers gegevens
StarCraft II, de laatste in de StarCraft franchise van de Santa Monica-gebaseerde video game maker Activision-Blizzard, moeten spelers martial werknemers die zich verplaatsen door middel van een twee-dimensionale terrein, het verzamelen van grondstoffen zoals mineralen, bouw en montage van legers, te bereiken dominantie tegen andere spelers. Het spel voor het eerst uitkwam in 1998 en is een toernooi spel sinds die tijd.
Het is een broeinest van AI innovatie, omdat Google en anderen zien in het spel verschillende factoren die maken dat het veel moeilijker is dan een andere video-games en klassieke strategie spellen zoals Schaken of Go. Deze omvatten het feit StarCraft heeft een “fog of war” – aspect, in de zin dat elke spelers, waaronder de AI “agenten” ontwikkeld, hebben beperkte informatie omdat ze niet kunnen zien aspecten van het terrein waar hun tegenstanders kunnen hebben vooruitgang geboekt.
In 2017, wanneer Google DeepMind eenheid, en programmeurs bij Blizzard gepubliceerd hun eerste werk, ze schreef dat ze in staat waren om hun algoritmen om het spel te spelen “dicht bij expert menselijke spelen’, maar dat ze zelfs niet meer kon leren om te verslaan van de ingebouwde AI, dat schepen met StarCraft.
Een screenshot van hoe de AlphaStar model is te reflecteren op het spel, welke delen van het neurale netwerk afvuren op momenten in de tijd, strategieën is het voor gezien.
(Beeld: Google DeepMind/Blizzard Entertainment)
Het team likte hun wonden en kwam terug met een aantal vernieuwingen rond deze tijd. Een papier zal binnenkort worden gepubliceerd, volgens DeepMind oprichter en CEO Demis Hassabis.
In de kern, AlphaStar, zoals de 2017 versie, nog steeds is gebaseerd op een diepe leren van aanpak gemaakt van wat bekend staat als de recurrente neurale netwerken, of RNNs, die houden een soort geheugen van de vorige ingangen, die hen in staat stelt om voort te bouwen op de kennis vergaard in de loop van de training het neurale netwerk.
De auteurs echter, aangevuld met de typische “lange, korte-termijn geheugen,” of LSTM, neuraal netwerk met iets genaamd een “transformer”, ontwikkeld door Google Ashish Vaswani en collega ‘ s in 2017. Het is in staat om een “read hoofd” over de verschillende onderdelen van een neuraal netwerk te halen voordat gegevens selectief. Er zijn een hele hoop nieuwe dingen zoals dit.
Maar een van de meest provocerende manieren het spel plan veranderd is, is het opnemen van een aanpak voor ruimen van de beste spelers, de zogenaamde “Nash gemiddeld,” vorig jaar geïntroduceerd door David Balduzzi en collega ‘ s bij DeepMind. De auteurs merkten op dat neurale netwerken hebben heel veel redundantie,” wat betekent, “de diverse actoren, netwerken, algoritmen, omgevingen en taken die in principe dezelfde taak.” Vanwege dat, het Nash gemiddelde is in staat om selectief uitsluiten, of “ablate,” de ontslagen te onthullen fundamentele onderliggende voordelen van een bepaald AI “agent” voor het afspelen van een video spel (of een taak).
Een afbeelding van de Nash gemiddeld proces waarbij de ideale speler is gebouwd. “De laatste AlphaStar agent bestaat uit de componenten van de Nash distributie — met andere woorden, de meest effectieve mix van strategieën die zijn ontdekt.”
(Beeld: Google DeepMind/Blizzard Entertainment)
Als Balduzzi en collega ‘ s schreven in hun paper, “Nash evaluatie berekent een uitkering op spelers (medewerkers, of agenten en taken) die zich automatisch aanpast aan de redundante gegevens. Het is dus een invariant benadering tot het meten van agent-agent en agent-omgeving interacties.”
Nash gemiddeld werd gebruikt om te kiezen uit het beste van AlphaStar de spelers in de loop van de vele games. Als de AlphaStar team schrijven, “Een continue competitie werd gemaakt, met de agenten van de competitie – concurrenten – playing games tegen elkaar […] Terwijl een aantal nieuwe concurrenten bij het uitvoeren van een strategie die is slechts een verfijning van een vorige strategie, anderen te ontdekken drastisch nieuwe strategieën.”
Maar het is niet alleen de verkiezing van een speler die schijnt, de Nash proces is in feite het vervaardigen van een enkele speler die alle zekeringen van het leren en inzicht van de anderen. De laatste AlphaStar agent bestaat uit de componenten van de Nash distributie — met andere woorden, de meest effectieve mix van strategieën die zijn ontdekt.”
Moet lezen
‘AI is heel, heel stom,’ zegt Google AI leider (CNET)Baidu maakt Kunlun silicium voor AIUnified Google AI afdeling een duidelijk signaal van AI ‘ s toekomst (TechRepublic)
Sleutel is dat de opleiding van al deze concurrenten biedt iedere AI agent unieke doelen en doelstellingen, zodat het aantal mogelijke oplossingen om het spel verkend breidt gestaag uit. Het is een soort survival of the fittest van video games, met de spelers die niet aan de mensen die baat hebben bij de snelle evolutie in de maanden van het spel.
In de echo ‘ s van wat er gebeurd is met Ga, waar DeepMind de AlphaGo was in staat om het uitvinden van geheel nieuwe strategieën, champ MaNa wordt geciteerd als zeggende: “ik was onder de indruk om te zien AlphaStar pull off advanced beweegt en verschillende strategieën in bijna elke game, met een zeer menselijke stijl van gameplay zou ik niet verwacht hebben.”
Het zal interessant zijn om te zien, wanneer het papier uit komt, of, als Hassabis en collega ‘ s belofte, deze mash-up van verschillende machine learning technieken produceert dividenden in andere velden van onderzoek. Als ze schrijven in de post: “We geloven dat dit geavanceerde model zal helpen met vele andere uitdagingen in machine learning onderzoek die betrekking hebben op de lange termijn volgorde modellering en grote productie ruimten, zoals de vertaling, taal modellering en visuele voorstellingen.”
Vorige en aanverwante dekking:
Wat is AI? Alles wat je moet weten
Een executive gids voor kunstmatige intelligentie, van machine learning en algemene AI-neurale netwerken.
Wat is diep leren? Alles wat je moet weten
De lowdown op diep leren: van hoe het zich verhoudt tot het bredere veld van machine-leren door te zien hoe aan de slag met het.
Wat is machine learning? Alles wat je moet weten
In deze gids wordt uitgelegd wat ‘machine learning’ is, hoe het is in verband met kunstmatige intelligentie, hoe het werkt en waarom het belangrijk is.
Wat is cloud computing? Alles wat u moet weten over
Een introductie van cloud computing recht vanaf de basis tot IaaS en PaaS -, hybride -, public en private cloud.
Verwante Onderwerpen:
Digitale Transformatie
CXO
Het Internet van Dingen
Innovatie
Enterprise Software