KI-Agenten haben Menschen bei vielen Spielen besiegt, von Schach über Go bis hin zu Poker. Jetzt können die Maschinen einen neuen Highscore in der klassischen Rennvideospielserie Gran Turismo erreichen.
Sony gab heute bekannt, dass seine Forscher einen KI-Fahrer namens GT Sophy entwickelt haben, der „zuverlässig übermenschlich“ ist – in der Lage, die besten menschlichen Fahrer in Gran Turismo Sport in aufeinanderfolgenden Runden zu schlagen. Sie denken vielleicht, dass dies eine einfache Herausforderung ist. Ist Rennsport schließlich nicht nur eine Frage von Geschwindigkeit und Reaktionszeit und damit für eine Maschine einfach zu beherrschen? Experten sowohl für Videospielrennen als auch für künstliche Intelligenz sagen jedoch, dass der Erfolg von GT Sophy ein bedeutender Durchbruch ist, da der Agent eine Beherrschung von Taktik und Strategie zeigt ”
„Menschen Fahrer in einem Kopf-an-Kopf-Wettbewerb so geschickt zu übertreffen, stellt einen Meilenstein für die KI dar“, schreibt der Stanford-Automobilprofessor J. Christian Gerdes in einem Leitartikel in der wissenschaftlichen Zeitschrift Nature, der einen Artikel begleitet, der die Arbeit beschreibt. „Der Erfolg von GT Sophy auf der Rennstrecke deutet darauf hin, dass neuronale Netze eines Tages eine größere Rolle in der Software automatisierter Fahrzeuge spielen könnten als heute.“
GT Sophy wurde mit einer Methode trainiert, die als Verstärkungslernen bekannt ist: im Wesentlichen eine Form von Trial-and-Error, bei der der KI-Agent ohne Anweisungen in eine Umgebung geworfen und für das Erreichen bestimmter Ziele belohnt wird. Im Fall von GT Sophy sagten die Forscher von Sony, dass sie diese „Belohnungsfunktion“ äußerst sorgfältig gestalten mussten: zum Beispiel die Feinabstimmung von Strafen für Kollisionen, um einen Fahrstil zu formen, der aggressiv genug ist, um zu gewinnen, aber nicht führt die KI schikaniert einfach andere Rennfahrer von der Straße.
Mithilfe von Reinforcement Learning konnte GT Sophy mit nur wenigen Stunden Training auf einer Rennstrecke navigieren und war „innerhalb von ein oder zwei Tagen“ schneller als 95 Prozent der Fahrer in seinem Trainingsdatensatz. Nach insgesamt rund 45.000 Trainingsstunden konnte GT Sophy auf drei Strecken übermenschliche Leistungen erbringen. (Für Gran Turismo Sport-Spieler waren die fraglichen Strecken Dragon Trail Seaside, Lago Maggiore GP und Circuit de la Sarthe.)
Eine häufige Sorge beim Testen von KI-Agenten gegen Menschen ist, dass Maschinen eine Reihe von angeborenen Vorteilen haben, wie perfekte Erinnerung und schnelle Reaktionszeiten. Die Forscher von Sony stellen fest, dass GT Sophy im Vergleich zu menschlichen Spielern einige Vorteile hat, wie eine genaue Karte des Kurses mit Koordinaten der Streckengrenzen und „präzise Informationen über die Belastung jedes Reifens, den Schräglaufwinkel jedes Reifens und anderen Fahrzeugzustand“. Aber sie erklärten, dass sie zwei besonders wichtige Faktoren ausmachten: die Aktionshäufigkeit und die Reaktionszeit.
Die Eingaben von GT Sophy wurden auf 10 Hz begrenzt, verglichen mit einer theoretischen maximalen menschlichen Eingabe von 60 Hz. Dies führte manchmal dazu, dass menschliche Fahrer bei hohen Geschwindigkeiten „viel flüssigere Aktionen“ zeigten, schreiben die Forscher. Bei den Reaktionszeiten konnte GT Sophy in 23–30 ms auf Ereignisse in der Spielumgebung reagieren, was viel schneller ist als die geschätzte Spitzenreaktionszeit für Profisportler von 200–250 ms. Um dies auszugleichen, fügten die Forscher eine künstliche Verzögerung hinzu und trainierten GT Sophy mit Reaktionszeiten von 100 ms, 200 ms und 250 ms. Aber wie sie herausfanden: „Alle drei dieser Tests erzielten eine übermenschliche Rundenzeit.“
GT Sophy wurde gegen ein Trio von Top-E-Sport-Fahrern getestet: Emily Jones, Valerio Gallo , und Igor Fraga. Obwohl keiner der Menschen die KI im Zeitfahren schlagen konnte, führten ihre Kämpfe dazu, dass sie neue Taktiken entdeckten.
„Es war wirklich interessant, die Linien zu sehen, wo die KI hingehen würde, es gab bestimmte Ecken, wo ich weit nach außen ging und dann zurückschnitt, und die KI ging immer rein herum, also habe ich viel über die Linien gelernt“, sagte die E-Sport-Fahrerin Emily Jones in einem Testimonial in der Zeitschrift Nature. „In Kurve 1 zum Beispiel bremste ich später als die KI, aber die KI kam viel besser heraus als ich und holte mich in die nächste Kurve. Das ist mir nicht aufgefallen, bis ich die KI sah und dachte: ‚Okay, das sollte ich stattdessen machen.'“
Sony sagt, dass es derzeit daran arbeitet, GT Sophy in zukünftige Gran zu integrieren Turismo-Titel, bot aber keinen Zeitplan an, wann dies passieren könnte.