Skip to main content
Erschienen in:
Buchtitelbild

2019 | OriginalPaper | Buchkapitel

The Application of AlphaZero to Wargaming

verfasst von : Glennn Moy, Slava Shekh

Erschienen in: AI 2019: Advances in Artificial Intelligence

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

In this paper, we explore the process of automatically learning to play wargames using AlphaZero deep reinforcement learning. We consider a simple wargame, Coral Sea, which is a turn-based game played on a hexagonal grid between two players. We explore the differences between Coral Sea and traditional board games, where the successful use of AlphaZero has been demonstrated. Key differences include: problem representation, wargame asymmetry, limited strategic depth, and the requirement for significant hardware resources. We demonstrate how bootstrapping AlphaZero with supervised learning can overcome these challenges. In the context of Coral Sea, this enables AlphaZero to learn optimal play and outperform the supervised examples on which it was trained.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Australian Defence Force: Joint Military Appreciation Process (2016) Australian Defence Force: Joint Military Appreciation Process (2016)
2.
Zurück zum Zitat Genesereth, M., Love, N., Pell, B.: General game playing: overview of the AAAI competition. AI Mag. 26(2), 62 (2005) Genesereth, M., Love, N., Pell, B.: General game playing: overview of the AAAI competition. AI Mag. 26(2), 62 (2005)
3.
Zurück zum Zitat Silver, D., et al.: Mastering the game of Go with deep neural networks and tree search. Nature 529(7587), 484 (2016)CrossRef Silver, D., et al.: Mastering the game of Go with deep neural networks and tree search. Nature 529(7587), 484 (2016)CrossRef
4.
Zurück zum Zitat Silver, D., et. al.: Mastering chess and shogi by self-play with a general reinforcement learning algorithm. arXiv preprint arXiv:1712.01815 (2017) Silver, D., et. al.: Mastering chess and shogi by self-play with a general reinforcement learning algorithm. arXiv preprint arXiv:​1712.​01815 (2017)
5.
Zurück zum Zitat Tregenza, M.: Coral Sea 2042: Rules for the Maritime/Air Analytical Wargame (2018) Tregenza, M.: Coral Sea 2042: Rules for the Maritime/Air Analytical Wargame (2018)
6.
Zurück zum Zitat Pace, D.K.: Seminar gaming: an approach to problems too complex for algorithmic solution. John Hopkins APL Tech. Digest 12(3), 290–296 (1991) Pace, D.K.: Seminar gaming: an approach to problems too complex for algorithmic solution. John Hopkins APL Tech. Digest 12(3), 290–296 (1991)
9.
Zurück zum Zitat Campbell, M.S., Marsland, T.A.: A comparison of minimax tree search algorithms. Artif. Intell. 20(4), 347–367 (1983)CrossRef Campbell, M.S., Marsland, T.A.: A comparison of minimax tree search algorithms. Artif. Intell. 20(4), 347–367 (1983)CrossRef
10.
Zurück zum Zitat Edwards, S.J.: Forsyth-Edwards Notation. Portable Game Notation Specification and Implementation Guide (1994) Edwards, S.J.: Forsyth-Edwards Notation. Portable Game Notation Specification and Implementation Guide (1994)
11.
Zurück zum Zitat Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: Advances in Neural Information Processing Systems, pp. 1097–1105 (2012) Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: Advances in Neural Information Processing Systems, pp. 1097–1105 (2012)
12.
Zurück zum Zitat Lantz, F., Isaksen, A., Jaffe, A., Nealen, A., Togelius, J.: Depth in strategic games. In: Workshops at the Thirty-First AAAI Conference on Artificial Intelligence (2017) Lantz, F., Isaksen, A., Jaffe, A., Nealen, A., Togelius, J.: Depth in strategic games. In: Workshops at the Thirty-First AAAI Conference on Artificial Intelligence (2017)
16.
Zurück zum Zitat Botvinick, M., Ritter, S., Wang, J.X., Kurth-Nelson, Z., Blundell, C., Hassabis, D.: Reinforcement learning, fast and slow. Trends Cogn. Sci. 23, 408–422 (2019)CrossRef Botvinick, M., Ritter, S., Wang, J.X., Kurth-Nelson, Z., Blundell, C., Hassabis, D.: Reinforcement learning, fast and slow. Trends Cogn. Sci. 23, 408–422 (2019)CrossRef
18.
Zurück zum Zitat Hussein, A., Gaber, M.M., Elyan, E., Jayne, C.: Imitation learning: a survey of learning methods. ACM Comput. Surv. (CSUR) 50(2), 21 (2017)CrossRef Hussein, A., Gaber, M.M., Elyan, E., Jayne, C.: Imitation learning: a survey of learning methods. ACM Comput. Surv. (CSUR) 50(2), 21 (2017)CrossRef
Metadaten
Titel
The Application of AlphaZero to Wargaming
verfasst von
Glennn Moy
Slava Shekh
Copyright-Jahr
2019
DOI
https://doi.org/10.1007/978-3-030-35288-2_1

Premium Partner