Skip to main content

2024 | OriginalPaper | Buchkapitel

Non-linear Reward Deep Q Networks for Smooth Action in a Car Game

verfasst von : Mohammad Iqbal, Achmad Afandy, Nurul Hidayat

Erschienen in: Applied and Computational Mathematics

Verlag: Springer Nature Singapore

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Das Kapitel befasst sich mit der Anwendung von Deep Arcement Learning (DRL) in einem Autorennspiel-Simulator, wobei der Schwerpunkt auf der Optimierung der Fahrzeugbewegungen liegt. Es führt nichtlineare Belohnungsfunktionen ein, um das Problem des unlogischen und aggressiven Fahrverhaltens zu lösen, das in traditionellen Tagfahrlicht-Modellen beobachtet wird. Die Autoren schlagen eine neuartige Belohnungsfunktion vor, die entfernungsbasierte Grid-Informationen einbezieht, um die Glätte von Aktionen im Auto zu kontrollieren. Das Kapitel diskutiert auch die Integration dieser Belohnungsfunktionen mit Deep Q Networks (DQNs) und Double DQNs und demonstriert verbesserte Leistung und sicherere Fahrstrategien. Durch umfangreiche Experimente und Vergleiche zeigen die Autoren die Effektivität ihres Ansatzes, Crashs zu reduzieren und das Fahrerlebnis in der simulierten Umgebung insgesamt zu verbessern.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Busoniu, L., Babuska, R., De Schutter, B., Ernst, D.: Reinforcement Learning and Dynamic Programming Using Function Approximators. CRC Press (2017) Busoniu, L., Babuska, R., De Schutter, B., Ernst, D.: Reinforcement Learning and Dynamic Programming Using Function Approximators. CRC Press (2017)
2.
Zurück zum Zitat Dai, B., Shaw, A., Li, L., Xiao, L., He, N., Liu, Z., Chen, J., Song, L.: SBEED: Convergent reinforcement learning with nonlinear function approximation. In: Dy, J., Krause, A. (eds.) Proceedings of the 35th International Conference on Machine Learning. Proceedings of Machine Learning Research, vol. 80, pp. 1125–1134. PMLR, 10–15 Jul 2018. https://proceedings.mlr.press/v80/dai18c.html Dai, B., Shaw, A., Li, L., Xiao, L., He, N., Liu, Z., Chen, J., Song, L.: SBEED: Convergent reinforcement learning with nonlinear function approximation. In: Dy, J., Krause, A. (eds.) Proceedings of the 35th International Conference on Machine Learning. Proceedings of Machine Learning Research, vol. 80, pp. 1125–1134. PMLR, 10–15 Jul 2018. https://​proceedings.​mlr.​press/​v80/​dai18c.​html
3.
Zurück zum Zitat Dlugosz, Z., Dlugosz, R.: Nonlinear activation functions for artificial neural networks realized in hardware. In: 2018 25th International Conference Mixed Design of Integrated Circuits and System (MIXDES), pp. 381–384 (2018) Dlugosz, Z., Dlugosz, R.: Nonlinear activation functions for artificial neural networks realized in hardware. In: 2018 25th International Conference Mixed Design of Integrated Circuits and System (MIXDES), pp. 381–384 (2018)
6.
Zurück zum Zitat Hasselt, H.V., Guez, A., Silver, D.: Deep reinforcement learning with double q-learning. In: Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence (AAAI’16), pp. 2094–2100. AAAI Press (2016) Hasselt, H.V., Guez, A., Silver, D.: Deep reinforcement learning with double q-learning. In: Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence (AAAI’16), pp. 2094–2100. AAAI Press (2016)
8.
Zurück zum Zitat Kiran, B.R., Sobh, I., Talpaert, V., Mannion, P., Sallab, A.A.A., Yogamani, S., Pérez, P.: Deep reinforcement learning for autonomous driving: a survey. IEEE Trans. Intell. Transp. Syst. 23(6), 4909–4926 (2022)CrossRef Kiran, B.R., Sobh, I., Talpaert, V., Mannion, P., Sallab, A.A.A., Yogamani, S., Pérez, P.: Deep reinforcement learning for autonomous driving: a survey. IEEE Trans. Intell. Transp. Syst. 23(6), 4909–4926 (2022)CrossRef
9.
Zurück zum Zitat Lin, C.C., Deng, D.J., Chih, Y.L., Chiu, H.T.: Smart manufacturing scheduling with edge computing using multiclass deep q network. IEEE Trans. Industr. Inf. 15(7), 4276–4284 (2019)CrossRef Lin, C.C., Deng, D.J., Chih, Y.L., Chiu, H.T.: Smart manufacturing scheduling with edge computing using multiclass deep q network. IEEE Trans. Industr. Inf. 15(7), 4276–4284 (2019)CrossRef
10.
Zurück zum Zitat Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., Riedmiller, M.: Playing atari with deep reinforcement learning (2013) Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., Riedmiller, M.: Playing atari with deep reinforcement learning (2013)
11.
Zurück zum Zitat Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A.A., Veness, J., Bellemare, M.G., Graves, A., Riedmiller, M., Fidjeland, A.K., Ostrovski, G., et al.: Human-level control through deep reinforcement learning. Nature 518(7540), 529–533 (2015) Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A.A., Veness, J., Bellemare, M.G., Graves, A., Riedmiller, M., Fidjeland, A.K., Ostrovski, G., et al.: Human-level control through deep reinforcement learning. Nature 518(7540), 529–533 (2015)
12.
Zurück zum Zitat Moghadam, M., Elkaim, G.H.: A hierarchical architecture for sequential decision-making in autonomous driving using deep reinforcement learning (2019). Preprint at arXiv:1906.08464 Moghadam, M., Elkaim, G.H.: A hierarchical architecture for sequential decision-making in autonomous driving using deep reinforcement learning (2019). Preprint at arXiv:​1906.​08464
13.
Zurück zum Zitat Watkins, C.J., Dayan, P.: Q-learning. Mach. Learn. 8(3–4), 279–292 (1992) Watkins, C.J., Dayan, P.: Q-learning. Mach. Learn. 8(3–4), 279–292 (1992)
Metadaten
Titel
Non-linear Reward Deep Q Networks for Smooth Action in a Car Game
verfasst von
Mohammad Iqbal
Achmad Afandy
Nurul Hidayat
Copyright-Jahr
2024
Verlag
Springer Nature Singapore
DOI
https://doi.org/10.1007/978-981-97-2136-8_19

    Marktübersichten

    Die im Laufe eines Jahres in der „adhäsion“ veröffentlichten Marktübersichten helfen Anwendern verschiedenster Branchen, sich einen gezielten Überblick über Lieferantenangebote zu verschaffen.