Skip to main content

2012 | OriginalPaper | Buchkapitel

209. Online Actor-Critic Learning for Motion Control of Non-holonomic Mobile Robot

verfasst von : Kai Wang, Yingmin Jia, Junping Du, Fashan Yu

Erschienen in: Electrical, Information Engineering and Mechatronics 2011

Verlag: Springer London

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This paper presents a control structure designed for non-holonomic mobile robots by an online algorithm based on policy iteration for learning the continuous-time (CT) optimal control solution with infinite horizon cost. The algorithm learns online in real-time to the solution of Hamilton–Jacobi–Bellman (HJB) equation which has been used for optimal control design. This method finds in real-time suitable approximations of both the optimal cost and control policy, while also guaranteeing closed-loop stability, which implemented as an actor/critic structure involves simultaneous continuous-time adaptation of both actor and critic neural networks (NNs). Simulation examples show the effectiveness of the new algorithm.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Kolmanovsky I, McClamroch NH (1995) Developments in non-holonomic control problems. IEEE Cont Syst Mag 15(6):20–36 Kolmanovsky I, McClamroch NH (1995) Developments in non-holonomic control problems. IEEE Cont Syst Mag 15(6):20–36
2.
Zurück zum Zitat Alexander JC, Maddocks JH (1989) On the kinematics of wheeled mobile robots. Int J Robot Res 8(5):15–27 Alexander JC, Maddocks JH (1989) On the kinematics of wheeled mobile robots. Int J Robot Res 8(5):15–27
3.
Zurück zum Zitat Abu-Khalaf M, Lewis FL (2005) Nearly optimal control laws for nonlinear systems with saturating actuators using a neural network HJB approach. Automatica 41(5):779–791 Abu-Khalaf M, Lewis FL (2005) Nearly optimal control laws for nonlinear systems with saturating actuators using a neural network HJB approach. Automatica 41(5):779–791
4.
Zurück zum Zitat Murray J, Cox C, Lendaris G, Saeks R (2002) Adaptive dynamic programming. IEEE Trans Syst Man Cybern 32(2):140–153 Murray J, Cox C, Lendaris G, Saeks R (2002) Adaptive dynamic programming. IEEE Trans Syst Man Cybern 32(2):140–153
5.
Zurück zum Zitat Si J, Barto A, Powel W, Wunsch D (2004) Handbook of learning and approximate dynamic programming. Wiley, Hoboken Si J, Barto A, Powel W, Wunsch D (2004) Handbook of learning and approximate dynamic programming. Wiley, Hoboken
6.
Zurück zum Zitat Ioannou P, Fidan B (2006) Advances in design and control, adaptive control tutorial. SIAM, PA Ioannou P, Fidan B (2006) Advances in design and control, adaptive control tutorial. SIAM, PA
7.
Zurück zum Zitat Murray RM, Sastry SS (1993) Non-holonomic motion planning: steering using sinusoids. IEEE Trans Automat Cont 38:700–716 Murray RM, Sastry SS (1993) Non-holonomic motion planning: steering using sinusoids. IEEE Trans Automat Cont 38:700–716
8.
Zurück zum Zitat Vamvoudakis KG, Lewis FL (2010) Online actor-critic algorithm to solve the continuous-time infinite horizon optimal control problem. Automatica 46:878–888 Vamvoudakis KG, Lewis FL (2010) Online actor-critic algorithm to solve the continuous-time infinite horizon optimal control problem. Automatica 46:878–888
Metadaten
Titel
Online Actor-Critic Learning for Motion Control of Non-holonomic Mobile Robot
verfasst von
Kai Wang
Yingmin Jia
Junping Du
Fashan Yu
Copyright-Jahr
2012
Verlag
Springer London
DOI
https://doi.org/10.1007/978-1-4471-2467-2_209

Neuer Inhalt