Skip to main content

2023 | OriginalPaper | Buchkapitel

5. Continuous–Time Markov Control Processes

verfasst von : Onésimo Hernández-Lerma, Leonardo R. Laura-Guarachi, Saul Mendoza-Palacios, David González-Sánchez

Erschienen in: An Introduction to Optimal Control Theory

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

As noted in Remark 4.7(b), the solution \(x(\cdot )\) of the (deterministic) ordinary differential equation (4.0.1) can be interpreted as a Markov control process (MCP), also known as a controlled Markov process. In this chapter we introduce some facts on general continuous–time MCPs, which allows us to make a unified presentation of related control problems. We will begin below with some comments on (noncontrolled) continuous–time Markov processes. (We only wish to motivate some concepts, so our presentation is not very precise. For further details, see the bibliographical notes at the end of this chapter.)

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
The probability measure \(\mu \) is said to be “invariant” or a “stationary measure” for \(\mathcal {X}\) because if the initial state x(0) has distribution \(\mu \), then the state x(t) has distribution \(\mu \) for all \(t \ge 0\). A Markov process is called ergodic  if it has a unique invariant probability measure.
 
2
The requirement that c is bounded simplifies the presentation, but it is not necessary. (See the references in Exercise 5.9.)
 
Metadaten
Titel
Continuous–Time Markov Control ProcessesMarkov control processcontinuous–time Optimal control problem (OCP)continuous–time
verfasst von
Onésimo Hernández-Lerma
Leonardo R. Laura-Guarachi
Saul Mendoza-Palacios
David González-Sánchez
Copyright-Jahr
2023
DOI
https://doi.org/10.1007/978-3-031-21139-3_5