Skip to main content

2021 | OriginalPaper | Buchkapitel

Controlled Random Walk: Conjecture and Counter-Example

verfasst von : Alexey B. Piunovskiy

Erschienen in: Modern Trends in Controlled Stochastic Processes:

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

In this paper we investigate the following conjecture about the random walk on the positive integer lattice, starting from a large point \(i>0\) and up to the absorption at negative points: on the first steps, one has to maximize the expected reward coming from passing through one point on the lattice. Under appropriate conditions, this conjecture is true. The counter-example shows that sometimes it is not valid.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Anhänge
Nur mit Berechtigung zugänglich
Literatur
1.
Zurück zum Zitat Hernandez-Lerma, O., Lasserre, J.B.: Further Topics on Discrete-Time Markov Control Processes. Springer, New York (1999)CrossRef Hernandez-Lerma, O., Lasserre, J.B.: Further Topics on Discrete-Time Markov Control Processes. Springer, New York (1999)CrossRef
2.
Zurück zum Zitat Kallenberg, L.C.M.: Markov Decision Processes. Lecture Notes. University of Leiden, The Netherlands (2010) Kallenberg, L.C.M.: Markov Decision Processes. Lecture Notes. University of Leiden, The Netherlands (2010)
3.
Zurück zum Zitat Lewis, M.E., Paul, A.: Uniform turnpike theorems for finite Markov decision processes. Math. Oper. Res. 44, 1145–1160 (2019)MathSciNetCrossRef Lewis, M.E., Paul, A.: Uniform turnpike theorems for finite Markov decision processes. Math. Oper. Res. 44, 1145–1160 (2019)MathSciNetCrossRef
4.
Zurück zum Zitat Piunovskiy, A.: Optimal Control of Random Sequences in Problems with Constraints. Kluwer, Dordrecht (1997)CrossRef Piunovskiy, A.: Optimal Control of Random Sequences in Problems with Constraints. Kluwer, Dordrecht (1997)CrossRef
6.
Zurück zum Zitat Puterman, M.: Markov Decision Processes. Wiley, New York - Chichester - Brisbane - Toronto - Singapore (1994)CrossRef Puterman, M.: Markov Decision Processes. Wiley, New York - Chichester - Brisbane - Toronto - Singapore (1994)CrossRef
7.
Zurück zum Zitat Shapiro, J.F.: Turnpike planning horizons for a Markovian decision model. Manag. Sci. 14, 292–300 (1968)CrossRef Shapiro, J.F.: Turnpike planning horizons for a Markovian decision model. Manag. Sci. 14, 292–300 (1968)CrossRef
Metadaten
Titel
Controlled Random Walk: Conjecture and Counter-Example
verfasst von
Alexey B. Piunovskiy
Copyright-Jahr
2021
DOI
https://doi.org/10.1007/978-3-030-76928-4_3