nach oben

Erschienen in:

2024 | OriginalPaper | Buchkapitel

1. Controllable Markov Chains

verfasst von : Julio B. Clempner, Alexander Poznyak

Erschienen in: Optimization and Games for Controllable Markov Chains

Verlag: Springer Nature Switzerland

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

In this chapter, we describe a class of discrete-time, controllable, and ergodic Markov chains. In these concepts, time and space are discrete. We start by outlining the fundamental model. Its single-step transition probabilities is then utilized to determine if a Markov chain is ergodic. In order to convert the nonlinear optimization Markov problem into a linear one and make the problem tractable, we propose to use an auxiliary c-variable. With such a setup, a discrete time Markov chain simulation is shown. A piece of the illustrative Markov chain laws for discrete time is constructed in the end.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Nächstes Kapitel Multiobjective Control

Markov chains are named in honor of the Russian mathematician, Alexander Markov (1856–1922), who did pioneering work in the definition and analysis of this class of processes.

Altman, E.: Constrained Markov Decision Processes: Stochastic Modeling. Routledge (1999)

Clempner, J.B.: A lyapunov approach for stable reinforcement learning. Comput. Appl. Math. 41, 279 (2022)MathSciNetCrossRefMATH

Clempner, J.B., Poznyak, A.S.: Analysis of best-reply strategies in repeated finite markov chains games. In: 52nd IEEE Conference on Decision and Control (CDC), pp. 568–573. Firenze, Italy (2013)

Clempner, J.B., Poznyak, A.S.: Simple computing of the customer lifetime value: a fixed local-optimal policy approach. J. Syst. Sci. Syst. Eng. 23(4), 439–459 (2014)CrossRef

Howard, R.A.: Dynamic Programming and Markov Processes (1960)

Kemeny, J.G., Snell, J.L.: Finite Markov Chains: With a New Appendix “Generalization of a Fundamental Matrix”. Springer (1983)

Poznyak, A.S., Najim, K., Gomez-Ramirez, E.: Self-learning Control of Finite Markov Chains. Marcel Dekker, New York (2000)MATH

Puterman, M.L.: Markov decision processes. Handbooks in Operations Research and Management Science, vol. 2, pp. 331–434 (1990)

Rozanov, Y.: Probability Theory: A Concise Course (1977)

10.

Sragovich, V.G.: Mathematical Theory of Adaptive Control, vol. 4. World Scientific (2005)

Titel: Controllable Markov Chains
verfasst von: Julio B. Clempner
Alexander Poznyak
Verlag: Springer Nature Switzerland
Buch: Optimization and Games for Controllable Markov Chains
Print ISBN: 978-3-031-43574-4

Electronic ISBN: 978-3-031-43575-1

Copyright-Jahr: 2024
DOI: https://doi.org/10.1007/978-3-031-43575-1_1

Premium Partner

Marktübersichten

Die im Laufe eines Jahres in der „adhäsion“ veröffentlichten Marktübersichten helfen Anwendern verschiedenster Branchen, sich einen gezielten Überblick über Lieferantenangebote zu verschaffen.

Zur Marktübersicht