Skip to main content

2012 | OriginalPaper | Buchkapitel

8. Adaptive Policies for Sequential Sampling under Incomplete Information and a Cost Constraint

verfasst von : Apostolos Burnetas, Odysseas Kanavetas

Erschienen in: Applications of Mathematics and Informatics in Military Science

Verlag: Springer New York

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We consider the problem of sequential sampling from a finite number of independent statistical populations to maximize the expected infinite horizon average outcome per period, under a constraint that the expected average sampling cost does not exceed an upper bound. The outcome distributions are not known. We construct a class of consistent adaptive policies, under which the average outcome converges with probability 1 to the true value under complete information for all distributions with finite means. We also compare the rate of convergence for various policies in this class using simulation.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Auer, P., Cesa-Bianchi, N., Fischer, P.: Finite-time analysis of the multiarmed bandit. Machine Learning. 47, 235–256 (2002)MATHCrossRef Auer, P., Cesa-Bianchi, N., Fischer, P.: Finite-time analysis of the multiarmed bandit. Machine Learning. 47, 235–256 (2002)MATHCrossRef
2.
Zurück zum Zitat Burnetas, A.N., Katehakis, M.N.: Optimal adaptive policies for sequential allocation problems. Adv. App. Math. 17, 122–142 (1996)MathSciNetMATHCrossRef Burnetas, A.N., Katehakis, M.N.: Optimal adaptive policies for sequential allocation problems. Adv. App. Math. 17, 122–142 (1996)MathSciNetMATHCrossRef
3.
Zurück zum Zitat Burnetas, A.N., Katehakis, M.N.: Optimal adaptive policies for markovian decision processes. Math. Oper. Res. 22, 222–255 (1997)MathSciNetMATHCrossRef Burnetas, A.N., Katehakis, M.N.: Optimal adaptive policies for markovian decision processes. Math. Oper. Res. 22, 222–255 (1997)MathSciNetMATHCrossRef
4.
Zurück zum Zitat Katehakis, M.N., Robbins, H.: Sequential choice from several populations. Proc. Natl. Acad. Sci. USA. 92, 8584–8585 (1995)MathSciNetCrossRef Katehakis, M.N., Robbins, H.: Sequential choice from several populations. Proc. Natl. Acad. Sci. USA. 92, 8584–8585 (1995)MathSciNetCrossRef
5.
Zurück zum Zitat Kulkarni, S.R., Lugosi, G.: Finite-time lower bounds for the two-armed bandit problem. IEEE Trans. Automatic Contr. 45, 711–714 (2000)MathSciNetMATHCrossRef Kulkarni, S.R., Lugosi, G.: Finite-time lower bounds for the two-armed bandit problem. IEEE Trans. Automatic Contr. 45, 711–714 (2000)MathSciNetMATHCrossRef
7.
Zurück zum Zitat Madani, O., Lizotte, D., Greiner, R.: The budgeted multi-armed bandit problem. In: Lecture Notes in Artificial Intelligence, Subseries of Lecture Notes in Computer Science, vol. 3120, pp. 643–645 (2004)MathSciNet Madani, O., Lizotte, D., Greiner, R.: The budgeted multi-armed bandit problem. In: Lecture Notes in Artificial Intelligence, Subseries of Lecture Notes in Computer Science, vol. 3120, pp. 643–645 (2004)MathSciNet
8.
Zurück zum Zitat Pezeshk, H., Gittins, J.: Sample size determination in clinical trials. Student. 3(1), 19–26 (1999) Pezeshk, H., Gittins, J.: Sample size determination in clinical trials. Student. 3(1), 19–26 (1999)
9.
Zurück zum Zitat Poznyak, A., Nazim, K., Gomez, E.: Self-Learning Control of Finite Markov Chains. CRC Press, New York (2000) Poznyak, A., Nazim, K., Gomez, E.: Self-Learning Control of Finite Markov Chains. CRC Press, New York (2000)
10.
Zurück zum Zitat Robbins, H.: Some aspects of the sequential design of experiments. Bull. Amer. Math. Monthly. 58, 527–536 (1952)MathSciNetMATH Robbins, H.: Some aspects of the sequential design of experiments. Bull. Amer. Math. Monthly. 58, 527–536 (1952)MathSciNetMATH
Metadaten
Titel
Adaptive Policies for Sequential Sampling under Incomplete Information and a Cost Constraint
verfasst von
Apostolos Burnetas
Odysseas Kanavetas
Copyright-Jahr
2012
Verlag
Springer New York
DOI
https://doi.org/10.1007/978-1-4614-4109-0_8