Skip to main content

2017 | OriginalPaper | Buchkapitel

Max K-Armed Bandit: On the ExtremeHunter Algorithm and Beyond

verfasst von : Mastane Achab, Stephan Clémençon, Aurélien Garivier, Anne Sabourin, Claire Vernade

Erschienen in: Machine Learning and Knowledge Discovery in Databases

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This paper is devoted to the study of the max K-armed bandit problem, which consists in sequentially allocating resources in order to detect extreme values. Our contribution is twofold. We first significantly refine the analysis of the ExtremeHunter algorithm carried out in Carpentier and Valko (2014), and next propose an alternative approach, showing that, remarkably, Extreme Bandits can be reduced to a classical version of the bandit problem to a certain extent. Beyond the formal analysis, these two approaches are compared through numerical experiments.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
Literatur
Zurück zum Zitat Auer, P., Cesa-Bianchi, N., Fischer, P.: Finite-time analysis of the multiarmed bandit problem. Mach. Learn. 47(2–3), 235–256 (2002)CrossRefMATH Auer, P., Cesa-Bianchi, N., Fischer, P.: Finite-time analysis of the multiarmed bandit problem. Mach. Learn. 47(2–3), 235–256 (2002)CrossRefMATH
Zurück zum Zitat Carpentier, A., Kim, A.K.: Adaptive and minimax optimal estimation of the tail coefficient. Stat. Sin. 25, 1133–1144 (2014)MathSciNetMATH Carpentier, A., Kim, A.K.: Adaptive and minimax optimal estimation of the tail coefficient. Stat. Sin. 25, 1133–1144 (2014)MathSciNetMATH
Zurück zum Zitat Carpentier, A., Kim, A.K., et al.: Honest and adaptive confidence interval for the tail coefficient in the Pareto model. Electron. J. Stat. 8(2), 2066–2110 (2014)MathSciNetCrossRefMATH Carpentier, A., Kim, A.K., et al.: Honest and adaptive confidence interval for the tail coefficient in the Pareto model. Electron. J. Stat. 8(2), 2066–2110 (2014)MathSciNetCrossRefMATH
Zurück zum Zitat Carpentier, A., Valko, M.: Extreme bandits. In: Advances in Neural Information Processing Systems, vol. 27, pp. 1089–1097. Curran Associates Inc. (2014) Carpentier, A., Valko, M.: Extreme bandits. In: Advances in Neural Information Processing Systems, vol. 27, pp. 1089–1097. Curran Associates Inc. (2014)
Zurück zum Zitat Carpentier, A., Valko, M.: Simple regret for infinitely many armed bandits. In: Proceedings of the 32nd International Conference on Machine Learning, pp. 1133–1141 (2015) Carpentier, A., Valko, M.: Simple regret for infinitely many armed bandits. In: Proceedings of the 32nd International Conference on Machine Learning, pp. 1133–1141 (2015)
Zurück zum Zitat Cicirello, V.A., Smith, S.F.: The max k-armed bandit: a new model of exploration applied to search heuristic selection. In: The Proceedings of the Twentieth National Conference on Artificial Intelligence, vol. 3, pp. 1355–1361. AAAI Press (2005) Cicirello, V.A., Smith, S.F.: The max k-armed bandit: a new model of exploration applied to search heuristic selection. In: The Proceedings of the Twentieth National Conference on Artificial Intelligence, vol. 3, pp. 1355–1361. AAAI Press (2005)
Zurück zum Zitat David, Y., Shimkin, N.: PAC lower bounds and efficient algorithms for the max k-armed bandit problem. In: Proceedings of The 33rd International Conference on Machine Learning (2016) David, Y., Shimkin, N.: PAC lower bounds and efficient algorithms for the max k-armed bandit problem. In: Proceedings of The 33rd International Conference on Machine Learning (2016)
Zurück zum Zitat Lepskiĭ, O.V.: A problem of adaptive estimation in Gaussian white noise. Teor. Veroyatnost. i Primenen. 35(3), 459–470 (1990)MathSciNet Lepskiĭ, O.V.: A problem of adaptive estimation in Gaussian white noise. Teor. Veroyatnost. i Primenen. 35(3), 459–470 (1990)MathSciNet
Zurück zum Zitat Nishihara, R., Lopez-Paz, D., Bottou, L.: No regret bound for extreme bandits. In: Proceedings of the 19th International Conference on Artificial Intelligence and Statistics (AISTATS) (2016) Nishihara, R., Lopez-Paz, D., Bottou, L.: No regret bound for extreme bandits. In: Proceedings of the 19th International Conference on Artificial Intelligence and Statistics (AISTATS) (2016)
Metadaten
Titel
Max K-Armed Bandit: On the ExtremeHunter Algorithm and Beyond
verfasst von
Mastane Achab
Stephan Clémençon
Aurélien Garivier
Anne Sabourin
Claire Vernade
Copyright-Jahr
2017
DOI
https://doi.org/10.1007/978-3-319-71246-8_24