Skip to main content

2020 | OriginalPaper | Buchkapitel

Bayesian Optimization with Local Search

verfasst von : Yuzhou Gao, Tengchao Yu, Jinglai Li

Erschienen in: Machine Learning, Optimization, and Data Science

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Global optimization finds applications in a wide range of real world problems. The multi-start methods are a popular class of global optimization techniques, which are based on the idea of conducting local searches at multiple starting points. In this work we propose a new multi-start algorithm where the starting points are determined in a Bayesian optimization framework. Specifically, the method can be understood as to construct a new function by conducting local searches of the original objective function, where the new function attains the same global optima as the original one. Bayesian optimization is then applied to find the global optima of the new local search defined function.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Anhänge
Nur mit Berechtigung zugänglich
Literatur
2.
Zurück zum Zitat Brochu, E., Cora, V.M., De Freitas, N.: A tutorial on Bayesian optimization of expensive cost functions, with application to active user modeling and hierarchical reinforcement learning. arXiv preprint arXiv:1012.2599 (2010) Brochu, E., Cora, V.M., De Freitas, N.: A tutorial on Bayesian optimization of expensive cost functions, with application to active user modeling and hierarchical reinforcement learning. arXiv preprint arXiv:​1012.​2599 (2010)
3.
Zurück zum Zitat Djolonga, J., Krause, A., Cevher, V.: High-dimensional Gaussian process bandits. In: Advances in Neural Information Processing Systems, pp. 1025–1033 (2013) Djolonga, J., Krause, A., Cevher, V.: High-dimensional Gaussian process bandits. In: Advances in Neural Information Processing Systems, pp. 1025–1033 (2013)
4.
Zurück zum Zitat Gavana, A.: Global optimization benchmarks and AMPGO (2005). Accessed 30 Sept 2019 Gavana, A.: Global optimization benchmarks and AMPGO (2005). Accessed 30 Sept 2019
5.
Zurück zum Zitat György, A., Kocsis, L.: Efficient multi-start strategies for local search algorithms. J. Artif. Intell. Res. 41, 407–444 (2011)MathSciNetCrossRef György, A., Kocsis, L.: Efficient multi-start strategies for local search algorithms. J. Artif. Intell. Res. 41, 407–444 (2011)MathSciNetCrossRef
6.
Zurück zum Zitat Holland, J.H., et al.: Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence. MIT Press, Cambridge (1992)CrossRef Holland, J.H., et al.: Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence. MIT Press, Cambridge (1992)CrossRef
9.
Zurück zum Zitat Kandasamy, K., Schneider, J., Póczos, B.: High dimensional Bayesian optimisation and bandits via additive models. In: International Conference on Machine Learning, pp. 295–304 (2015) Kandasamy, K., Schneider, J., Póczos, B.: High dimensional Bayesian optimisation and bandits via additive models. In: International Conference on Machine Learning, pp. 295–304 (2015)
10.
Zurück zum Zitat Kawaguchi, K., Maruyama, Y., Zheng, X.: Global continuous optimization with error bound and fast convergence. J. Artif. Intell. Res. 56, 153–195 (2016)MathSciNetCrossRef Kawaguchi, K., Maruyama, Y., Zheng, X.: Global continuous optimization with error bound and fast convergence. J. Artif. Intell. Res. 56, 153–195 (2016)MathSciNetCrossRef
11.
Zurück zum Zitat Kirkpatrick, S., Gelatt, C.D., Vecchi, M.P.: Optimization by simulated annealing. Science 220(4598), 671–680 (1983)MathSciNetCrossRef Kirkpatrick, S., Gelatt, C.D., Vecchi, M.P.: Optimization by simulated annealing. Science 220(4598), 671–680 (1983)MathSciNetCrossRef
12.
Zurück zum Zitat Martí, R., Lozano, J.A., Mendiburu, A., Hernando, L.: Multi-start methods. In: Handbook of Heuristics, pp. 1–21 (2016) Martí, R., Lozano, J.A., Mendiburu, A., Hernando, L.: Multi-start methods. In: Handbook of Heuristics, pp. 1–21 (2016)
14.
Zurück zum Zitat Rinnooy Kan, A.H., Timmer, G.: Stochastic global optimization methods part II: multi level methods. Math. Program. 39(1), 57–78 (1987)CrossRef Rinnooy Kan, A.H., Timmer, G.: Stochastic global optimization methods part II: multi level methods. Math. Program. 39(1), 57–78 (1987)CrossRef
16.
Zurück zum Zitat Shahriari, B., Swersky, K., Wang, Z., Adams, R.P., De Freitas, N.: Taking the human out of the loop: a review of Bayesian optimization. Proc. IEEE 104(1), 148–175 (2015)CrossRef Shahriari, B., Swersky, K., Wang, Z., Adams, R.P., De Freitas, N.: Taking the human out of the loop: a review of Bayesian optimization. Proc. IEEE 104(1), 148–175 (2015)CrossRef
17.
Zurück zum Zitat Snoek, J., Larochelle, H., Adams, R.P.: Practical Bayesian optimization of machine learning algorithms. In: Advances in Neural Information Processing Systems, pp. 2951–2959 (2012) Snoek, J., Larochelle, H., Adams, R.P.: Practical Bayesian optimization of machine learning algorithms. In: Advances in Neural Information Processing Systems, pp. 2951–2959 (2012)
18.
Zurück zum Zitat Tu, W., Mayne, R.: Studies of multi-start clustering for global optimization. Int. J. Numer. Methods Eng. 53(9), 2239–2252 (2002)MathSciNetCrossRef Tu, W., Mayne, R.: Studies of multi-start clustering for global optimization. Int. J. Numer. Methods Eng. 53(9), 2239–2252 (2002)MathSciNetCrossRef
19.
Zurück zum Zitat Ugray, Z., Lasdon, L., Plummer, J., Glover, F., Kelly, J., Martí, R.: Scatter search and local NLP solvers: a multistart framework for global optimization. INFORMS J. Comput. 19(3), 328–340 (2007)MathSciNetCrossRef Ugray, Z., Lasdon, L., Plummer, J., Glover, F., Kelly, J., Martí, R.: Scatter search and local NLP solvers: a multistart framework for global optimization. INFORMS J. Comput. 19(3), 328–340 (2007)MathSciNetCrossRef
20.
Zurück zum Zitat Williams, C.K., Rasmussen, C.E.: Gaussian Processes for Machine Learning. MIT Press, Cambridge (2006)MATH Williams, C.K., Rasmussen, C.E.: Gaussian Processes for Machine Learning. MIT Press, Cambridge (2006)MATH
Metadaten
Titel
Bayesian Optimization with Local Search
verfasst von
Yuzhou Gao
Tengchao Yu
Jinglai Li
Copyright-Jahr
2020
DOI
https://doi.org/10.1007/978-3-030-64580-9_30

Premium Partner