Skip to main content

2015 | OriginalPaper | Buchkapitel

On the Implementation of a Class of Stochastic Search Algorithms

verfasst von : Jiaqiao Hu, Enlu Zhou

Erschienen in: Advances in Global Optimization

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We propose a stochastic approximation approach for implementing a class of random search-based optimization algorithms called the model-based methods. The approach makes efficient use of the past sampling information as the search progresses and can significantly reduce the number of function evaluations needed to obtain high quality solutions. We illustrate our approach through a specific algorithm called Model-based Annealing Random Search with Stochastic Averaging (MARS-SA), which maintains the per-iteration sample size at a small constant value. We present the global convergence property of MARS-SA and report on numerical results.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Fu, M.C., Hu, J., Marcus, S.I.: Model-based randomized methods for global optimization. In: Proceedings of the 17th International Symposium on Mathematical Theory of Networks and Systems, pp. 355–363 (2006) Fu, M.C., Hu, J., Marcus, S.I.: Model-based randomized methods for global optimization. In: Proceedings of the 17th International Symposium on Mathematical Theory of Networks and Systems, pp. 355–363 (2006)
2.
Zurück zum Zitat Zlochin, M., Birattari, M., Meuleau, N., Dorigo, M.: Model-based search for combinatorial optimization: a critical survey. Ann. Oper. Res. 131, 373–395 (2004)CrossRefMATHMathSciNet Zlochin, M., Birattari, M., Meuleau, N., Dorigo, M.: Model-based search for combinatorial optimization: a critical survey. Ann. Oper. Res. 131, 373–395 (2004)CrossRefMATHMathSciNet
3.
Zurück zum Zitat Dorigo, M., Gambardella, L.M.: Ant colony system: a cooperative learning approach to the traveling salesman problem. IEEE Trans. Evol. Comput. 1, 53–66 (1997)CrossRef Dorigo, M., Gambardella, L.M.: Ant colony system: a cooperative learning approach to the traveling salesman problem. IEEE Trans. Evol. Comput. 1, 53–66 (1997)CrossRef
4.
Zurück zum Zitat Larrañaga, P., Lozano, J.A. (eds.): Estimation of Distribution Algorithms: A New Tool for Evolutionary Computation. Kluwer Academic, Boston (2002) Larrañaga, P., Lozano, J.A. (eds.): Estimation of Distribution Algorithms: A New Tool for Evolutionary Computation. Kluwer Academic, Boston (2002)
5.
Zurück zum Zitat Rubinstein, R.Y., Kroese, D.P.: The Cross-Entropy Method: A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation, and Machine Learning. Springer, New York (2004)CrossRef Rubinstein, R.Y., Kroese, D.P.: The Cross-Entropy Method: A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation, and Machine Learning. Springer, New York (2004)CrossRef
6.
Zurück zum Zitat Zabinsky, Z.B.: Stochastic Adaptive Search for Global Optimization. Kluwer Academic, Dordrecht (2003)CrossRefMATH Zabinsky, Z.B.: Stochastic Adaptive Search for Global Optimization. Kluwer Academic, Dordrecht (2003)CrossRefMATH
7.
Zurück zum Zitat Hu, J., Fu, M.C., Marcus, S.I.: A model reference adaptive search algorithm for global optimization. Oper. Res. 55, 549–568 (2007)CrossRefMATHMathSciNet Hu, J., Fu, M.C., Marcus, S.I.: A model reference adaptive search algorithm for global optimization. Oper. Res. 55, 549–568 (2007)CrossRefMATHMathSciNet
8.
Zurück zum Zitat Hu, J., Hu, P.: Annealing adaptive search, cross-entropy, and stochastic approximation in global optimization. Naval Res. Logist. 58, 457–477 (2011)CrossRefMATHMathSciNet Hu, J., Hu, P.: Annealing adaptive search, cross-entropy, and stochastic approximation in global optimization. Naval Res. Logist. 58, 457–477 (2011)CrossRefMATHMathSciNet
9.
Zurück zum Zitat Hu, J., Hu, P., Chang, H.S.: A stochastic approximation framework for a class of randomized optimization algorithms. IEEE Trans. Autom. Control 57, 165–178 (2012)CrossRefMathSciNet Hu, J., Hu, P., Chang, H.S.: A stochastic approximation framework for a class of randomized optimization algorithms. IEEE Trans. Autom. Control 57, 165–178 (2012)CrossRefMathSciNet
10.
Zurück zum Zitat Wolpert, D.H.: Finding bounded rational equilibria part I: Iterative focusing. In: Vincent, T. (ed.) Proceedings of the Eleventh International Symposium on Dynamic Games and Applications, Tucson (2004) Wolpert, D.H.: Finding bounded rational equilibria part I: Iterative focusing. In: Vincent, T. (ed.) Proceedings of the Eleventh International Symposium on Dynamic Games and Applications, Tucson (2004)
11.
Zurück zum Zitat Romeijn, H.E., Smith, R.L.: Simulated annealing and adaptive search in global optimization. Probab. Eng. Inf. Sci. 8, 571–590 (1994)CrossRef Romeijn, H.E., Smith, R.L.: Simulated annealing and adaptive search in global optimization. Probab. Eng. Inf. Sci. 8, 571–590 (1994)CrossRef
12.
Zurück zum Zitat Hu, J., Zhou, E.: Model-based Annealing Random Search with Stochastic Averaging. Working Paper (2013) Hu, J., Zhou, E.: Model-based Annealing Random Search with Stochastic Averaging. Working Paper (2013)
Metadaten
Titel
On the Implementation of a Class of Stochastic Search Algorithms
verfasst von
Jiaqiao Hu
Enlu Zhou
Copyright-Jahr
2015
DOI
https://doi.org/10.1007/978-3-319-08377-3_42