Skip to main content

2016 | OriginalPaper | Buchkapitel

Evolution Under Strong Noise: A Self-Adaptive Evolution Strategy Can Reach the Lower Performance Bound - The pcCMSA-ES

verfasst von : Michael Hellwig, Hans-Georg Beyer

Erschienen in: Parallel Problem Solving from Nature – PPSN XIV

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

According to a theorem by Astete-Morales, Cauwet, and Teytaud, “simple Evolution Strategies (ES)” that optimize quadratic functions disturbed by additive Gaussian noise of constant variance can only reach a simple regret log-log convergence slope \(\ge -1/2\) (lower bound). In this paper a population size controlled ES is presented that is able to perform better than the \(-1/2\) limit. It is shown experimentally that the pcCMSA-ES is able to reach a slope of \(-1\) being the theoretical lower bound of all comparison-based direct search algorithms.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
2.
Zurück zum Zitat Jin, Y., Branke, J.: Evolutionary optimization in uncertain environments - a survey. IEEE Trans. Evolut. Comput. 9(3), 303–317 (2005)CrossRef Jin, Y., Branke, J.: Evolutionary optimization in uncertain environments - a survey. IEEE Trans. Evolut. Comput. 9(3), 303–317 (2005)CrossRef
3.
Zurück zum Zitat Beyer, H.-G., Arnold, D.V., Meyer-Nieberg, S.: A new approach for predicting the final outcome of evolution strategy optimization under noise. Genet. Progr. Evol. Mach. 6(1), 7–24 (2005)CrossRef Beyer, H.-G., Arnold, D.V., Meyer-Nieberg, S.: A new approach for predicting the final outcome of evolution strategy optimization under noise. Genet. Progr. Evol. Mach. 6(1), 7–24 (2005)CrossRef
4.
Zurück zum Zitat Beyer, H.-G., Sendhoff, B.: Evolution strategies for robust optimization. In: 2006 IEEE Congress on Evolutionary Computation CEC 2006, pp. 1346–1353 (2006) Beyer, H.-G., Sendhoff, B.: Evolution strategies for robust optimization. In: 2006 IEEE Congress on Evolutionary Computation CEC 2006, pp. 1346–1353 (2006)
5.
Zurück zum Zitat Hansen, N., Niederberger, A.S.P., Guzzella, L., Koumoutsakos, P.: A method for handling uncertainty in evolutionary optimization with an application to feedback control of combustion. IEEE Trans. Evolut. Comput. 13(1), 180–197 (2009)CrossRef Hansen, N., Niederberger, A.S.P., Guzzella, L., Koumoutsakos, P.: A method for handling uncertainty in evolutionary optimization with an application to feedback control of combustion. IEEE Trans. Evolut. Comput. 13(1), 180–197 (2009)CrossRef
6.
Zurück zum Zitat Beyer, H.-G., Sendhoff, B.: Covariance matrix adaptation revisited – the CMSA evolution strategy. In: Rudolph, G., Jansen, T., Lucas, S., Poloni, C., Beume, N. (eds.) PPSN 2008. LNCS, vol. 5199, pp. 123–132. Springer, Heidelberg (2008)CrossRef Beyer, H.-G., Sendhoff, B.: Covariance matrix adaptation revisited – the CMSA evolution strategy. In: Rudolph, G., Jansen, T., Lucas, S., Poloni, C., Beume, N. (eds.) PPSN 2008. LNCS, vol. 5199, pp. 123–132. Springer, Heidelberg (2008)CrossRef
7.
Zurück zum Zitat Astete-Morales, S., Cauwet, M.-L., Teytaud, O.: Evolution strategies with additive noise: a convergence rate lower bound. In: Proceedings of the 2015 ACM Conference on Foundations of Genetic Algorithms XIII, FOGA 2015, pp. 76–84. ACM, New York (2015) Astete-Morales, S., Cauwet, M.-L., Teytaud, O.: Evolution strategies with additive noise: a convergence rate lower bound. In: Proceedings of the 2015 ACM Conference on Foundations of Genetic Algorithms XIII, FOGA 2015, pp. 76–84. ACM, New York (2015)
8.
Zurück zum Zitat Shamir, O.: On the complexity of bandit and derivative-free stochastic convex optimization. In: COLT 2013 - The 26th Annual Conference on Learning Theory, NJ, USA, pp. 3–24 (2013) Shamir, O.: On the complexity of bandit and derivative-free stochastic convex optimization. In: COLT 2013 - The 26th Annual Conference on Learning Theory, NJ, USA, pp. 3–24 (2013)
9.
Zurück zum Zitat Kenney, J.F.: Mathematics of Statistics: Parts 1–2. Literary Licensing, LLC, New York (2013) Kenney, J.F.: Mathematics of Statistics: Parts 1–2. Literary Licensing, LLC, New York (2013)
10.
Zurück zum Zitat Beyer, H.-G., Melkozerov, A.: The dynamics of self-adaptive multi-recombinant evolution strategies on the general ellipsoid model. IEEE Trans. Evolut. Comput. 18(5), 764–778 (2014)CrossRef Beyer, H.-G., Melkozerov, A.: The dynamics of self-adaptive multi-recombinant evolution strategies on the general ellipsoid model. IEEE Trans. Evolut. Comput. 18(5), 764–778 (2014)CrossRef
11.
Zurück zum Zitat Beyer, H.-G.: The Theory of Evolution Strategies. Natural Computing Series. Springer, Heidelberg (2001)CrossRefMATH Beyer, H.-G.: The Theory of Evolution Strategies. Natural Computing Series. Springer, Heidelberg (2001)CrossRefMATH
12.
Zurück zum Zitat Melkozerov, A., Beyer, H.-G.: Towards an analysis of self-adaptive evolution strategies on the noisy ellipsoid model: progress rate and self-adaptation response. In: GECCO 2015, Madrid, Spain, pp. 297–304. ACM (2015) Melkozerov, A., Beyer, H.-G.: Towards an analysis of self-adaptive evolution strategies on the noisy ellipsoid model: progress rate and self-adaptation response. In: GECCO 2015, Madrid, Spain, pp. 297–304. ACM (2015)
Metadaten
Titel
Evolution Under Strong Noise: A Self-Adaptive Evolution Strategy Can Reach the Lower Performance Bound - The pcCMSA-ES
verfasst von
Michael Hellwig
Hans-Georg Beyer
Copyright-Jahr
2016
DOI
https://doi.org/10.1007/978-3-319-45823-6_3

Premium Partner