Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Bücher
Zeitschriften
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Weitere Formate
Podcasts Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
SLX-Digitalkonferenz: Zukunftswerkstatt 2024

Mehr Umsatz mit Top-Kontakten

Am 7. Mai erfahren Sie, wie Vertriebsteams Leadgenerierung, Leadnurturing und Leadstrategien effizient steuern können.
Erweiterte Suche
Anmelden
nach oben
Erschienen in:
Learning Enabled Constrained Black-Box Optimization Kapitel lesen Erstes Kapitel lesen

2021 | OriginalPaper | Buchkapitel

The No Free Lunch Theorem: What Are its Main Implications for the Optimization Practice?

verfasst von : Loris Serafino

Erschienen in: Black Box Optimization, Machine Learning, and No-Free Lunch Theorems

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

The chapter considers the recent but already classic theoretical result called No Free Lunch Theorem in the context of optimization practice. The No Free Lunch Theorem is probably the fundamental theoretical result of the Machine Learning field but its practical meaning and implication for practitioners facing “real life” industrial and design optimization problems are rarely addressed in the technical literature. This discussion is intended for a broad audience of mathematicians, engineers, and computer scientists and presents a probabilistic understanding of the theorem that can shed light to its meaning and impact in the industrial optimization practice.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren
Vorheriges Kapitel Finding Effective SAT Partitionings Via Black-Box Optimization
Nächstes Kapitel What Is Important About the No Free Lunch Theorems?
Fußnoten
1
With some abuse of language, in this chapter we will use the terms learning and inferring interchangeably.
 
2
In metaheuristics optimization the objective function is often referred to as fitness function or simply fitness.
 
3
Even if there is no explicit mention of constrains here the formulation is nonetheless enough general since they can be incorporated through an appropriate definition of the search space \(\mathcal {H}\).
 
4
Of course the sample must be properly generated. For Design of Experiments techniques see [10].
 
Literatur
1.
Wolpert, D.H., Macready, W.G.: No free lunch theorems for optimization. IEEE Trans. Evol. Comput. 1(1), 67–82 (1997)CrossRef
2.
Schöffler, S.: Global Optimization A Stochastic Approach. Springer, New York (2012)CrossRef
3.
Holland, J.H.: Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence. The MIT Press, Cambridge (1992)CrossRef
4.
Mitchell, M.: An Introduction to Genetic Algorithms MIT Press, Cambridge (1998)
5.
Haupt, S.E., Haupt, R.L.: Practical Genetic Algorithms, vol. 100. Wiley, Hoboken (2004)MATH
6.
Simon, D.: Evolutionary Optimization Algorithms. Wiley, Hoboken (2013)
7.
8.
Yang, X.S.: Review of metaheuristics and generalized evolutionary walk algorithm. J. Bio-Inspired Comput. 3(2), 77–84 (2011)CrossRef
9.
Serafino, L.: Optimizing without derivatives: what does the no free lunch theorem actually says? Not. AMS 61, 750–755 (2014)MathSciNetMATH
10.
Sudjianto, A., Fang, K.T., Li, R.: Design and Modeling for Computer Experiments. Computer Science & Data Analysis. Chapman & Hall/CRC, London (2005)
11.
12.
Eiben, A.E., Hinterding, R., Michalewicz, Z.: Parameter control in evolutionary algorithms. IEEE Trans. Evol. Comput. 3, 124–141 (2000)CrossRef
13.
Hansen, N.: The CMA evolution strategy: a comparing review. In: Towards a New Evolutionary Computation. Advances on Estimation of Distribution Algorithms, pp. 1769–1776. Springer, Berlin (2006)
14.
Jin, Y.: A comprehensive survey of fitness approximation in evolutionary computation. Soft Comput. 9(1), 3–12 (2005)CrossRef
15.
Conn, A.R., Scheinberg, K., Vicente, L.N.: Introduction to Derivative-Free Optimization. Society for Industrial and Applied Mathematics, Philadelphia (2009)CrossRef
16.
Brochu, E., Cora, V.M., de Freitas, N.: A tutorial on Bayesian optimization of expensive cost functions, with application to active user modeling and hierarchical reinforcement learning. CoRR abs/1012.2599 (2010)
17.
18.
Hoffman, M., Brochu, E., de Freitas, N.: Portfolio allocation for Bayesian optimization. UAI, arXiv:1009.5419v2 (2011)
19.
Hastie, T., Tibshirani, R., Friedman, J.: The Elements of Statistical Learning: Data Mining, Inference, and Prediction, corrected edn. Springer, Berlin (2003)MATH
20.
21.
Stefani, M.: Protein folding and misfolding on surfaces. Int. J. Mol. Sci. 9, 2515–2542 (2008)CrossRef
22.
Weise, T., Zapf, M., Chiong, R., Nebro Urbaneja, A.J.: Why is optimization difficult? In: Chiong, R. (ed.), Nature-Inspired Algorithms for Optimisation, pp. 1–50. Springer, Berlin (2009)
23.
Shan, S., Gary Wang, G.: Survey of modeling and optimization strategies to solve high-dimensional design problems with computationally-expensive black-box functions. Struct. Multidiscip. Optim. 41(2), 219–241 (2010)MathSciNetCrossRef
24.
Tennem, Y.: A computational intelligence algorithm for expensive engineering optimization problems. Eng. Appl. Artif. Intell. 25(5), 1009–1021 (2012)CrossRef
25.
Serafino, L.: No free lunch theorem and Bayesian probability theory: two sides of the same coin. Some implications for black-box optimization and metaheuristics (2013). arXiv:cs.LG/1311.6041
26.
27.
El-Mihoub, T.A., Nolle, L., Battersby, A., Hopgood, A.A.: Hybrid genetic algorithms: a review. Eng. Lett. 13(2), 103591 (2006)
28.
Garcia-Martinez, C., Rodriguez, F.J., Lozano, M.: Arbitrary function optimisation with metaheuristics. Soft Comput. 16(12), 2115–2133 (2012)CrossRef
Metadaten
Titel
The No Free Lunch Theorem: What Are its Main Implications for the Optimization Practice?
verfasst von
Loris Serafino
Copyright-Jahr
2021
Buch
Black Box Optimization, Machine Learning, and No-Free Lunch Theorems

Print ISBN: 978-3-030-66514-2

Electronic ISBN: 978-3-030-66515-9

Copyright-Jahr: 2021

DOI
https://doi.org/10.1007/978-3-030-66515-9_12

Premium Partner

    Bildnachweise