Skip to main content

Tipp

Weitere Kapitel dieses Buchs durch Wischen aufrufen

2016 | OriginalPaper | Buchkapitel

Genetic Programming Model Regularization

verfasst von : César L. Alonso, José Luis Montaña, Cruz Enrique Borges

Erschienen in: Computational Intelligence

Verlag: Springer International Publishing

Abstract

We propose a tool for controlling the complexity of Genetic Programming models. The tool is supported by the theory of Vapnik-Chervonekis dimension (VCD) and is combined with a novel representation of models named straight line program. Experimental results, implemented on conventional algebraic structures (such as polynomials), show that the empirical risk, penalized by suitable upper bounds for the Vapnik-Chervonenkis dimension, gives a generalization error smaller than the use of statistical conventional techniques such as Bayesian or Akaike information criteria.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Alonso, C.L., Montaña, J.L.. Puente, J.: Straight line programs: a new linear genetic programming approach. In:Proceedings of the 20th IEEE International Conference on Tools with Artificial Intelligence (ICTAI), pp. 571–524 (2008) Alonso, C.L., Montaña, J.L.. Puente, J.: Straight line programs: a new linear genetic programming approach. In:Proceedings of the 20th IEEE International Conference on Tools with Artificial Intelligence (ICTAI), pp. 571–524 (2008)
3.
Zurück zum Zitat Angluin, D., Smith, C.H.: Inductive inference: theory and methods. ACM Comput. Surv. 15(3), 237–569 (1983) MathSciNetCrossRef Angluin, D., Smith, C.H.: Inductive inference: theory and methods. ACM Comput. Surv. 15(3), 237–569 (1983) MathSciNetCrossRef
4.
Zurück zum Zitat Berkowitz, S.J.: On computing the determinant in small parallel time using a small number of processors. Inf. Process. Lett. 18, 147–150 (1984) MathSciNetCrossRefMATH Berkowitz, S.J.: On computing the determinant in small parallel time using a small number of processors. Inf. Process. Lett. 18, 147–150 (1984) MathSciNetCrossRefMATH
5.
Zurück zum Zitat Bernadro, J., Smith, A.: Bayesian Theory. Willey, New York (1994) Bernadro, J., Smith, A.: Bayesian Theory. Willey, New York (1994)
6.
Zurück zum Zitat Burguisser, P., Clausen, M., Shokrollahi, M.A.: Algebraic Complexity Theory. Springer, New York (1997) Burguisser, P., Clausen, M., Shokrollahi, M.A.: Algebraic Complexity Theory. Springer, New York (1997)
7.
Zurück zum Zitat Cherkassky, V., Yunkian, M.: Comparison of model selection fo regression. Neural Comput. 15(7), 1691–1714 (2003) CrossRefMATH Cherkassky, V., Yunkian, M.: Comparison of model selection fo regression. Neural Comput. 15(7), 1691–1714 (2003) CrossRefMATH
8.
Zurück zum Zitat Gabrielov, A.N., Vorobjov, N.: Complexity of Computations with Pfaffian and Noetherian Functions, Normal Forms, Bifurcations and Finiteness Problems in Differential Equations. Kluwer, Dordrecht (2004) Gabrielov, A.N., Vorobjov, N.: Complexity of Computations with Pfaffian and Noetherian Functions, Normal Forms, Bifurcations and Finiteness Problems in Differential Equations. Kluwer, Dordrecht (2004)
9.
Zurück zum Zitat Giusti, M., Heinz, J.: La Détermination des Points Isolés et la Dimension dúne Varieté Agebrique Peut se Faire en Temps Polynomial, Computational Algebraic Geometry and Commutative Algebra, Symposia Matematica XXXIV, Eisenbud, D, Robbiano, L. (eds.), pp. 216–256. Cambridge University Press, Cambridge (1993) Giusti, M., Heinz, J.: La Détermination des Points Isolés et la Dimension dúne Varieté Agebrique Peut se Faire en Temps Polynomial, Computational Algebraic Geometry and Commutative Algebra, Symposia Matematica XXXIV, Eisenbud, D, Robbiano, L. (eds.), pp. 216–256. Cambridge University Press, Cambridge (1993)
10.
Zurück zum Zitat Giusti, M., Heintz, J., Morais, J., Morgentern, J.E., Pardo, L.M.: Straight line programs in geometric elimination theory. J. Pure Appl. algebra 124, 121–146 (1997) MathSciNet Giusti, M., Heintz, J., Morais, J., Morgentern, J.E., Pardo, L.M.: Straight line programs in geometric elimination theory. J. Pure Appl. algebra 124, 121–146 (1997) MathSciNet
11.
Zurück zum Zitat Goldberg, P., Jerrum, M.: Bounding the vapnik-chervonenkis dimension of concept classes parametrizes by real numbers. Mach. Learn. 18, 131–148 (1995) MATH Goldberg, P., Jerrum, M.: Bounding the vapnik-chervonenkis dimension of concept classes parametrizes by real numbers. Mach. Learn. 18, 131–148 (1995) MATH
12.
Zurück zum Zitat Gori, M., Maggini, M., Martinelli, E., Soda, G.: Inductive inference from noisy examples using the hybrid finite state filter. IEEE Trans. Neural Networks 9–3, 571–575 (1998) CrossRef Gori, M., Maggini, M., Martinelli, E., Soda, G.: Inductive inference from noisy examples using the hybrid finite state filter. IEEE Trans. Neural Networks 9–3, 571–575 (1998) CrossRef
13.
Zurück zum Zitat Heintz, J., Roy, M.F., Solerno, P.: Sur la Complexité du Principe de Tarski-Seidenberg. Bulletin de la Societé Mathematique de France 118, 101–126 (1990) MathSciNetMATH Heintz, J., Roy, M.F., Solerno, P.: Sur la Complexité du Principe de Tarski-Seidenberg. Bulletin de la Societé Mathematique de France 118, 101–126 (1990) MathSciNetMATH
14.
Zurück zum Zitat Koza, J.: Genetic Programming: on the Programming of Computers by Means of Natural Selection. The MIT Press, Cambridge (1992) Koza, J.: Genetic Programming: on the Programming of Computers by Means of Natural Selection. The MIT Press, Cambridge (1992)
15.
Zurück zum Zitat Nikolaev, N.Y., Iba, H.: Regularization approach to inductive genetic programming. IEEE Trans. Evol. Comput. 5(4), 359–375 (2001) CrossRef Nikolaev, N.Y., Iba, H.: Regularization approach to inductive genetic programming. IEEE Trans. Evol. Comput. 5(4), 359–375 (2001) CrossRef
16.
Zurück zum Zitat Okley, H.: In: Kinnear, K. (ed.) Advances in Genetic Programming. Two scientific applications of Genetic Programming: Stack filters and nonlinear fitting to chaotic data, pp. 369–389. MIT Press, Cambridge (1994) Okley, H.: In: Kinnear, K. (ed.) Advances in Genetic Programming. Two scientific applications of Genetic Programming: Stack filters and nonlinear fitting to chaotic data, pp. 369–389. MIT Press, Cambridge (1994)
17.
Zurück zum Zitat Poli, R., Cagnoni, S.: In: Koza, J.R., Deb, K., Dorigo, M., Fogel, D.B., Garzon, M., Iba, H., Riolo, R.L. (eds.) Evolution of Pseudo-coloring Algoritms for Image Enhancement with Interactive Genetic Programming, pp. 269–277. MIT Press, Cambridge (1997) Poli, R., Cagnoni, S.: In: Koza, J.R., Deb, K., Dorigo, M., Fogel, D.B., Garzon, M., Iba, H., Riolo, R.L. (eds.) Evolution of Pseudo-coloring Algoritms for Image Enhancement with Interactive Genetic Programming, pp. 269–277. MIT Press, Cambridge (1997)
18.
Zurück zum Zitat Shaoning, P., Kasabov, N.: Inductive vs transductive inference. global vs local models: SVM, TSVM and SVMT for gene expression classification problems. In: Proceedings IEEE International Joint Conference on Neural Networks, vol. 2, pp. 1197–1202 (2004) Shaoning, P., Kasabov, N.: Inductive vs transductive inference. global vs local models: SVM, TSVM and SVMT for gene expression classification problems. In: Proceedings IEEE International Joint Conference on Neural Networks, vol. 2, pp. 1197–1202 (2004)
19.
Zurück zum Zitat Tackett, W.A., Carmi, A.: In: Kinnear, K. (ed.) The Donut Problem: Scalability and Generalization in Genetic Programming, Advances in Genetic Programming. MIT Press, Cambridge (1994) Tackett, W.A., Carmi, A.: In: Kinnear, K. (ed.) The Donut Problem: Scalability and Generalization in Genetic Programming, Advances in Genetic Programming. MIT Press, Cambridge (1994)
20.
Zurück zum Zitat Tenebaum, J.B., Griffiths, T.L., Kemp, C.: Theory Based Bayesian Models of Inductive Learning and Reasoning. Trends in Cognitive Sciences, Kingston, vol. 10(7), pp. 309–318 (2006) Tenebaum, J.B., Griffiths, T.L., Kemp, C.: Theory Based Bayesian Models of Inductive Learning and Reasoning. Trends in Cognitive Sciences, Kingston, vol. 10(7), pp. 309–318 (2006)
21.
Zurück zum Zitat Vapnik, V., Chervonenkis, A.: Ordered risk minimization. Autom. Remote Control 34, 1226–1235 (1974) MathSciNetMATH Vapnik, V., Chervonenkis, A.: Ordered risk minimization. Autom. Remote Control 34, 1226–1235 (1974) MathSciNetMATH
22.
Zurück zum Zitat Vapnik, V.: Statistical Learning Theory. Willey, New York (1998) Vapnik, V.: Statistical Learning Theory. Willey, New York (1998)
Metadaten
Titel
Genetic Programming Model Regularization
verfasst von
César L. Alonso
José Luis Montaña
Cruz Enrique Borges
Copyright-Jahr
2016
DOI
https://doi.org/10.1007/978-3-319-23392-5_6

Premium Partner