Skip to main content
Erschienen in: Soft Computing 17/2020

03.02.2020 | Methodologies and Application

LASSO multi-objective learning algorithm for feature selection

verfasst von: Frederico Coelho, Marcelo Costa, Michel Verleysen, Antônio P. Braga

Erschienen in: Soft Computing | Ausgabe 17/2020

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This work proposes a new algorithm for training neural networks to solve the problems of feature selection and function approximation. The algorithm applies different weight constraint functions for the hidden and the output layers of a multilayer perceptron neural network. The LASSO operator is applied to the hidden layer; therefore, the training provides automatic selection of relevant features and the standard norm regularization function is applied to the output layer. Therefore, we propose a multi-objective training algorithm that is able to select the important features while solving the approximation problem.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Literatur
Zurück zum Zitat (1994) Encyclopaedia of Mathematics (set). Springer Netherlands (1994) Encyclopaedia of Mathematics (set). Springer Netherlands
Zurück zum Zitat Bartlett PL (1997) For valid generalization the size of the weights is more important than the size of the network. In: Mozer MC, Jordan MI, Petsche T (eds) Advances in neural information processing systems, vol 9. The MIT Press, Cambridge Bartlett PL (1997) For valid generalization the size of the weights is more important than the size of the network. In: Mozer MC, Jordan MI, Petsche T (eds) Advances in neural information processing systems, vol 9. The MIT Press, Cambridge
Zurück zum Zitat Bland RG, Goldfarb D, Todd MJ (1980) The ellipsoid method: a survey. Technical report, Ithaca Bland RG, Goldfarb D, Todd MJ (1980) The ellipsoid method: a survey. Technical report, Ithaca
Zurück zum Zitat Braga A, Takahashi R, Costa M, Teixeira R (2006) Multi-objective algorithms for neural networks learning. In: Jin Y (ed) Multi-objective machine learning, studies in computational intelligence, vol 16. Springer, Berlin, pp 151–171CrossRef Braga A, Takahashi R, Costa M, Teixeira R (2006) Multi-objective algorithms for neural networks learning. In: Jin Y (ed) Multi-objective machine learning, studies in computational intelligence, vol 16. Springer, Berlin, pp 151–171CrossRef
Zurück zum Zitat Broadbent D (1958) Perception and communication. Pergamon Press, LondonCrossRef Broadbent D (1958) Perception and communication. Pergamon Press, LondonCrossRef
Zurück zum Zitat Gacek A, Pedrycz W (2011) ECG signal processing, classification and interpretation: a comprehensive framework of computational intelligence. Springer, New York Gacek A, Pedrycz W (2011) ECG signal processing, classification and interpretation: a comprehensive framework of computational intelligence. Springer, New York
Zurück zum Zitat Geman S, Bienenstock E, Doursat R (1992) Neural networks and the bias-variance dilemma. Neural Comput 4:1–58CrossRef Geman S, Bienenstock E, Doursat R (1992) Neural networks and the bias-variance dilemma. Neural Comput 4:1–58CrossRef
Zurück zum Zitat Gretton A, Bousquet O, Smola A, Schölkopf B (2005) Measuring statistical dependence with Hilbert–Schmidt norms. In: International conference on algorithmic learning theory. Springer, pp 63–77 Gretton A, Bousquet O, Smola A, Schölkopf B (2005) Measuring statistical dependence with Hilbert–Schmidt norms. In: International conference on algorithmic learning theory. Springer, pp 63–77
Zurück zum Zitat Guyon I, Road C (2008) Practical feature selection : from correlation to causality. IOS Press, Amsterdam, pp 1–17 Guyon I, Road C (2008) Practical feature selection : from correlation to causality. IOS Press, Amsterdam, pp 1–17
Zurück zum Zitat Hastie T, Tibshirani R, Friedman J (2009) The elements of statistical learning: data mining, inference and prediction, 2nd edn. Springer, New YorkCrossRef Hastie T, Tibshirani R, Friedman J (2009) The elements of statistical learning: data mining, inference and prediction, 2nd edn. Springer, New YorkCrossRef
Zurück zum Zitat Haykin S (2001) Redes Neurais. Princípios e Prática, Bookman Haykin S (2001) Redes Neurais. Princípios e Prática, Bookman
Zurück zum Zitat Kira K, Rendell LA (1992) The feature selection problem: traditional methods and a new algorithm. AAAI. MIT Press, Cambridge, pp 129–134 Kira K, Rendell LA (1992) The feature selection problem: traditional methods and a new algorithm. AAAI. MIT Press, Cambridge, pp 129–134
Zurück zum Zitat Teixeira BTRS Roselito (2000) Improving generalization of MLPS with multi-objective optimization. Neurocomputing 35(1–4):189–194 Teixeira BTRS Roselito (2000) Improving generalization of MLPS with multi-objective optimization. Neurocomputing 35(1–4):189–194
Zurück zum Zitat Tibshirani R (1996a) Regression shrinkage and selection via the lasso. J R Stat Soc B 58:267–288MathSciNetMATH Tibshirani R (1996a) Regression shrinkage and selection via the lasso. J R Stat Soc B 58:267–288MathSciNetMATH
Zurück zum Zitat Tibshirani R (1996b) Regression shrinkage and selection via the lasso. J R Stat Soc (Ser B) 58:267–288MathSciNetMATH Tibshirani R (1996b) Regression shrinkage and selection via the lasso. J R Stat Soc (Ser B) 58:267–288MathSciNetMATH
Zurück zum Zitat Vapnik V, Boser (1992) A training algorithm for optimal margin classifiers. In: Fifth annual workshop on computational learning theory, San mateo, pp 1–152 Vapnik V, Boser (1992) A training algorithm for optimal margin classifiers. In: Fifth annual workshop on computational learning theory, San mateo, pp 1–152
Zurück zum Zitat Vapnik VN, Cortes C (1995a) Support vector networks. Mach Learn 20:273–297MATH Vapnik VN, Cortes C (1995a) Support vector networks. Mach Learn 20:273–297MATH
Zurück zum Zitat Vapnik V (1995b) The nature of statistical learning theory. Springer, New YorkCrossRef Vapnik V (1995b) The nature of statistical learning theory. Springer, New YorkCrossRef
Metadaten
Titel
LASSO multi-objective learning algorithm for feature selection
verfasst von
Frederico Coelho
Marcelo Costa
Michel Verleysen
Antônio P. Braga
Publikationsdatum
03.02.2020
Verlag
Springer Berlin Heidelberg
Erschienen in
Soft Computing / Ausgabe 17/2020
Print ISSN: 1432-7643
Elektronische ISSN: 1433-7479
DOI
https://doi.org/10.1007/s00500-020-04734-w

Weitere Artikel der Ausgabe 17/2020

Soft Computing 17/2020 Zur Ausgabe