Skip to main content
Erschienen in: International Journal of Machine Learning and Cybernetics 4/2017

29.01.2016 | Original Article

Hierarchically penalized support vector machine with grouped variables

verfasst von: Sungwan Bang, Jongkyeong Kang, Myoungshic Jhun, Eunkyung Kim

Erschienen in: International Journal of Machine Learning and Cybernetics | Ausgabe 4/2017

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

When input features are naturally grouped or generated by factors in a linear classification problem, it is more meaningful to identify important groups or factors rather than individual features. The F -norm support vector machine (SVM) and the group lasso penalized SVM have been developed to perform simultaneous classification and factor selection. However, these group-wise penalized SVM methods may suffer from estimation inefficiency and model selection inconsistency because they cannot perform feature selection within an identified group. To overcome this limitation, we propose the hierarchically penalized SVM (H-SVM) that not only effectively identifies important groups but also removes irrelevant features within an identified group. Numerical results are presented to demonstrate the competitive performance of the proposed H-SVM over existing SVM methods.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Weitere Produktempfehlungen anzeigen
Anhänge
Nur mit Berechtigung zugänglich
Literatur
1.
Zurück zum Zitat Bang S, Jhun M (2012) Simultaneous estimation and factor selection in quantile regression via adaptive sup-norm regularization. Comput Stat Data Anal 56:813–826 Bang S, Jhun M (2012) Simultaneous estimation and factor selection in quantile regression via adaptive sup-norm regularization. Comput Stat Data Anal 56:813–826
2.
4.
Zurück zum Zitat Chapelle O, Keerthi S (2008) Multi-class feature selection with support vector machines. In: Proceedings of the Amercian Statistical Association Chapelle O, Keerthi S (2008) Multi-class feature selection with support vector machines. In: Proceedings of the Amercian Statistical Association
5.
Zurück zum Zitat Frank I, Friedman J (1993) A statistical view of some chemometrics regression tools. Technometrics 35:109–148CrossRefMATH Frank I, Friedman J (1993) A statistical view of some chemometrics regression tools. Technometrics 35:109–148CrossRefMATH
6.
Zurück zum Zitat Hastie T, Tibshirani R, Friedman J (2001) The Elements of Statistical Learning. Springer-Verlag, New YorkCrossRefMATH Hastie T, Tibshirani R, Friedman J (2001) The Elements of Statistical Learning. Springer-Verlag, New YorkCrossRefMATH
7.
Zurück zum Zitat Hoerl A, Kennard R (1970) Ridge regression: Biased estimation for nonorthogonal problems. Technometrics 12:55–67CrossRefMATH Hoerl A, Kennard R (1970) Ridge regression: Biased estimation for nonorthogonal problems. Technometrics 12:55–67CrossRefMATH
11.
Zurück zum Zitat Tibshirani R (1996) Regression shrinkage and selection via the lasso. J Roy Stat Soc B 58:267–288MathSciNetMATH Tibshirani R (1996) Regression shrinkage and selection via the lasso. J Roy Stat Soc B 58:267–288MathSciNetMATH
12.
13.
15.
17.
18.
Zurück zum Zitat Zhang H, Liu Y, Wu Y, Zhu J (2008) Variable selection for multicategory svm via sup-norm regularization. Electr J Stat 2:149–167MathSciNetCrossRefMATH Zhang H, Liu Y, Wu Y, Zhu J (2008) Variable selection for multicategory svm via sup-norm regularization. Electr J Stat 2:149–167MathSciNetCrossRefMATH
19.
Zurück zum Zitat Zhao P, Rocha G, Yu B (2009) The composite absolute penalties family for grouped and hierarchical variable selection. Ann Stat 37:3468–3497MathSciNetCrossRefMATH Zhao P, Rocha G, Yu B (2009) The composite absolute penalties family for grouped and hierarchical variable selection. Ann Stat 37:3468–3497MathSciNetCrossRefMATH
20.
21.
Zurück zum Zitat Zhu J, Rosset S, Hastie T, Tibshirani R (2003) 1-norm support vector machine. Neural Inf Proc Syst 16 Zhu J, Rosset S, Hastie T, Tibshirani R (2003) 1-norm support vector machine. Neural Inf Proc Syst 16
22.
23.
Zurück zum Zitat Zou H, Yuan M (2008) Regularized simultaneous model selection in multiple quantiles regression. Comput Stat Data Anal 52:5296–5304MathSciNetCrossRefMATH Zou H, Yuan M (2008) Regularized simultaneous model selection in multiple quantiles regression. Comput Stat Data Anal 52:5296–5304MathSciNetCrossRefMATH
Metadaten
Titel
Hierarchically penalized support vector machine with grouped variables
verfasst von
Sungwan Bang
Jongkyeong Kang
Myoungshic Jhun
Eunkyung Kim
Publikationsdatum
29.01.2016
Verlag
Springer Berlin Heidelberg
Erschienen in
International Journal of Machine Learning and Cybernetics / Ausgabe 4/2017
Print ISSN: 1868-8071
Elektronische ISSN: 1868-808X
DOI
https://doi.org/10.1007/s13042-016-0494-2

Weitere Artikel der Ausgabe 4/2017

International Journal of Machine Learning and Cybernetics 4/2017 Zur Ausgabe

Neuer Inhalt