Skip to main content

2017 | OriginalPaper | Buchkapitel

mRMR+: An Effective Feature Selection Algorithm for Classification

verfasst von : Hussain A. Chowdhury, Dhruba K. Bhattacharyya

Erschienen in: Pattern Recognition and Machine Intelligence

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This paper presents an empirical study using three entropy measures such as Shannon’s entropy, Renyi’s entropy, and Tsallis entropy, while calculating mutual information to select top ranked features. We evaluate the selected features using three established classifiers such as naive Bayes, IBK and Random Forest in terms of classification accuracy on five gene expression datasets. We observe that none gives consistent performance in ordering the features based on their rank. To address this issue, we propose a variant of mRMR, using ensemble approach based on our own weight function. The results establish that our method is significantly superior than its other counterparts in terms of feature selection and classification accuracy in most of the datasets.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Abusamra, H.: A comparative study of feature selection and classification methods for gene expression data. Ph.d. thesis, King Abdullah University of Science and Technology (2013) Abusamra, H.: A comparative study of feature selection and classification methods for gene expression data. Ph.d. thesis, King Abdullah University of Science and Technology (2013)
2.
Zurück zum Zitat Aha, D.W., Kibler, D., Albert, M.K.: Instance-based learning algorithms. Mach. Learn. 6(1), 37–66 (1991) Aha, D.W., Kibler, D., Albert, M.K.: Instance-based learning algorithms. Mach. Learn. 6(1), 37–66 (1991)
3.
Zurück zum Zitat Bonev, B.: Feature selection based on information theory. Ph.d. thesis, University of Alicante, June 2010 Bonev, B.: Feature selection based on information theory. Ph.d. thesis, University of Alicante, June 2010
5.
Zurück zum Zitat Ding, C., Peng, H.: Minimum redundancy feature selection from microarray gene expression data. J. Bioinform. Comput. Biol. 3(2), 185–205 (2005)CrossRef Ding, C., Peng, H.: Minimum redundancy feature selection from microarray gene expression data. J. Bioinform. Comput. Biol. 3(2), 185–205 (2005)CrossRef
6.
Zurück zum Zitat Maszczyk, T., Duch, W.: Comparison of Shannon’s, Renyi’s and Tsallis entropy used in decision trees. In: Rutkowski, L., Tadeusiewicz, R., Zadeh, L.A., Zurada, J.M. (eds.) ICAISC 2008. LNCS, vol. 5097, pp. 643–651. Springer, Heidelberg (2008). doi:10.1007/978-3-540-69731-2_62 Maszczyk, T., Duch, W.: Comparison of Shannon’s, Renyi’s and Tsallis entropy used in decision trees. In: Rutkowski, L., Tadeusiewicz, R., Zadeh, L.A., Zurada, J.M. (eds.) ICAISC 2008. LNCS, vol. 5097, pp. 643–651. Springer, Heidelberg (2008). doi:10.​1007/​978-3-540-69731-2_​62
7.
Zurück zum Zitat Murphy, K.P.: Naive Bayes classifiers. University of British Columbia (2006) Murphy, K.P.: Naive Bayes classifiers. University of British Columbia (2006)
8.
Zurück zum Zitat Peng, H., Long, F., Ding, C.: Feature selection based on mutual information criteria of max-dependency, max-relevance, and min-redundancy. IEEE Trans. Pattern Anal. Mach. Intell. 27(8), 1226–1238 (2005)CrossRef Peng, H., Long, F., Ding, C.: Feature selection based on mutual information criteria of max-dependency, max-relevance, and min-redundancy. IEEE Trans. Pattern Anal. Mach. Intell. 27(8), 1226–1238 (2005)CrossRef
9.
Zurück zum Zitat Ponsa, D., López, A.: Feature selection based on a new formulation of the minimal-redundancy-maximal-relevance criterion. In: Martí, J., Benedí, J.M., Mendonça, A.M., Serrat, J. (eds.) IbPRIA 2007, Part I. LNCS, vol. 4477, pp. 47–54. Springer, Heidelberg (2007). doi:10.1007/978-3-540-72847-4_8 CrossRef Ponsa, D., López, A.: Feature selection based on a new formulation of the minimal-redundancy-maximal-relevance criterion. In: Martí, J., Benedí, J.M., Mendonça, A.M., Serrat, J. (eds.) IbPRIA 2007, Part I. LNCS, vol. 4477, pp. 47–54. Springer, Heidelberg (2007). doi:10.​1007/​978-3-540-72847-4_​8 CrossRef
10.
Zurück zum Zitat Shannon, C.E.: A mathematical theory of communication. ACM SIGMOBILE Mob. Comput. Commun. Rev. 5(1), 3–55 (2001)CrossRefMathSciNet Shannon, C.E.: A mathematical theory of communication. ACM SIGMOBILE Mob. Comput. Commun. Rev. 5(1), 3–55 (2001)CrossRefMathSciNet
Metadaten
Titel
mRMR+: An Effective Feature Selection Algorithm for Classification
verfasst von
Hussain A. Chowdhury
Dhruba K. Bhattacharyya
Copyright-Jahr
2017
DOI
https://doi.org/10.1007/978-3-319-69900-4_54