Skip to main content

2018 | OriginalPaper | Buchkapitel

On the Interaction Between Feature Selection and Parameter Determination in Fuzzy Modelling

verfasst von : Peipei Chen, Caro Fuchs, Anna Wilbik, Tak-Ming Chan, Saskia van Loon, Arjen-Kars Boer, Xudong Lu, Volkher Scharnhorst, Uzay Kaymak

Erschienen in: Information Processing and Management of Uncertainty in Knowledge-Based Systems. Applications

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Nowadays the amount of data that is collected in various settings is growing rapidly. These elaborate data records enable the training of machine learning models that can be used to extract insights and for making better informed decisions. When doing the data mining task, on one hand, feature selection is often used to reduce the dimensionality of the data. On the other hand, we need to decide the structure (parameters) of the model when building the model. However, feature selection and the parameters of the model may interact and affect the performance of the model. Therefore, it is difficult to decide the optimal parameter and the optimal feature subset without an exhaustive search of all the combination of the parameters and the feature subsets which is time-consuming. In this paper, we study how the interaction between feature selection and the parameters of a model affect the performance of the model through experiments on four data sets.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Bolón-Canedo, V., Sánchez-Maroño, N., Alonso-Betanzos, A.: A review of feature selection methods on synthetic data. Knowl. Inf. Syst. 34(3), 483–519 (2013)CrossRef Bolón-Canedo, V., Sánchez-Maroño, N., Alonso-Betanzos, A.: A review of feature selection methods on synthetic data. Knowl. Inf. Syst. 34(3), 483–519 (2013)CrossRef
3.
Zurück zum Zitat Bose, I., Mahapatra, R.K.: Business data mining a machine learning perspective. Inf. Manag. 39(3), 211–225 (2001)CrossRef Bose, I., Mahapatra, R.K.: Business data mining a machine learning perspective. Inf. Manag. 39(3), 211–225 (2001)CrossRef
4.
Zurück zum Zitat Chen, P., Wilbik, A., van Loon, S., Boer, A.-K., Kaymak, U.: Finding the optimal number of features based on mutual information. In: Kacprzyk, J., Szmidt, E., Zadrożny, S., Atanassov, K.T., Krawczak, M. (eds.) IWIFSGN/EUSFLAT -2017. AISC, vol. 641, pp. 477–486. Springer, Cham (2018). https://doi.org/10.1007/978-3-319-66830-7_43CrossRef Chen, P., Wilbik, A., van Loon, S., Boer, A.-K., Kaymak, U.: Finding the optimal number of features based on mutual information. In: Kacprzyk, J., Szmidt, E., Zadrożny, S., Atanassov, K.T., Krawczak, M. (eds.) IWIFSGN/EUSFLAT -2017. AISC, vol. 641, pp. 477–486. Springer, Cham (2018). https://​doi.​org/​10.​1007/​978-3-319-66830-7_​43CrossRef
5.
Zurück zum Zitat Chiu, S.L.: Fuzzy model identification based on cluster estimation. J. Intell. Fuzzy Syst. 2(3), 267–278 (1994) Chiu, S.L.: Fuzzy model identification based on cluster estimation. J. Intell. Fuzzy Syst. 2(3), 267–278 (1994)
7.
Zurück zum Zitat Claesen, M., Simm, J., Popovic, D., Moreau, Y., De Moor, B.: Easy hyperparameter search using optunity. arXiv preprint arXiv:1412.1114 (2014) Claesen, M., Simm, J., Popovic, D., Moreau, Y., De Moor, B.: Easy hyperparameter search using optunity. arXiv preprint arXiv:​1412.​1114 (2014)
8.
Zurück zum Zitat Guyon, I., Elisseeff, A.: An introduction to variable and feature selection. J. Mach. Learn. Res. 3(Mar), 1157–1182 (2003)MATH Guyon, I., Elisseeff, A.: An introduction to variable and feature selection. J. Mach. Learn. Res. 3(Mar), 1157–1182 (2003)MATH
9.
Zurück zum Zitat Guyon, I., Weston, J., Barnhill, S., Vapnik, V.: Gene selection for cancer classification using support vector machines. Mach. Learn. 46(1), 389–422 (2002)CrossRef Guyon, I., Weston, J., Barnhill, S., Vapnik, V.: Gene selection for cancer classification using support vector machines. Mach. Learn. 46(1), 389–422 (2002)CrossRef
10.
Zurück zum Zitat Jang, J.S.R., Sun, C.T., Mizutani, E.: Neuro-fuzzy and Soft Computing, a Computational Approach to Learning and Machine Intelligence. Prentice-Hall Inc., Upper Saddle River (1997) Jang, J.S.R., Sun, C.T., Mizutani, E.: Neuro-fuzzy and Soft Computing, a Computational Approach to Learning and Machine Intelligence. Prentice-Hall Inc., Upper Saddle River (1997)
11.
Zurück zum Zitat Kawala, F., Douzal-Chouakria, A., Gaussier, E., Dimert, E.: Prédictions d’activité dans les réseaux sociaux en ligne. In: 4ième Conférence sur les Modèles et l’Analyse des Réseaux: Approches Mathématiques et Informatiques, p. 16 (2013) Kawala, F., Douzal-Chouakria, A., Gaussier, E., Dimert, E.: Prédictions d’activité dans les réseaux sociaux en ligne. In: 4ième Conférence sur les Modèles et l’Analyse des Réseaux: Approches Mathématiques et Informatiques, p. 16 (2013)
13.
Zurück zum Zitat Kohavi, R., John, G.H.: Wrappers for feature subset selection. Artif. Intell. 97(1–2), 273–324 (1997)CrossRef Kohavi, R., John, G.H.: Wrappers for feature subset selection. Artif. Intell. 97(1–2), 273–324 (1997)CrossRef
17.
Zurück zum Zitat Mejía-Lavalle, M., Sucar, E., Arroyo, G.: Feature selection with a perceptron neural net. In: Proceedings of the International Workshop on Feature Selection for Data Mining, pp. 131–135 (2006) Mejía-Lavalle, M., Sucar, E., Arroyo, G.: Feature selection with a perceptron neural net. In: Proceedings of the International Workshop on Feature Selection for Data Mining, pp. 131–135 (2006)
18.
Zurück zum Zitat Pehro, D., Stork, D.: Pattern Classification. Wiley, New York (2001) Pehro, D., Stork, D.: Pattern Classification. Wiley, New York (2001)
19.
Zurück zum Zitat Takagi, T., Sugeno, M.: Fuzzy identification of systems and its applications to modeling and control. IEEE Trans. Syst. Man Cybern. 1, 116–132 (1985)CrossRef Takagi, T., Sugeno, M.: Fuzzy identification of systems and its applications to modeling and control. IEEE Trans. Syst. Man Cybern. 1, 116–132 (1985)CrossRef
20.
Zurück zum Zitat Vergara, J.R., Estévez, P.A.: A review of feature selection methods based on mutual information. Neural Comput. Appl. 24(1), 175–186 (2014)CrossRef Vergara, J.R., Estévez, P.A.: A review of feature selection methods based on mutual information. Neural Comput. Appl. 24(1), 175–186 (2014)CrossRef
21.
Zurück zum Zitat Young, S.R., Rose, D.C., Karnowski, T.P., Lim, S.H., Patton, R.M.: Optimizing deep learning hyper-parameters through an evolutionary algorithm. In: Proceedings of the Workshop on Machine Learning in High-Performance Computing Environments, p. 4. ACM (2015) Young, S.R., Rose, D.C., Karnowski, T.P., Lim, S.H., Patton, R.M.: Optimizing deep learning hyper-parameters through an evolutionary algorithm. In: Proceedings of the Workshop on Machine Learning in High-Performance Computing Environments, p. 4. ACM (2015)
Metadaten
Titel
On the Interaction Between Feature Selection and Parameter Determination in Fuzzy Modelling
verfasst von
Peipei Chen
Caro Fuchs
Anna Wilbik
Tak-Ming Chan
Saskia van Loon
Arjen-Kars Boer
Xudong Lu
Volkher Scharnhorst
Uzay Kaymak
Copyright-Jahr
2018
DOI
https://doi.org/10.1007/978-3-319-91479-4_13