Skip to main content

2019 | OriginalPaper | Buchkapitel

Parameter Optimization of Polynomial Kernel SVM from miniCV

verfasst von : Li-Chia Yeh, Chung-Chin Lu

Erschienen in: Machine Learning, Optimization, and Data Science

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Polynomial kernel support vector machine (SVM) is one of the most computational efficient kernel-based SVM. Implementing an iterative optimization method, sequential minimal optimization (SMO) makes it more hardware independent. However, the test accuracy is sensitive to the values of hyperparameters. Moreover, polynomial kernel SVM has four hyperparameters which complicate cross-validation in parameter optimization. In this research, we transform polynomial kernels to have bounded values and analyze the relations between hyperparameters and the test error rate. Based on our discoveries, we propose mini core validation (miniCV) to fast screen out an optimized hyperparameter combination especially for large datasets. The proposed miniCV is a parameter optimization approach completely built on the distribution of the data generated via the iterative SMO training process. Since miniCV depends on the kernel matrix directly, it saves miniCV from cross-validation to optimize hyperparameters in kernel-based SVM.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat De Souza, B.F., De Carvalho, A.C.P.L.F., Calvo, R., Ishii, R.P.: Multiclass SVM model selection using particle swarm optimization. In: 2006 Sixth International Conference on Hybrid Intelligent Systems (HIS 2006), p. 31, December 2006. https://doi.org/10.1109/HIS.2006.264914 De Souza, B.F., De Carvalho, A.C.P.L.F., Calvo, R., Ishii, R.P.: Multiclass SVM model selection using particle swarm optimization. In: 2006 Sixth International Conference on Hybrid Intelligent Systems (HIS 2006), p. 31, December 2006. https://​doi.​org/​10.​1109/​HIS.​2006.​264914
2.
Zurück zum Zitat Devijver, P., Kittler, J.: Pattern Recognition: A Statistical Approach. Prentice-Hall, London (1982)MATH Devijver, P., Kittler, J.: Pattern Recognition: A Statistical Approach. Prentice-Hall, London (1982)MATH
7.
Zurück zum Zitat Keerthi, S., Gilbert, E.: Convergence of a generalized SMO algorithm for SVM classifier design. Mach. Learn. 46(1), 351–360 (2002)CrossRef Keerthi, S., Gilbert, E.: Convergence of a generalized SMO algorithm for SVM classifier design. Mach. Learn. 46(1), 351–360 (2002)CrossRef
9.
10.
11.
Zurück zum Zitat Platt, J.C.: A fast algorithm for training support vector machines. In: Advances in Kernel Methods-Support Vector Learning, vol. 208, July 1998 Platt, J.C.: A fast algorithm for training support vector machines. In: Advances in Kernel Methods-Support Vector Learning, vol. 208, July 1998
13.
Zurück zum Zitat Tharwat, A., Hassanien, A.E., Elnaghi, B.E.: A BA-based algorithm for parameter optimization of support vector machine. Pattern Recognit. Lett. 93, 13–22 (2017). Pattern Recognition Techniques in Data MiningCrossRef Tharwat, A., Hassanien, A.E., Elnaghi, B.E.: A BA-based algorithm for parameter optimization of support vector machine. Pattern Recognit. Lett. 93, 13–22 (2017). Pattern Recognition Techniques in Data MiningCrossRef
16.
Zurück zum Zitat Yeh, L.C., Lu, C.C.: Parameter optimization of RBF kernel SVM from miniCV. In: Proceedings of the 15th International Conference on Data Science (ICDATA 2019), July 2019 Yeh, L.C., Lu, C.C.: Parameter optimization of RBF kernel SVM from miniCV. In: Proceedings of the 15th International Conference on Data Science (ICDATA 2019), July 2019
Metadaten
Titel
Parameter Optimization of Polynomial Kernel SVM from miniCV
verfasst von
Li-Chia Yeh
Chung-Chin Lu
Copyright-Jahr
2019
DOI
https://doi.org/10.1007/978-3-030-37599-7_41