Skip to main content
Erschienen in:
Buchtitelbild

2020 | OriginalPaper | Buchkapitel

Multi-kernel Covariance Terms in Multi-output Support Vector Machines

verfasst von : Elisa Marcelli, Renato De Leone

Erschienen in: Machine Learning, Optimization, and Data Science

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This paper proposes a novel way to learn multi-task kernel machines by combining the structure of classical Support Vector Machine (SVM) optimization problem with multi-task covariance functions developed in Gaussian process (GP) literature. Specifically, we propose a multi-task Support Vector Machine that can be trained on data with multiple target variables simultaneously, while taking into account the correlation structure between different outputs. In the proposed framework, the correlation structure between multiple tasks is captured by covariance functions constructed using a Fourier transform, which allows to represent both auto and cross-correlation structure between the outputs. We present a mathematical model and validate it experimentally on a rescaled version of the Jura dataset, a collection of samples representing the amount of seven chemical elements into several locations. The results demonstrate the utility of our modeling framework.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Bielza, C., Li, G., Larranaga, P.: Multi-dimensional classification with Bayesian networks. Int. J. Approximate Reasoning 52(6), 705–727 (2011)MathSciNetCrossRef Bielza, C., Li, G., Larranaga, P.: Multi-dimensional classification with Bayesian networks. Int. J. Approximate Reasoning 52(6), 705–727 (2011)MathSciNetCrossRef
3.
Zurück zum Zitat Borchani, H., Varando, G., Bielza, C., Larrañaga, P.: A survey on multi-output regression. Wiley Interdisci. Rev. Data Min. Knowl. Disc. 5(5), 216–233 (2015)CrossRef Borchani, H., Varando, G., Bielza, C., Larrañaga, P.: A survey on multi-output regression. Wiley Interdisci. Rev. Data Min. Knowl. Disc. 5(5), 216–233 (2015)CrossRef
4.
Zurück zum Zitat Cai, F., Cherkassky, V.: Generalized SMO algorithm for SVM-based multitask learning. IEEE Trans. Neural Netw. Learn. Syst. 23(6), 997–1003 (2012)CrossRef Cai, F., Cherkassky, V.: Generalized SMO algorithm for SVM-based multitask learning. IEEE Trans. Neural Netw. Learn. Syst. 23(6), 997–1003 (2012)CrossRef
5.
Zurück zum Zitat Cressie, N.: Statistics for spatial data. Terra Nova 4(5), 613–617 (1992)CrossRef Cressie, N.: Statistics for spatial data. Terra Nova 4(5), 613–617 (1992)CrossRef
6.
Zurück zum Zitat Evgeniou, T., Pontil, M.: Regularized multi-task learning. In: Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 109–117 (2004) Evgeniou, T., Pontil, M.: Regularized multi-task learning. In: Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 109–117 (2004)
7.
Zurück zum Zitat Melki, G., Cano, A., Kecman, V., Ventura, S.: Multi-target support vector regression via correlation regressor chains. Inf. Sci. 415, 53–69 (2017)MathSciNetCrossRef Melki, G., Cano, A., Kecman, V., Ventura, S.: Multi-target support vector regression via correlation regressor chains. Inf. Sci. 415, 53–69 (2017)MathSciNetCrossRef
8.
Zurück zum Zitat Melkumyan, A., Ramos, F.: Multi-kernel gaussian processes. In: Twenty-Second International Joint Conference on Artificial Intelligence (2011) Melkumyan, A., Ramos, F.: Multi-kernel gaussian processes. In: Twenty-Second International Joint Conference on Artificial Intelligence (2011)
9.
Zurück zum Zitat Micchelli, C.A., Pontil, M.: Kernels for multi-task learning. In: Advances in neural Information Processing Systems, pp. 921–928 (2005) Micchelli, C.A., Pontil, M.: Kernels for multi-task learning. In: Advances in neural Information Processing Systems, pp. 921–928 (2005)
12.
Zurück zum Zitat Xu, D., Shi, Y., Tsang, I.W., Ong, Y.S., Gong, C., Shen, X.: Survey on multi-output learning. IEEE Trans. Neural Networks Learn. Syst. 31(7), 2409–2429 (2019)MathSciNet Xu, D., Shi, Y., Tsang, I.W., Ong, Y.S., Gong, C., Shen, X.: Survey on multi-output learning. IEEE Trans. Neural Networks Learn. Syst. 31(7), 2409–2429 (2019)MathSciNet
Metadaten
Titel
Multi-kernel Covariance Terms in Multi-output Support Vector Machines
verfasst von
Elisa Marcelli
Renato De Leone
Copyright-Jahr
2020
DOI
https://doi.org/10.1007/978-3-030-64580-9_1

Premium Partner