Skip to main content

2016 | OriginalPaper | Buchkapitel

A Novel Manifold Regularized Online Semi-supervised Learning Algorithm

verfasst von : Shuguang Ding, Xuanyang Xi, Zhiyong Liu, Hong Qiao, Bo Zhang

Erschienen in: Neural Information Processing

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

In this paper, we propose a novel manifold regularized online semi-supervised learning (OS\(^2\)L) model in an Reproducing Kernel Hilbert Space (RK-HS). The proposed algorithm, named Model-Based Online Manifold Regularization (MOMR), is derived by solving a constrained optimization problem, which is different from the stochastic gradient algorithm used for solving the online version of the primal problem of Laplacian support vector machine (LapSVM). Taking advantage of the convex property of the proposed model, an exact solution can be obtained iteratively by solving its Lagrange dual problem. Furthermore, a buffering strategy is introduced to improve the computational efficiency of the algorithm. Finally, the proposed algorithm is experimentally shown to have a comparable performance to the standard batch manifold regularization algorithm.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Babenko, B., Yang, M.H., Belongie, S.: Visual tracking with online multiple instance learning. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 983–990 (2009) Babenko, B., Yang, M.H., Belongie, S.: Visual tracking with online multiple instance learning. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 983–990 (2009)
2.
Zurück zum Zitat Belkin, M., Niyogi, P., Sindhwani, V.: Manifold regularization: a geometric framework for learning from labeled and unlabeled examples. J. Mach. Learn. Res. 7, 2399–2434 (2006)MathSciNetMATH Belkin, M., Niyogi, P., Sindhwani, V.: Manifold regularization: a geometric framework for learning from labeled and unlabeled examples. J. Mach. Learn. Res. 7, 2399–2434 (2006)MathSciNetMATH
3.
Zurück zum Zitat Dyer, K.B., Capo, R., Polikar, R.: Compose: a semisupervised learning framework for initially labeled nonstationary streaming data. IEEE Trans. Neural Netw. Learn. Syst. 25(1), 12–26 (2014)CrossRef Dyer, K.B., Capo, R., Polikar, R.: Compose: a semisupervised learning framework for initially labeled nonstationary streaming data. IEEE Trans. Neural Netw. Learn. Syst. 25(1), 12–26 (2014)CrossRef
4.
Zurück zum Zitat Farajtabar, M., Shaban, A., Rabiee, H.R., Rohban, M.H.: Manifold coarse graining for online semi-supervised learning. In: Gunopulos, D., Hofmann, T., Malerba, D., Vazirgiannis, M. (eds.) ECML PKDD 2011. LNCS (LNAI), vol. 6911, pp. 391–406. Springer, Heidelberg (2011). doi:10.1007/978-3-642-23780-5_35 CrossRef Farajtabar, M., Shaban, A., Rabiee, H.R., Rohban, M.H.: Manifold coarse graining for online semi-supervised learning. In: Gunopulos, D., Hofmann, T., Malerba, D., Vazirgiannis, M. (eds.) ECML PKDD 2011. LNCS (LNAI), vol. 6911, pp. 391–406. Springer, Heidelberg (2011). doi:10.​1007/​978-3-642-23780-5_​35 CrossRef
5.
Zurück zum Zitat Gibson, B.R., Rogers, T.T., Zhu, X.: Human semi-supervised learning. Top. Cogn. Sci. 5(1), 132–172 (2013)CrossRef Gibson, B.R., Rogers, T.T., Zhu, X.: Human semi-supervised learning. Top. Cogn. Sci. 5(1), 132–172 (2013)CrossRef
6.
Zurück zum Zitat Goldberg, A.B., Li, M., Zhu, X.: Online manifold regularization: a new learning setting and empirical study. In: Daelemans, W., Goethals, B., Morik, K. (eds.) ECML PKDD 2008. LNCS (LNAI), vol. 5211, pp. 393–407. Springer, Heidelberg (2008). doi:10.1007/978-3-540-87479-9_44 CrossRef Goldberg, A.B., Li, M., Zhu, X.: Online manifold regularization: a new learning setting and empirical study. In: Daelemans, W., Goethals, B., Morik, K. (eds.) ECML PKDD 2008. LNCS (LNAI), vol. 5211, pp. 393–407. Springer, Heidelberg (2008). doi:10.​1007/​978-3-540-87479-9_​44 CrossRef
7.
Zurück zum Zitat Sun, B.L., Li, G.H., Jia, L., Zhang, H.: Online manifold regularization by dual ascending procedure. Math. Probl. Eng. 2013 (2013). doi:10.1155/2013/838439 Sun, B.L., Li, G.H., Jia, L., Zhang, H.: Online manifold regularization by dual ascending procedure. Math. Probl. Eng. 2013 (2013). doi:10.​1155/​2013/​838439
8.
Zurück zum Zitat Goldberg, A.B., Zhu, X.J., Furger, A., Xu, J.M.: Oasis: online active semi-supervised learning. In: Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence, pp. 1–6 (2011) Goldberg, A.B., Zhu, X.J., Furger, A., Xu, J.M.: Oasis: online active semi-supervised learning. In: Proceedings of the Twenty-Fifth AAAI Conference on Artificial Intelligence, pp. 1–6 (2011)
9.
Zurück zum Zitat Grabner, H., Leistner, C., Bischof, H.: Semi-supervised on-line boosting for robust tracking. In: Forsyth, D., Torr, P., Zisserman, A. (eds.) ECCV 2008. LNCS, vol. 5302, pp. 234–247. Springer, Heidelberg (2008). doi:10.1007/978-3-540-88682-2_19 CrossRef Grabner, H., Leistner, C., Bischof, H.: Semi-supervised on-line boosting for robust tracking. In: Forsyth, D., Torr, P., Zisserman, A. (eds.) ECCV 2008. LNCS, vol. 5302, pp. 234–247. Springer, Heidelberg (2008). doi:10.​1007/​978-3-540-88682-2_​19 CrossRef
10.
Zurück zum Zitat Heisele, B., Poggio, T., Pontil, M.: Face detection in still gray images. AI Memo 1697, Center for Biological and Computational Learning, MIT, Cambridge, MA (2000) Heisele, B., Poggio, T., Pontil, M.: Face detection in still gray images. AI Memo 1697, Center for Biological and Computational Learning, MIT, Cambridge, MA (2000)
11.
Zurück zum Zitat Kveton, B., Philipose, M., Valko, M., Huang, L.: Online semi-supervised perception: real-time learning without explicit feedback. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 15–21 (2010) Kveton, B., Philipose, M., Valko, M., Huang, L.: Online semi-supervised perception: real-time learning without explicit feedback. In: IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 15–21 (2010)
12.
Zurück zum Zitat LeCun, Y., Bottou, L., Bengio, Y., Haffner, P.: Gradient-based learning applied to document recognition. Proc. IEEE 86(11), 2278–2324 (1998)CrossRef LeCun, Y., Bottou, L., Bengio, Y., Haffner, P.: Gradient-based learning applied to document recognition. Proc. IEEE 86(11), 2278–2324 (1998)CrossRef
13.
Zurück zum Zitat Schölkopf, B., Herbrich, R., Smola, A.J.: A generalized representer theorem. In: Helmbold, D., Williamson, B. (eds.) COLT 2001. LNCS (LNAI), vol. 2111, pp. 416–426. Springer, Heidelberg (2001). doi:10.1007/3-540-44581-1_27 CrossRef Schölkopf, B., Herbrich, R., Smola, A.J.: A generalized representer theorem. In: Helmbold, D., Williamson, B. (eds.) COLT 2001. LNCS (LNAI), vol. 2111, pp. 416–426. Springer, Heidelberg (2001). doi:10.​1007/​3-540-44581-1_​27 CrossRef
14.
Zurück zum Zitat Sun, B.L., Li, G.H., Jia, L., Huang, K.H.: Online coregularization for multiview semisupervised learning. Sci. World J. 2013 (2013). doi:10.1155/2013/398146 Sun, B.L., Li, G.H., Jia, L., Huang, K.H.: Online coregularization for multiview semisupervised learning. Sci. World J. 2013 (2013). doi:10.​1155/​2013/​398146
Metadaten
Titel
A Novel Manifold Regularized Online Semi-supervised Learning Algorithm
verfasst von
Shuguang Ding
Xuanyang Xi
Zhiyong Liu
Hong Qiao
Bo Zhang
Copyright-Jahr
2016
DOI
https://doi.org/10.1007/978-3-319-46687-3_66