Skip to main content

2015 | OriginalPaper | Buchkapitel

An Incremental Network with Local Experts Ensemble

verfasst von : Shaofeng Shen, Qiang Gan, Furao Shen, Chaomin Luo, Jinxi Zhao

Erschienen in: Neural Information Processing

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Ensemble learning algorithms aim to train a group of classifiers to enhance the generalization ability. However, vast of those algorithms are learning in batches and the base classifiers (e.g. number, type) must be predetermined. In this paper, we propose an ensemble algorithm called INLEX (Incremental Network with Local EXperts ensemble) to learn suitable number of linear classifiers in an online incremental mode. Specifically, it incrementally learns the representational nodes of the input space. In the incremental process, INLEX finds nodes in the decision boundary area (boundary nodes) based on the theory of entropy: boundary nodes are considered to be disordered. In this paper, boundary nodes are activated as experts, each of which is a local linear classifier. Combination of these linear experts with dynamical weights will constitute a decision boundary to solve nonlinear classification tasks. Experimental results show that INLEX obtains promising performance on real-world classification benchmarks.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Freund, Y., Schapire, R.E.: A decision-theoretic generalization of on-line learning and an application to boosting. J. Comput. Syst. Sci. 55(1), 119–139 (1997)MathSciNetCrossRefMATH Freund, Y., Schapire, R.E.: A decision-theoretic generalization of on-line learning and an application to boosting. J. Comput. Syst. Sci. 55(1), 119–139 (1997)MathSciNetCrossRefMATH
3.
Zurück zum Zitat Jacobs, R.A., Jordan, M.I., Nowlan, S.J., et al.: Adaptive mixtures of local experts. Neural Comput. 3(1), 79–87 (1991)CrossRef Jacobs, R.A., Jordan, M.I., Nowlan, S.J., et al.: Adaptive mixtures of local experts. Neural Comput. 3(1), 79–87 (1991)CrossRef
4.
Zurück zum Zitat Shen, F.R., Hasegawa, O.: An incremental network for on-line unsupervised classification and topology learning. Neural Netw. 19(1), 90–106 (2006)CrossRefMATH Shen, F.R., Hasegawa, O.: An incremental network for on-line unsupervised classification and topology learning. Neural Netw. 19(1), 90–106 (2006)CrossRefMATH
5.
Zurück zum Zitat Jordan, M.I., Jacobs, R.A.: Hierarchical mixtures of experts and the EM algorithm. Neural Comput. 6(2), 181–214 (1994)CrossRef Jordan, M.I., Jacobs, R.A.: Hierarchical mixtures of experts and the EM algorithm. Neural Comput. 6(2), 181–214 (1994)CrossRef
6.
Zurück zum Zitat Oza, N.C.: Online bagging and boosting. In: 2005 IEEE International Conference on Systems, Man and Cybernetics, vol. 3, pp. 2340–2345. IEEE (2005) Oza, N.C.: Online bagging and boosting. In: 2005 IEEE International Conference on Systems, Man and Cybernetics, vol. 3, pp. 2340–2345. IEEE (2005)
7.
Zurück zum Zitat Chen, S.T., Lin, H.T., Lu, C.J.: An online boosting algorithm with theoretical justifications. In: ICML, pp. 1007–1014 (2012) Chen, S.T., Lin, H.T., Lu, C.J.: An online boosting algorithm with theoretical justifications. In: ICML, pp. 1007–1014 (2012)
8.
Zurück zum Zitat Martinetz, T., Schulten, K.: Topology representing networks. Neural Netw. 7(3), 507–522 (1994)CrossRef Martinetz, T., Schulten, K.: Topology representing networks. Neural Netw. 7(3), 507–522 (1994)CrossRef
Metadaten
Titel
An Incremental Network with Local Experts Ensemble
verfasst von
Shaofeng Shen
Qiang Gan
Furao Shen
Chaomin Luo
Jinxi Zhao
Copyright-Jahr
2015
DOI
https://doi.org/10.1007/978-3-319-26555-1_58