Skip to main content
main-content

Tipp

Weitere Artikel dieser Ausgabe durch Wischen aufrufen

19.03.2018 | Focus | Ausgabe 11/2018

Soft Computing 11/2018

Efficient extreme learning machine via very sparse random projection

Zeitschrift:
Soft Computing > Ausgabe 11/2018
Autoren:
Chuangquan Chen, Chi-Man Vong, Chi-Man Wong, Weiru Wang, Pak-Kin Wong
Wichtige Hinweise
Communicated by X. Wang, A. K. Sangaiah, M. Pelillo.

Abstract

Extreme learning machine (ELM) is a kind of random projection-based neural networks, whose advantages are fast training speed and high generalization. However, three issues can be improved in ELM: (1) the calculation of output weights takes \(O\left( {L^{2}N} \right) \) time (with N training samples and L hidden nodes), which is relatively slow to train a model for large N and L; (2) the manual tuning of L is tedious, exhaustive and time-consuming; (3) the redundant or irrelevant information in the hidden layer may cause overfitting and may hinder high generalization. Inspired from compressive sensing theory, we propose an efficient ELM via very sparse random projection (VSRP) called VSRP-ELM for training with large N and L. The proposed VSRP-ELM adds a novel compression layer between the hidden layer and output layer, which compresses the dimension of the hidden layer from \(N\times L\) to \(N\times k \,(\hbox {where } k<L)\) under projection with random sparse-Bernoulli matrix. The advantages of VSRP-ELM are (1) faster training time \(O\left( {k^{2}N} \right) , k<L,\) is obtained for large L; (2) the tuning time of L can be significantly reduced by initializing a large L, and then shrunk to k using just a few trials, while maintaining a comparable result of the original model accuracy; (3) higher generalization may be benefited from the cleaning of redundant or irrelevant information through VSRP. From the experimental results, the proposed VSRP-ELM can speed ELM up to 7 times, while the accuracy can be improved up to 6%.

Bitte loggen Sie sich ein, um Zugang zu diesem Inhalt zu erhalten

Sie möchten Zugang zu diesem Inhalt erhalten? Dann informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 69.000 Bücher
  • über 500 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Umwelt
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Testen Sie jetzt 30 Tage kostenlos.

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 58.000 Bücher
  • über 300 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Testen Sie jetzt 30 Tage kostenlos.

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 50.000 Bücher
  • über 380 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Umwelt
  • Maschinenbau + Werkstoffe​​​​​​​




Testen Sie jetzt 30 Tage kostenlos.

Literatur
Über diesen Artikel

Weitere Artikel der Ausgabe 11/2018

Soft Computing 11/2018 Zur Ausgabe

Premium Partner

    Bildnachweise