Skip to main content

2016 | OriginalPaper | Buchkapitel

L1/2 Norm Regularized Echo State Network for Chaotic Time Series Prediction

verfasst von : Meiling Xu, Min Han, Shunshoku Kanae

Erschienen in: Neural Information Processing

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Echo state network contains a randomly connected hidden layer and an adaptable output layer. It can overcome the problems associated with the complex computation and local optima. But there may be ill-posed problem when large reservoir state matrix is used to calculate the output weights by least square estimation. In this study, we use L1/2 regularization to calculate the output weights to get a sparse solution in order to solve the ill-posed problem and improve the generalized performance. In addition, an operation of iterated prediction is conducted to test the effectiveness of the proposed L1/2ESN for capturing the dynamics of the chaotic time series. Experimental results illustrate that the predictor has been designed properly. It outperforms other modified ESN models in both sparsity and accuracy.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Jaeger, H., Haas, H.: Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication. Science 304(5667), 78–80 (2004)CrossRef Jaeger, H., Haas, H.: Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication. Science 304(5667), 78–80 (2004)CrossRef
2.
Zurück zum Zitat Lukoševičius, M., Jaeger, H., Schrauwen, B.: Reservoir computing trends. KI-Künstliche Intelligenz 26(4), 365–371 (2012)CrossRef Lukoševičius, M., Jaeger, H., Schrauwen, B.: Reservoir computing trends. KI-Künstliche Intelligenz 26(4), 365–371 (2012)CrossRef
3.
Zurück zum Zitat Soh, H., Demiris, Y.: Spatio-temporal learning with the online finite and infinite echo-state gaussian processes. IEEE Trans. Neural Netw. Learn. Syst. 26(3), 522–536 (2015)MathSciNetCrossRef Soh, H., Demiris, Y.: Spatio-temporal learning with the online finite and infinite echo-state gaussian processes. IEEE Trans. Neural Netw. Learn. Syst. 26(3), 522–536 (2015)MathSciNetCrossRef
4.
Zurück zum Zitat Yuenyong, S., Nishihara, A.: Evolutionary pre-training for CRJ-type reservoir of echo state networks. Neurocomputing 149, 1324–1329 (2015)CrossRef Yuenyong, S., Nishihara, A.: Evolutionary pre-training for CRJ-type reservoir of echo state networks. Neurocomputing 149, 1324–1329 (2015)CrossRef
5.
Zurück zum Zitat Chatzis, S.P., Demiris, Y.: Echo state gaussian process. IEEE Trans. Neural Networks 22(9), 1435–1445 (2011)CrossRef Chatzis, S.P., Demiris, Y.: Echo state gaussian process. IEEE Trans. Neural Networks 22(9), 1435–1445 (2011)CrossRef
6.
Zurück zum Zitat Reinhart, R.F., Steil, J.J.: Regularization and stability in reservoir networks with output feedback. Neurocomputing 90, 96–105 (2012)CrossRef Reinhart, R.F., Steil, J.J.: Regularization and stability in reservoir networks with output feedback. Neurocomputing 90, 96–105 (2012)CrossRef
7.
Zurück zum Zitat Han, M., Ren, W.J., Xu, M.L.: An improved echo state network via L1-norm regularization (in Chinese). Acta Automatica Sin. 40(11), 2428–2435 (2014)MATH Han, M., Ren, W.J., Xu, M.L.: An improved echo state network via L1-norm regularization (in Chinese). Acta Automatica Sin. 40(11), 2428–2435 (2014)MATH
8.
Zurück zum Zitat Zou, H., Hastie, T.: Regularization and variable selection via the elastic net. J. Royal Stat. Soc. Ser. B (Stat. Methodol.) 67(2), 301–320 (2005)MathSciNetCrossRefMATH Zou, H., Hastie, T.: Regularization and variable selection via the elastic net. J. Royal Stat. Soc. Ser. B (Stat. Methodol.) 67(2), 301–320 (2005)MathSciNetCrossRefMATH
9.
Zurück zum Zitat Xu, Z.B., Chang, X.Y., Xu, F.M., Zhang, H.: L1/2 regularization: a thresholding representation theory and a fast solver. IEEE Trans. Neural Netw. Learn. Syst. 23(7), 1013–1027 (2012)CrossRef Xu, Z.B., Chang, X.Y., Xu, F.M., Zhang, H.: L1/2 regularization: a thresholding representation theory and a fast solver. IEEE Trans. Neural Netw. Learn. Syst. 23(7), 1013–1027 (2012)CrossRef
10.
Zurück zum Zitat Liang, Y., Liu, C., Luan, X.Z., Leung, L.S., Chan, T.M., Xu, Z.B., Zhang, H.: Sparse logistic regression with a L1/2 penalty for gene selection in cancer classification. BMC Bioinform. 14(1), 198 (2013)CrossRef Liang, Y., Liu, C., Luan, X.Z., Leung, L.S., Chan, T.M., Xu, Z.B., Zhang, H.: Sparse logistic regression with a L1/2 penalty for gene selection in cancer classification. BMC Bioinform. 14(1), 198 (2013)CrossRef
11.
Zurück zum Zitat Haykin, S.S.: Neural Networks and Learning Machines, 3rd edn., pp. 711–722. Pearson Education, Prentice Hall, Upper Saddle River (2009) Haykin, S.S.: Neural Networks and Learning Machines, 3rd edn., pp. 711–722. Pearson Education, Prentice Hall, Upper Saddle River (2009)
Metadaten
Titel
L1/2 Norm Regularized Echo State Network for Chaotic Time Series Prediction
verfasst von
Meiling Xu
Min Han
Shunshoku Kanae
Copyright-Jahr
2016
DOI
https://doi.org/10.1007/978-3-319-46675-0_2