Skip to main content

2016 | OriginalPaper | Buchkapitel

Bayesian Optimization of Spiking Neural Network Parameters to Solving the Time Series Classification Task

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This study contains the application of spiking neural networks to time series classification task. Because of the lack of mathematical framework for such biologically inspired neural networks, this study tries to solve hyperparameter optimization task with the help of surrogate models. To define classification task quality metric that measures separability index based on Fisher’s discriminant ratio is used.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Haselsteiner, E., Pfurtscheller, G.: Using time-dependent neural networks for EEG classification. IEEE Trans. Rehabil. Eng. 8(4), 457–463 (2000)CrossRef Haselsteiner, E., Pfurtscheller, G.: Using time-dependent neural networks for EEG classification. IEEE Trans. Rehabil. Eng. 8(4), 457–463 (2000)CrossRef
2.
Zurück zum Zitat Siegelmann, H.T., Horne, B.G., Giles, C.L.: Computational capabilities of recurrent NARX neural networks. IEEE Trans. Sys. Man Cybern. Part B Cybern. 27(2), 208–215 (1997)CrossRef Siegelmann, H.T., Horne, B.G., Giles, C.L.: Computational capabilities of recurrent NARX neural networks. IEEE Trans. Sys. Man Cybern. Part B Cybern. 27(2), 208–215 (1997)CrossRef
3.
Zurück zum Zitat Hornik, K., Stinchcombe, M., White, H.: Multilayer feedforward networks are universal approximators. Neural Netw. 2(5), 359–366 (1989)CrossRef Hornik, K., Stinchcombe, M., White, H.: Multilayer feedforward networks are universal approximators. Neural Netw. 2(5), 359–366 (1989)CrossRef
4.
Zurück zum Zitat Lukoeviius, M., Jaeger, H.: Reservoir computing approaches to recurrent neural network training. Comput. Sci. Rev. 3(3), 127–149 (2009)CrossRefMATH Lukoeviius, M., Jaeger, H.: Reservoir computing approaches to recurrent neural network training. Comput. Sci. Rev. 3(3), 127–149 (2009)CrossRefMATH
5.
Zurück zum Zitat Jaeger, H., Maass, W., Principe, J.: Special issue on echo state networks and liquid state machines. Neural Netw. 20(3), 287–289 (2007)CrossRef Jaeger, H., Maass, W., Principe, J.: Special issue on echo state networks and liquid state machines. Neural Netw. 20(3), 287–289 (2007)CrossRef
6.
Zurück zum Zitat Chrol-Cannon, J., Jin, Y.: On the correlation between reservoir metrics and performance for time series classification under the influence of synaptic plasticity (2014) Chrol-Cannon, J., Jin, Y.: On the correlation between reservoir metrics and performance for time series classification under the influence of synaptic plasticity (2014)
7.
Zurück zum Zitat Wang, S., Li, D., Song, X., Wei, Y., Li, H.: A feature selection method based on improved Fisher’s discriminant ratio for text sentiment classification. Expert Syst. Appl. 38(7), 8696–8702 (2011)CrossRef Wang, S., Li, D., Song, X., Wei, Y., Li, H.: A feature selection method based on improved Fisher’s discriminant ratio for text sentiment classification. Expert Syst. Appl. 38(7), 8696–8702 (2011)CrossRef
8.
Zurück zum Zitat Jones, D.R., Schonlau, M., Welch, W.J.: Efficient global optimization of expensive black-box functions. J. Glob. Optim. 13(4), 455–492 (1998)MathSciNetCrossRefMATH Jones, D.R., Schonlau, M., Welch, W.J.: Efficient global optimization of expensive black-box functions. J. Glob. Optim. 13(4), 455–492 (1998)MathSciNetCrossRefMATH
9.
Zurück zum Zitat Gerstner, W., Kistler, W.M.: Spiking neuron models: single neurons, populations, plasticity. Cambridge university press (2002) Gerstner, W., Kistler, W.M.: Spiking neuron models: single neurons, populations, plasticity. Cambridge university press (2002)
10.
Zurück zum Zitat Paiva, A.R., Park, I., Prncipe, J.C.: A comparison of binless spike train measures. Neural Comput. Appl. 19(3), 405–419 (2010)CrossRef Paiva, A.R., Park, I., Prncipe, J.C.: A comparison of binless spike train measures. Neural Comput. Appl. 19(3), 405–419 (2010)CrossRef
11.
Zurück zum Zitat Shawe-Taylor, J., Cristianini, N.: Kernel methods for pattern analysis. Cambridge university press (2004) Shawe-Taylor, J., Cristianini, N.: Kernel methods for pattern analysis. Cambridge university press (2004)
12.
Zurück zum Zitat Zhang, J., Ma, K.K.: Kernel Fisher discriminant for texture classification (2004) Zhang, J., Ma, K.K.: Kernel Fisher discriminant for texture classification (2004)
13.
Zurück zum Zitat Bi, G.Q., Poo, M.M.: Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type. J. Neurosci. 18(24), 10464–10472 (1998) Bi, G.Q., Poo, M.M.: Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type. J. Neurosci. 18(24), 10464–10472 (1998)
14.
Zurück zum Zitat Hennequin, G., Gerstner, W., Pfister, J.P.: STDP in adaptive neurons gives close-to-optimal information transmission. Front. Comput. Neurosci. 4 (2010) Hennequin, G., Gerstner, W., Pfister, J.P.: STDP in adaptive neurons gives close-to-optimal information transmission. Front. Comput. Neurosci. 4 (2010)
15.
Zurück zum Zitat Hyvrinen, A., Oja, E.: Independent component analysis: algorithms and applications. Neural Netw. 13(4), 411–430 (2000)CrossRef Hyvrinen, A., Oja, E.: Independent component analysis: algorithms and applications. Neural Netw. 13(4), 411–430 (2000)CrossRef
16.
Zurück zum Zitat Wiskott, L., Sejnowski, T.J.: Slow feature analysis: unsupervised learning of invariances. Neural Comput. 14(4), 715–770 (2002)CrossRefMATH Wiskott, L., Sejnowski, T.J.: Slow feature analysis: unsupervised learning of invariances. Neural Comput. 14(4), 715–770 (2002)CrossRefMATH
17.
Zurück zum Zitat Bsing, L., Schrauwen, B., Legenstein, R.: Connectivity, dynamics, and memory in reservoir computing with binary and analog neurons. Neural Comput. 22(5), 1272–1311 (2010)MathSciNetCrossRefMATH Bsing, L., Schrauwen, B., Legenstein, R.: Connectivity, dynamics, and memory in reservoir computing with binary and analog neurons. Neural Comput. 22(5), 1272–1311 (2010)MathSciNetCrossRefMATH
18.
Zurück zum Zitat Assael, J.A.M., Wang, Z., Shahriari, B., de Freitas, N.: Heteroscedastic treed bayesian optimisation (2014). arXiv preprint arXiv:1410.7172 Assael, J.A.M., Wang, Z., Shahriari, B., de Freitas, N.: Heteroscedastic treed bayesian optimisation (2014). arXiv preprint arXiv:​1410.​7172
Metadaten
Titel
Bayesian Optimization of Spiking Neural Network Parameters to Solving the Time Series Classification Task
verfasst von
Alexey Chernyshev
Copyright-Jahr
2016
DOI
https://doi.org/10.1007/978-3-319-32554-5_6