Skip to main content
main-content

Tipp

Weitere Artikel dieser Ausgabe durch Wischen aufrufen

22.03.2018 | Methodologies and Application

Hamiltonian Monte Carlo based on evidence framework for Bayesian learning to neural network

Zeitschrift:
Soft Computing
Autoren:
Hassan Ramchoun, Mohamed Ettaouil
Wichtige Hinweise
Communicated by V. Loia.

Abstract

The multilayer perceptron is the most useful artificial neural network widely used to approximate the nonlinear function in various fields, but the determination of its suitable weights and regularization parameters is a fundamental problem due to their direct impact on the network convergence and generalization performance. The Bayesian approach for neural networks is to consider all parameters of networks are random variables; then, computation of the posterior distribution is based on prior overall parameters and likelihood function through the use of Bayes’ theorem. In this paper, we train the network weights by means of Hamiltonian Monte Carlo (HMC); for hyperparameters, we propose to sample from posterior distribution using HMC in order to approximate the derivative of evidence which allow to re-estimate hyperparameters. The case problem studied in this paper includes a regression and classification problem. The obtained results illustrate the advantages of our approach in terms of accuracy compared to old Bayesian approach for neural network.

Bitte loggen Sie sich ein, um Zugang zu diesem Inhalt zu erhalten

Sie möchten Zugang zu diesem Inhalt erhalten? Dann informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 69.000 Bücher
  • über 500 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Umwelt
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe

Testen Sie jetzt 30 Tage kostenlos.

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 58.000 Bücher
  • über 300 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb

Testen Sie jetzt 30 Tage kostenlos.

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 50.000 Bücher
  • über 380 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Umwelt
  • Maschinenbau + Werkstoffe​​​​​​​​​​​​​​

Testen Sie jetzt 30 Tage kostenlos.

Literatur
Über diesen Artikel

Premium Partner

    Bildnachweise