Skip to main content
Erschienen in: Soft Computing 5/2020

05.06.2019 | Methodologies and Application

Two-dimensional perceptrons

verfasst von: Jun Ou, Yujian Li, Chuanhui Shan

Erschienen in: Soft Computing | Ausgabe 5/2020

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Convolutional neural networks (CNNs) have made remarkable success in image classification. However, it is still an open problem how to develop new models instead of CNNs. Here, we propose a novel model, namely two-dimensional perceptron (TDP), to get direct input of 2D data for further processing. A TDP computes hidden neurons from the input via left/right matrix multiplication, producing left-weighted TDP and right-weighted TDP, respectively. Experimental results on MNIST and COIL-20 datasets show that, in cases with the same number of hidden neurons, the model obtains 5%–45% relative performance improvement and 2 ×–36× speedup in comparison with the corresponding multilayer perceptron and convolutional neural network. Hence, it is a promising and potential model that may open some new directions for deep neural networks, particularly alternatives to CNNs.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Anhänge
Nur mit Berechtigung zugänglich
Literatur
Zurück zum Zitat Behnke S (2003) Hierarchical neural networks for image interpretation, vol 2766. Springer, HeidelbergCrossRef Behnke S (2003) Hierarchical neural networks for image interpretation, vol 2766. Springer, HeidelbergCrossRef
Zurück zum Zitat Cybenko G (1989) Approximation by superpositions of a sigmoidal function. Math Control Signals Syst 2(4):303–314MathSciNetCrossRef Cybenko G (1989) Approximation by superpositions of a sigmoidal function. Math Control Signals Syst 2(4):303–314MathSciNetCrossRef
Zurück zum Zitat Feng Z, Jin L, Tao D, Huang S (2015) DLANet: a manifold-learning-based discriminative feature learning network for scene classification. Neurocomputing 157:11–21CrossRef Feng Z, Jin L, Tao D, Huang S (2015) DLANet: a manifold-learning-based discriminative feature learning network for scene classification. Neurocomputing 157:11–21CrossRef
Zurück zum Zitat Garcia C, Duffner S (2007) 10 Facial image processing with convolutional neural networks. In: Singh SSM (ed) PPR 2007. ACVPR. Springer, London Garcia C, Duffner S (2007) 10 Facial image processing with convolutional neural networks. In: Singh SSM (ed) PPR 2007. ACVPR. Springer, London
Zurück zum Zitat LeCun Y (June 1985) Une procedure d’apprentissage pour reseau a seuil asymetrique (A learning procedure for asymmetric threshold network). In: Proceedings of Cognitiva, Paris, pp 599–604 LeCun Y (June 1985) Une procedure d’apprentissage pour reseau a seuil asymetrique (A learning procedure for asymmetric threshold network). In: Proceedings of Cognitiva, Paris, pp 599–604
Zurück zum Zitat LeCun Y, Bottou L, Bengio Y, Haffner P (1998) Gradient-based learning applied to document recognition. Proc IEEE 86(11):2278–2324CrossRef LeCun Y, Bottou L, Bengio Y, Haffner P (1998) Gradient-based learning applied to document recognition. Proc IEEE 86(11):2278–2324CrossRef
Zurück zum Zitat McCulloch WS, Pitts W (1943) A logical calculus of the ideas immanent in nervous activity. Bull Math Biophys 5(4):115–133MathSciNetCrossRef McCulloch WS, Pitts W (1943) A logical calculus of the ideas immanent in nervous activity. Bull Math Biophys 5(4):115–133MathSciNetCrossRef
Zurück zum Zitat Nene SA, Nayar SK, Murase H (1996) Columbia object image library (coil-20). Technical report. Department Computer Science, Columbia University, New York Nene SA, Nayar SK, Murase H (1996) Columbia object image library (coil-20). Technical report. Department Computer Science, Columbia University, New York
Zurück zum Zitat Petersen KB, Pedersen MS (2008) The matrix cookbook. Tech Univ Den 7(15):510 Petersen KB, Pedersen MS (2008) The matrix cookbook. Tech Univ Den 7(15):510
Zurück zum Zitat Rosenblatt F (1958) The perceptron: a probabilistic model for information storage and organization in the brain. Psychol Rev 65(6):386–408CrossRef Rosenblatt F (1958) The perceptron: a probabilistic model for information storage and organization in the brain. Psychol Rev 65(6):386–408CrossRef
Zurück zum Zitat Rumelhart DE, Hinton GE, Williams RJ (1986) Learning representations by back-propagating errors. Nature 323(6088):533–536CrossRef Rumelhart DE, Hinton GE, Williams RJ (1986) Learning representations by back-propagating errors. Nature 323(6088):533–536CrossRef
Zurück zum Zitat Sabour S, Frosst N, Hinton GE (December 2017) Dynamic routing between capsules. In: Proceedings of NIPS, Los Angles, pp 3857–3867 Sabour S, Frosst N, Hinton GE (December 2017) Dynamic routing between capsules. In: Proceedings of NIPS, Los Angles, pp 3857–3867
Zurück zum Zitat Schalkoff RJ (1997) Artificial neural networks, vol 1. McGraw-Hill, New YorkMATH Schalkoff RJ (1997) Artificial neural networks, vol 1. McGraw-Hill, New YorkMATH
Zurück zum Zitat Simard PY, Steinkraus D, Platt JC (August 2003) Best practices for convolutional neural networks applied to visual document analysis. In: Proceedings of ICDAR, vol 3, Edinburgh, pp 958–962 Simard PY, Steinkraus D, Platt JC (August 2003) Best practices for convolutional neural networks applied to visual document analysis. In: Proceedings of ICDAR, vol 3, Edinburgh, pp 958–962
Zurück zum Zitat Turaga SC, Murray JF, Jain V, Roth F, Helmstaedter M, Briggman K et al (2010) Convolutional networks can learn to generate affinity graphs for image segmentation. Neural Comput 22(2):511–538CrossRef Turaga SC, Murray JF, Jain V, Roth F, Helmstaedter M, Briggman K et al (2010) Convolutional networks can learn to generate affinity graphs for image segmentation. Neural Comput 22(2):511–538CrossRef
Zurück zum Zitat Werbos P (1974) Regression, B. Beyond regression: new fools for prediction and analysis in the behavioral sciences. Doctoral dissertation. Department of Applied Mathematics, Harvard University Werbos P (1974) Regression, B. Beyond regression: new fools for prediction and analysis in the behavioral sciences. Doctoral dissertation. Department of Applied Mathematics, Harvard University
Zurück zum Zitat Yu S, Jia S, Xu C (2017) Convolutional neural networks for hyperspectral image classification. Neurocomputing 219:88–98CrossRef Yu S, Jia S, Xu C (2017) Convolutional neural networks for hyperspectral image classification. Neurocomputing 219:88–98CrossRef
Metadaten
Titel
Two-dimensional perceptrons
verfasst von
Jun Ou
Yujian Li
Chuanhui Shan
Publikationsdatum
05.06.2019
Verlag
Springer Berlin Heidelberg
Erschienen in
Soft Computing / Ausgabe 5/2020
Print ISSN: 1432-7643
Elektronische ISSN: 1433-7479
DOI
https://doi.org/10.1007/s00500-019-04098-w

Weitere Artikel der Ausgabe 5/2020

Soft Computing 5/2020 Zur Ausgabe

Premium Partner