nach oben

Erschienen in:

2020 | OriginalPaper | Buchkapitel

Unsupervised Learning of Spatio-Temporal Receptive Fields from an Event-Based Vision Sensor

verfasst von : Thomas Barbier, Céline Teulière, Jochen Triesch

Erschienen in: Artificial Neural Networks and Machine Learning – ICANN 2020

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

Neuromorphic vision sensors exhibit several advantages compared to conventional frame-based cameras including low latencies, high dynamic range, and low data rates. However, how efficient visual representations can be learned from the output of such sensors in an unsupervised fashion is still an open problem. Here we present a spiking neural network that learns spatio-temporal receptive fields in an unsupervised way from the output of a neuromorphic event-based vision sensor. Learning relies on the combination of spike timing-dependent plasticity with different synaptic delays, the homeostatic regulations of synaptic weights and firing thresholds, and fast inhibition among neurons to decorrelate their responses. Our network develops biologically plausible spatio-temporal receptive fields when trained on real world input and is suited for implementation on neuromorphic hardware.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Benchmarking Deep Spiking Neural Networks on Neuromorphic Hardware

Nächstes Kapitel Spike-Train Level Unsupervised Learning Algorithm for Deep Spiking Belief Networks

Akolkar, H., Panzeri, S., Bartolozzi, C.: Spike time based unsupervised learning of receptive fields for event-driven vision. In: IEEE International Conference on Robotics and Automation. IEEE, May 2015

Binas, J., Neil, D., Liu, S.C., Delbruck, T.: Ddd17: end-to-end DAVIS driving dataset, November 2017. https://arxiv.org/abs/1711.01458

Borst, A.: Models of motion detection. Nat. Neurosci. 3(1), 1168 (2000)CrossRef

Brandli, C., Berner, R., Yang, M., Liu, S.C., Delbruck, T.: A 240 \(\times \) 180 130 dB 3 \(\mu \)s latency global shutter spatiotemporal vision sensor. IEEE J. Solid-State Circuits 49(10), 2333–2341 (2014)

Diehl, P.U., Cook, M.: Unsupervised learning of digit recognition using spike-timing-dependent plasticity. Front. Comput. Neurosci. 9 (2015)

Haessig, G., Cassidy, A., Alvarez, R., Benosman, R., Orchard, G.: Spiking optical flow for event-based sensors using IBM’s TrueNorth neurosynaptic system. IEEE Trans. Biomed. Circuits Syst. 12(4), 860–870 (2018)CrossRef

Hopkins, M., Pineda-García, G., Bogdan, P.A., Furber, S.B.: Spiking neural networks for computer vision. Interface Focus. 8(4), 20180007 (2018)CrossRef

Kheradpisheh, S.R., Ganjtabesh, M., Thorpe, S.J., Masquelier, T.: STDP-based spiking deep convolutional neural networks for object recognition. Neural Netw. 99, 56–67 (2018)CrossRef

Li, B., Peterson, M.R., Freeman, R.D.: Oblique effect: a neural basis in the visual cortex. J. Neurophysiol. 90(1), 204–217 (2003)CrossRef

10.

Orchard, G., Benosman, R., Etienne-Cummings, R., Thakor, N.V.: A spiking neural network architecture for visual motion estimation. In: IEEE Biomedical Circuits and Systems Conference (BioCAS), October 2013

11.

Paredes-Valles, F., Scheper, K.Y.W., Croon, G.C.H.E.D.: Unsupervised learning of a hierarchical spiking neural network for optical flow estimation: from events to global motion perception. IEEE Trans. Pattern Anal. Mach. Intell. 42, 2051–2064 (2018)

12.

Paulun, L., Wendt, A., Kasabov, N.: A retinotopic spiking neural network system for accurate recognition of moving objects using NeuCube and dynamic vision sensors. Front. Comput. Neurosci. 12, 13 Pages (2018). Article no: 42

13.

Perez-Carrasco, J.A., Serrano, C., Acha, B., Serrano-Gotarredona, T., Linares-Barranco, B.: Spike-based convolutional network for real-time processing. In: IAPR International Conference on Pattern Recognition. IEEE, August 2010

14.

Rebecq, H., Gehrig, D., Scaramuzza, D.: ESIM: an open event camera simulator. In: Conference on Robot Learning, October 2018

15.

Rothkopf, C.A., Weisswange, T.H., Triesch, J.: Learning independent causes in natural images explains the spacevariant oblique effect. ICDL 2009. IEEE 8th International Conference on Development and Learning, pp. 1–6, January 2009

16.

Stromatias, E., Soto, M., Serrano-Gotarredona, T., Linares-Barranco, B.: An event-driven classifier for spiking neural networks fed with synthetic or dynamic vision sensor data. Front. Neurosci. 11, 17 Pages (2017). Article no: 350

17.

Tien, N.W., Kerschensteiner, D.: Homeostatic plasticity in neural development. Neural Dev.13(1), 7 Pages (2018)

18.

Triesch, J., Vo, A.D., Hafner, A.S.: Competition for synaptic building blocks shapes synaptic plasticity. Elife 7, e37836 (2018)CrossRef

19.

Tschechne, S., Sailer, R., Neumann, H.: Bio-inspired optic flow from event-based neuromorphic sensor input. In: El Gayar, N., Schwenker, F., Suen, C. (eds.) ANNPR 2014. LNCS (LNAI), vol. 8774, pp. 171–182. Springer, Cham (2014). https://doi.org/10.1007/978-3-319-11656-3_16CrossRef

20.

Zhao, B., Ding, R., Chen, S., Linares-Barranco, B., Tang, H.: Feedforward categorization on AER motion events using cortex-like features in a spiking neural network. IEEE Trans. Neural Netw. Learn. Syst. 26(9), 1963–1978 (2015)MathSciNetCrossRef

Titel: Unsupervised Learning of Spatio-Temporal Receptive Fields from an Event-Based Vision Sensor
verfasst von: Thomas Barbier
Céline Teulière
Jochen Triesch
Verlag: Springer International Publishing
Buch: Artificial Neural Networks and Machine Learning – ICANN 2020
Print ISBN: 978-3-030-61615-1

Electronic ISBN: 978-3-030-61616-8

Copyright-Jahr: 2020
DOI: https://doi.org/10.1007/978-3-030-61616-8_50

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"