nach oben

The Journal of Supercomputing

Erschienen in:

22.02.2021

PyDTNN: A user-friendly and extensible framework for distributed deep learning

verfasst von: Sergio Barrachina, Adrián Castelló, Mar Catalán, Manuel F. Dolz, Jose I. Mestre

Erschienen in: The Journal of Supercomputing | Ausgabe 9/2021

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

We introduce a framework for training deep neural networks on clusters of computers with the following appealing properties: (1) It is developed in Python, exposing an amiable interface that provides an accessible entry point for the newcomer; (2) it is extensible, offering a customizable tool for the more advanced user in deep learning; (3) it covers the main functionality appearing in convolutional neural networks; and (4) it delivers reasonable inter-node parallel performance exploiting data parallelism by leveraging MPI via MPI4Py for communication and NumPy for the efficient execution of (multithreaded) numerical kernels.

Vorheriger Artikel Fuzzy rule-based system for energy efficiency in wireless sensor networks

Nächster Artikel Analysis of the material distribution system of wise information technology of 120 under deep learning

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

The source code for PyDTNN is available at https://github.com/hpca-uji/PyDTNN.

Tal B-N, Torsten H (2019) Demystifying parallel and distributed deep learning: an in-depth concurrency analysis. ACM Comput Surv 52(4):65

Chan E, Heimlich M, Purkayastha A, van de Geijn R (2007) Collective communication: theory, practice, and experience. Concurr Comput Pract Exp 19(13):1749–1783CrossRef

Kumar C, Sidd P, Patrice S (2006) High performance convolutional neural networks for document processing. In: International workshop on frontiers in handwriting recognition

He K, Zhang X, Ren S, Sun J (2016) Deep residual learning for image recognition. In: 2016 IEEE conference on computer vision and pattern recognition (CVPR), pp 770–778

Pouyanfar S et al (2018) A survey on deep learning: algorithms, techniques, and applications. ACM Comput Surv 51(5):92:1–92:36

Karen S, Andrew Z (2014) Very deep convolutional networks for large-scale image recognition. arXiv preprint arxiv:1409.1556

Sze V, Chen Y-H, Yang T-J, Emer JS (2017) Efficient processing of deep neural networks: a tutorial and survey. Proc IEEE 105(12):2295–2329CrossRef

Aravind V, Andrew A, David G (2017) Parallel multi channel convolution using general matrix multiplication. In: 2017 IEEE 28th international conference on application-specific systems, architectures and processors (ASAP), pp 19–24

You Y, et al. (2018) Large-batch training for LSTM and beyond. Technical Report UCB/EECS-2018-138, Electrical Engineering and Computer Sciences, University of California at Berkeley

10.

Yang Y, Igor G, Boris G (2017) Scaling SGD batch size to 32k for ImageNet training. arXiv preprint arxiv:1708.03888

Titel: PyDTNN: A user-friendly and extensible framework for distributed deep learning
verfasst von: Sergio Barrachina
Adrián Castelló
Mar Catalán
Manuel F. Dolz
Jose I. Mestre
Publikationsdatum: 22.02.2021
Verlag: Springer US
Erschienen in: The Journal of Supercomputing / Ausgabe 9/2021
Print ISSN: 0920-8542
Elektronische ISSN: 1573-0484
DOI: https://doi.org/10.1007/s11227-021-03673-z

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft"

Springer Professional "Technik"

Springer Professional "Wirtschaft+Technik"

Weitere Artikel der Ausgabe 9/2021

An adaptive gravitational search algorithm for multilevel image thresholding

Parallel modeling of wildfires using efficient solvers for ill-conditioned linear systems

Distributed application provisioning over Ethereum-based private and permissioned blockchain: availability modeling, capacity, and costs planning

GPU accelerated waterpixel algorithm for superpixel segmentation of hyperspectral images

Distributed intrusion detection scheme using dual-axis dimensionality reduction for Internet of things (IoT)

A lightweight model with spatial–temporal correlation for cellular traffic prediction in Internet of Things

Premium Partner