nach oben

Erschienen in:

2018 | OriginalPaper | Buchkapitel

Efficient Communication/Computation Overlap with MPI+OpenMP Runtimes Collaboration

verfasst von : Marc Sergent, Mario Dagrada, Patrick Carribault, Julien Jaeger, Marc Pérache, Guillaume Papauré

Erschienen in: Euro-Par 2018: Parallel Processing

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

Overlap network communications and computations is a major requirement to ensure scalability of HPC applications on future exascale machines. To this purpose the de-facto MPI standard provides non-blocking routines for asynchronous communication progress. In various implementations, a dedicated progress thread (PT) is deployed on the host CPU to actually achieve this overlap. However, current PT solutions struggle to find a balance between efficient detection of network events and minimal impact on the application computations. In this paper we propose a solution inspired from the PT approach which benefits from idle time of compute threads to make MPI communication progress in background. We implement our idea in the context of MPI+OpenMP collaboration using the OpenMP Tools interface which will be part of the OpenMP 5.0 standard. Our solution shows an overall performance gain on unbalanced workloads such as the AMG CORAL benchmark.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Multi-granularity Locking in Hierarchies with Synergistic Hierarchical and Fine-Grained Locks

Nächstes Kapitel Efficient Lock-Free Removing and Compaction for the Cache-Trie Data Structure

Collaboration of Oak Ridge, Argonne, and Livermore benchmark codes. https://asc.llnl.gov/CORAL-benchmarks

Tera-1000-2-Part 1 (2017). https://www.top500.org/system/179162

OpenMP Tools Interface (2018). https://github.com/OpenMPToolsInterface/LLVM-openmp

Barrett, B.W., et al.: The Portals 4.0 network programming interface. Technical Report, Sandia National Laboratories, SAND2013-3181 (2013)

Brightwell, R., Riesen, R., Underwood, K.D.: Analyzing the impact of overlap, offload, and independent progress for message passing interface applications. HPCA J. 19, 103–117 (2005)

Cardellini, V., Fanfarillo, A., Filippone, S.: Overlapping communication with computation in MPI applications. Technical Report, Universita di Roma Tor Vergata, DICII RR-16.09 (2016)

Derradji, S., Palfer-Sollier, T., Panziera, J.P., Poudes, A., Atos, F.W.: The BXI interconnect architecture. IEEE, August 2015

Dongarra, J., et al.: The international exascale software project roadmap. HPCA J. 25, 3–60 (2011)

Gabriel, E., et al.: Open MPI: goals, concept, and design of a next generation MPI implementation. In: Kranzlmüller, D., Kacsuk, P., Dongarra, J. (eds.) EuroPVM/MPI 2004. LNCS, vol. 3241, pp. 97–104. Springer, Heidelberg (2004). https://doi.org/10.1007/978-3-540-30218-6_19CrossRef

10.

Hoefler, T., Lumsdaine, A.: Message progression in parallel computing - to thread or not to thread? In: IEEE CLUSTER (2008)

11.

Isaacs, K.E., Gamblin, T., Bhatele, A., Schulz, M., Hamann, B., Bremer, P.T.: Ordering traces logically to identify lateness in message passing programs. IEEE Trans. Parallel Distrib. Syst. 27, 829–840 (2016)CrossRef

12.

Lewis, J.G., Van de Geijn, R.A.: Distributed memory matrix-vector multiplication and conjugate gradient algorithms. In: Proceedings of the 1993 ACM/IEEE Conference on Supercomputing (1993)

13.

Mellor-Crummey, J.: Performance Analysis of MPI+OpenMP Programs with HPCToolkit, March 2015

14.

Message Passing Interface Forum: MPI: a message-passing interface standard, version 3.1, June 2015

15.

OpenMP Language Working Group: OpenMP\(\textregistered \)RTechnical Report 4: Version 5.0 Preview 2. Technical report, The OpenMP Architecture Review Board, November 2017

16.

Pérache, M., Carribault, P., Jourdren, H.: MPC-MPI: an MPI implementation reducing the overall memory consumption. In: Ropo, M., Westerholm, J., Dongarra, J. (eds.) EuroPVM/MPI 2009. LNCS, vol. 5759, pp. 94–103. Springer, Heidelberg (2009). https://doi.org/10.1007/978-3-642-03770-2_16CrossRef

17.

Pérache, M., Jourdren, H., Namyst, R.: MPC: a unified parallel runtime for clusters of NUMA machines. In: Luque, E., Margalef, T., Benítez, D. (eds.) Euro-Par 2008. LNCS, vol. 5168, pp. 78–88. Springer, Heidelberg (2008). https://doi.org/10.1007/978-3-540-85451-7_9CrossRef

18.

Pfister, G.F.: An introduction to the InfiniBand\(^{\rm {TM}}\) architecture. In: High Performance Mass Storage and Parallel I/O (2001)

19.

Rabenseifner, R.: Hybrid parallel programming on HPC platforms. In: Proceedings of the Fifth European Workshop on OpenMP, EWOMP (2003)

20.

Si, M., Pea, A.J., Balaji, P., Takagi, M., Ishikawa, Y.: MT-MPI: multithreaded MPI for many-core environments. ACM Press (2014)

21.

Trahay, F., Brunet, E., Denis, A.: An analysis of the impact of multi-threading on communication performance. In: IEEE IPDPS (2009)

22.

Trahay, F., Denis, A.: A scalable and generic task scheduling system for communication libraries. In: IEEE CLUSTER (2009)

23.

Valiant, L.G.: A bridging model for parallel computation. Commun. ACM 33, 103–111 (1990)CrossRef

Titel: Efficient Communication/Computation Overlap with MPI+OpenMP Runtimes Collaboration
verfasst von: Marc Sergent
Mario Dagrada
Patrick Carribault
Julien Jaeger
Marc Pérache
Guillaume Papauré
Verlag: Springer International Publishing
Buch: Euro-Par 2018: Parallel Processing
Print ISBN: 978-3-319-96982-4

Electronic ISBN: 978-3-319-96983-1

Copyright-Jahr: 2018
DOI: https://doi.org/10.1007/978-3-319-96983-1_40

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"