nach oben

Erschienen in:

2019 | OriginalPaper | Buchkapitel

A Lightweight Approach to GPU Resilience

verfasst von : Max Baird, Christian Fensch, Sven-Bodo Scholz, Artjoms Šinkarovs

Erschienen in: Euro-Par 2018: Parallel Processing Workshops

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

Resilience for HPC applications typically is implemented as a CPU-based rollback-recovery technique. In this context, long running accelerator computations on GPUs pose a major challenge as these devices usually do not offer any means of interrupt. This paper proposes a solution to the aforementioned problem: it suggests a novel approach that rewrites GPU kernels so that a soft interrupt of their execution becomes possible. Our approach is based on the Compute Unified Device Architecture (CUDA) by Nvidia and works by taking advantage of CUDA’s execution model of partitioning threads into blocks. In essence, we re-write the kernel so that each block determines whether it should continue execution or return control to the CPU. By doing so we are able to perform a premature interrupt of kernels.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Performance Efficient Multiresilience Using Checkpoint Recovery in Iterative Algorithms

Freely available at https://bitbucket.org/maxbaird/cuda_backup.

The API with its documentation and examples can be found at https://bitbucket.org/maxbaird/cuda_backup.

Hargrove, P.H., Duell, J.C.: Berkeley lab checkpoint/restart (BLCR) for Linux clusters. J. Phys. Conf. Ser. 46, 494–499 (2006). https://doi.org/10.1088/1742-6596/46/1/067CrossRef

Gõddeke, D., Strzodka, R., Mohd-Yusof, J., McCormick, P.: Exploring weak scalability for FEM calculations on a GPU-enhanced cluster. Parallel Comput. 33(10–11), 685–699 (2007). https://doi.org/10.1016/j.parco.2007.09.002CrossRef

Egwutuoha, I.P., Levy, D., Selic, B., Chen, S.: A survey of fault tolerance mechanisms and checkpoint/restart implementations for high performance computing systems. J. Supercomput. 65(3), 1302–1326 (2013). https://doi.org/10.1007/s11227-013-0884-0CrossRef

Bautista-Gomez, L., Tsuboi, S., et al.: FTI: high performance fault tolerance interface for hybrid systems. In: 2011 International Conference for High Performance Computing. IEEE (2011). https://doi.org/10.1145/2063384.2063427

Cappello, F., Geist, A., et al.: Toward exascale resilience. Int. J. High Perform. Comput. Appl. 23(4), 374–388 (2009). https://doi.org/10.1177/1094342009347767CrossRef

DeBardeleben, N., et al.: GPU behavior on a large HPC cluster. In: an Mey, D., et al. (eds.) Euro-Par 2013. LNCS, vol. 8374, pp. 680–689. Springer, Heidelberg (2014). https://doi.org/10.1007/978-3-642-54420-0_66CrossRef

Fan, Z., Qiu, F., et al.: GPU cluster for high performance computing. In: Proceedings of the 2004 ACM/IEEE Conference on Supercomputing, SC 2004, p. 47 (2004). https://doi.org/10.1109/SC.2004.26

Gupta, V., et al.: GViM: GPU-accelerated virtual machines. In: Proceedings of the 3rd ACM Workshop on System-Level Virtualization for High Performance Computing, HPCVirt 2009, pp. 17–24. ACM (2009). https://doi.org/10.1145/1519138.1519141

Shi, L., Chen, H., et al.: vCUDA: GPU-accelerated high-performance computing in virtual machines. IEEE Trans. Comput. 61(6), 804–816 (2009). https://doi.org/10.1109/IPDPS.2009.5161020MathSciNetCrossRefMATH

10.

Nukada, A., et al.: NVCR: a transparent checkpoint-restart library for NVIDIA CUDA. In: 2011 IEEE IPDPS Workshops and Phd Forum, pp. 104–113. IEEE (2011). https://doi.org/10.1109/IPDPS.2011.131

11.

NVIDIA: CUDA C programming guide (2017)

12.

Peña, A.J., Bland, W., Balaji, P.: VOCL-FT: introducing techniques for efficient soft error coprocessor recovery. In: Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis, SC 2015, pp. 1–12. IEEE (2015). https://doi.org/10.1145/2807591.2807640

13.

Phillips, J.C., et al.: Adapting a message-driven parallel application to GPU-accelerated clusters. In: Proceedings of the 2008 ACM/IEEE Conference on Supercomputing, SC 2008. IEEE (2008). https://doi.org/10.1109/SC.2008.5214716

14.

Pourghassemi, B., et al.: CudaCR: an in-kernel application-level checkpoint/restart scheme for CUDA-enabled GPUs. In: 2017 IEEE International Conference on Cluster Computing (CLUSTER), pp. 725–732. IEEE (2017). https://doi.org/10.1109/CLUSTER.2017.100

15.

Showerman, M., et al.: QP: a heterogeneous multi-accelerator cluster. In: 10th LCI International Conference on High-Performance Clustered Computing (2009)

16.

Takizawa, H., et al.: CheCUDA: a checkpoint/restart tool for CUDA applications. In: 2009 International Conference on PDCAT, pp. 408–413. IEEE (2009). https://doi.org/10.1109/PDCAT.2009.78

17.

Takizawa, H., et al.: CheCL: transparent checkpointing and process migration of OpenCL applications. In: 2011 IEEE International IPDPS. IEEE (2011). https://doi.org/10.1109/IPDPS.2011.85

18.

Mohamed, H., Osipyan, H., Marchand-Maillet, S.: Multi-core (CPU and GPU) for permutation-based indexing. In: Traina, A.J.M., Traina, C., Cordeiro, R.L.F. (eds.) SISAP 2014. LNCS, vol. 8821, pp. 277–288. Springer, Cham (2014). https://doi.org/10.1007/978-3-319-11988-5_26CrossRef

19.

Yang, G., et al.: PBOOST: a GPU-based tool for parallel permutation tests in genome-wide association studies. Bioinformatics 31(9), 1460–1462 (2015). https://doi.org/10.1093/bioinformatics/btu840CrossRef

Titel: A Lightweight Approach to GPU Resilience
verfasst von: Max Baird
Christian Fensch
Sven-Bodo Scholz
Artjoms Šinkarovs
Verlag: Springer International Publishing
Buch: Euro-Par 2018: Parallel Processing Workshops
Print ISBN: 978-3-030-10548-8

Electronic ISBN: 978-3-030-10549-5

Copyright-Jahr: 2019
DOI: https://doi.org/10.1007/978-3-030-10549-5_64

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Premium Partner