nach oben

Erschienen in:

2018 | OriginalPaper | Buchkapitel

Exploring Graph Analytics with the PCJ Toolbox

verfasst von : Roxana Istrate, Panagiotis Kl. Barkoutsos, Michele Dolfi, Peter W. J. Staar, Costas Bekas

Erschienen in: Parallel Processing and Applied Mathematics

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

Graph analysis is an intrinsic tool embedded in the big data domain. The demand in processing of bigger and bigger graphs requires highly efficient and parallel applications. In this work we explore the possibility of employing the new PCJ library for distributed calculations in Java. We apply the toolbox to sparse matrix matrix multiplications and the k-means clustering problem. We benchmark the strong scaling performance against an equivalent C++/MPI implementation. Our benchmarks found comparable good scaling results for algorithms using mainly local point-to-point communications, and exposed the potential for logarithmic collective operations directly available in the PCJ library. Further more, we also experienced an improvement of development time to solution, as a result of the high level abstractions provided by Java and PCJ.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Fault-Tolerance Mechanisms for the Java Parallel Codes Implemented with the PCJ Library

Nächstes Kapitel Big Data Analytics in Java with PCJ Library: Performance Comparison with Hadoop

This is specially relevant in the one-dimensional domain decomposition used in the SPMM algorithm.

Parallel computing in Java. https://pcj.icm.edu.pl

Estrada, E.: Subgraph centrality in complex networks. Phys. Rev. E 71(5), 056103 (2005)MathSciNetCrossRef

Estrada, E., et al.: Network properties revealed through matrix functions. SIAM Rev. 52(4), 696–714 (2010)MathSciNetCrossRefMATH

Leskovec, J., Krevl, A.: Snap datasets: Stanford large network dataset collection (2014). http://snap.stanford.edu/data

Lloyd, S.: Least squares quantization in PCM. IEEE Trans. Inf. Theory 28(2), 129–137 (1982)MathSciNetCrossRefMATH

Nowicki, M., Górski, Ł., Grabrczyk, P., Bala, P.: PCJ - Java library for high performance computing in PGAS model. In: 2014 International Conference on High Performance Computing Simulation (HPCS), pp. 202–209, July 2014. https://doi.org/10.1109/HPCSim.2014.6903687

Nowicki, M., Bzhalava, D., Bała, P.: Massively parallel sequence alignment with BLAST through work distribution implemented using PCJ library. In: Ibrahim, S., Choo, K.-K.R., Yan, Z., Pedrycz, W. (eds.) ICA3PP 2017. LNCS, vol. 10393, pp. 503–512. Springer, Cham (2017). https://doi.org/10.1007/978-3-319-65482-9_36 CrossRef

Ropo, M., Westerholm, J., Dongarra, J. (eds.): Recent Advances in Parallel Virtual Machine and Message Passing Interface. Springer, Heidelberg (2009). https://doi.org/10.1007/978-3-642-03770-2. ISBN: 978-3-642-03769-6

Ryczkowska, M., Nowicki, M., Bala, P.: The performance evaluation of the Java implementation of Graph500. In: Wyrzykowski, R., Deelman, E., Dongarra, J., Karczewski, K., Kitowski, J., Wiatr, K. (eds.) PPAM 2015. LNCS, vol. 9574, pp. 221–230. Springer, Cham (2016). https://doi.org/10.1007/978-3-319-32152-3_21 CrossRef

10.

Ryczkowska, M., Nowicki, M., Bała, P.: Level-synchronous BFS algorithm implemented in Java using PCJ library. In: 2016 International Conference on Computational Science and Computational Intelligence (CSCI), pp. 596–601 (2016)

11.

Staar, P.W.J., Barkoutsos, P.K., Istrate, R., Malossi, A.C.I., Tavernelli, I., Moll, N., Giefers, H., Hagleitner, C., Bekas, C., Curioni, A.: Stochastic matrix-function estimators: scalable big-data kernels with high performance. In: 2016 IEEE International Parallel and Distributed Processing Symposium (IPDPS), pp. 812–821 (2016). https://doi.org/10.1109/IPDPS.2016.34

12.

Tinney, W.F., Walker, J.W.: Direct solutions of sparse network equations by optimally ordered triangular factorization. Proc. IEEE 55(11), 1801–1809 (1967)CrossRef

Titel: Exploring Graph Analytics with the PCJ Toolbox
verfasst von: Roxana Istrate
Panagiotis Kl. Barkoutsos
Michele Dolfi
Peter W. J. Staar
Costas Bekas
Verlag: Springer International Publishing
Buch: Parallel Processing and Applied Mathematics
Print ISBN: 978-3-319-78053-5

Electronic ISBN: 978-3-319-78054-2

Copyright-Jahr: 2018
DOI: https://doi.org/10.1007/978-3-319-78054-2_29

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Premium Partner