Skip to main content

2015 | OriginalPaper | Buchkapitel

Evaluating New Approaches of Big Data Analytics Frameworks

verfasst von : Norman Spangenberg, Martin Roth, Bogdan Franczyk

Erschienen in: Business Information Systems

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

The big data topic will be one of the leading growth markets in information technology in the next years. One problem in this area is the efficient computation of huge data volumes, especially for complex algorithms in data mining and machine learning tasks. This paper discuss new processing frameworks for big and smart data in distributed environments and presents a benchmark between two frameworks - Apache Flink and Apache Spark - based on a mixed workload with algorithms from different analytic areas with different real-world datasets.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
3.
Zurück zum Zitat Lee, K.-H., Lee, Y.-J., Choi, H., Chung, Y.D., Moon, B.: Parallel data processing with MapReduce: a survey. SIGMOD Rec. 40(4), 11–20 (2012)CrossRef Lee, K.-H., Lee, Y.-J., Choi, H., Chung, Y.D., Moon, B.: Parallel data processing with MapReduce: a survey. SIGMOD Rec. 40(4), 11–20 (2012)CrossRef
10.
Zurück zum Zitat Elser, B., Montresor, A.: An evaluation study of bigdata frameworks for graph processing. In: Hu, X. et al. (eds.) BigData Conference, pp. 60–67. IEEE (2013) Elser, B., Montresor, A.: An evaluation study of bigdata frameworks for graph processing. In: Hu, X. et al. (eds.) BigData Conference, pp. 60–67. IEEE (2013)
12.
Zurück zum Zitat Alexandrov, A., et al.: The stratosphere platform for big data analytics. VLDB J. 23(6), 939–964 (2014)CrossRef Alexandrov, A., et al.: The stratosphere platform for big data analytics. VLDB J. 23(6), 939–964 (2014)CrossRef
13.
Zurück zum Zitat Zaharia, M. et al.: Resilient distributed datasets: a fault-tolerant abstraction for in-memory cluster computing. In: Proceedings of the 9th USENIX Conference on Networked Systems Design and Implementation. NSDI 2012, pp. 2–2. USENIX Association, San Jose (2012) Zaharia, M. et al.: Resilient distributed datasets: a fault-tolerant abstraction for in-memory cluster computing. In: Proceedings of the 9th USENIX Conference on Networked Systems Design and Implementation. NSDI 2012, pp. 2–2. USENIX Association, San Jose (2012)
14.
Zurück zum Zitat Ewen, S., Tzoumas, K., Kaufmann, M., Markl, V.: Spinning fast iterative data flows. Proc. VLDB Endow. 5(11), 1268–1279 (2012)CrossRef Ewen, S., Tzoumas, K., Kaufmann, M., Markl, V.: Spinning fast iterative data flows. Proc. VLDB Endow. 5(11), 1268–1279 (2012)CrossRef
15.
Zurück zum Zitat Warneke, D., Kao, O.: Nephele efficient parallel data processing in the cloud. In: Raicu, I., Foster, I., Zhao, Y. (eds.) MTAGS 2009, p. 110. ACM, New York (2009) Warneke, D., Kao, O.: Nephele efficient parallel data processing in the cloud. In: Raicu, I., Foster, I., Zhao, Y. (eds.) MTAGS 2009, p. 110. ACM, New York (2009)
16.
Zurück zum Zitat Hueske, F., Peters, M., Sax, M.J., Rheinlnder, A., Bergmann, R., Krettek, A., Tzoumas, K.: Opening the black boxes in data flow optimization. Proc. VLDB Endow. 5(12), 1256–1267 (2012)CrossRef Hueske, F., Peters, M., Sax, M.J., Rheinlnder, A., Bergmann, R., Krettek, A., Tzoumas, K.: Opening the black boxes in data flow optimization. Proc. VLDB Endow. 5(12), 1256–1267 (2012)CrossRef
17.
Zurück zum Zitat Zaharia, M., Chowdhury, M., Franklin, M.J., Shenker, S., Stoica, I.: Spark: cluster computing with working sets. In: Proceedings of the 2nd USENIX Conference on Hot Topics in Cloud Computing. USENIX Association (2010) Zaharia, M., Chowdhury, M., Franklin, M.J., Shenker, S., Stoica, I.: Spark: cluster computing with working sets. In: Proceedings of the 2nd USENIX Conference on Hot Topics in Cloud Computing. USENIX Association (2010)
18.
Zurück zum Zitat Blumenstock, J.E.: Size matters: word count as a measure of quality on wikipedia. In: Proceedings of the 17th international conference on World Wide Web. ACM (2008) Blumenstock, J.E.: Size matters: word count as a measure of quality on wikipedia. In: Proceedings of the 17th international conference on World Wide Web. ACM (2008)
19.
Zurück zum Zitat Hartigan, J., Manchek, A.: Algorithm AS 136: a k-means clustering algorithm. In: Applied statistics, pp. 100–108 (1979) Hartigan, J., Manchek, A.: Algorithm AS 136: a k-means clustering algorithm. In: Applied statistics, pp. 100–108 (1979)
22.
Zurück zum Zitat Liang, F., Feng, C., Lu, X., Xu, Z.: Performance benefits of DataMPI: a case study with bigdatabench. In: Zhan, J., Rui, H., Weng, C. (eds.) BPOE 2014. LNCS, vol. 8807, pp. 111–123. Springer, Heidelberg (2014) Liang, F., Feng, C., Lu, X., Xu, Z.: Performance benefits of DataMPI: a case study with bigdatabench. In: Zhan, J., Rui, H., Weng, C. (eds.) BPOE 2014. LNCS, vol. 8807, pp. 111–123. Springer, Heidelberg (2014)
Metadaten
Titel
Evaluating New Approaches of Big Data Analytics Frameworks
verfasst von
Norman Spangenberg
Martin Roth
Bogdan Franczyk
Copyright-Jahr
2015
DOI
https://doi.org/10.1007/978-3-319-19027-3_3