Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Bücher
Zeitschriften
Weitere Formate
Podcasts Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
MTZ-Fachkongress

Antriebe und Energiesysteme von morgen


Austausch von Automobil- und Energiewirtschaft

Am 14./15. Mai geht es in Chemnitz um die Mobilitätswende durch Elektro- und Wasserstofffahrzeuge.
Erweiterte Suche
Anmelden
nach oben
Erschienen in:
Improving Performance and Energy Efficiency for OFDMA Systems Using Adaptive Antennas and CoMP Kapitel lesen Erstes Kapitel lesen

2017 | OriginalPaper | Buchkapitel

Efficient vCore Based Container Deployment Algorithm for Improving Heterogeneous Hadoop YARN Performance

verfasst von : SooKyung Lee, Min-Ho Bae, Jun-Ho Eum, Sangyoon Oh

Erschienen in: Information Science and Applications 2017

Verlag: Springer Singapore

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Hadoop has been widely utilized in processing a large-scale of data. Even though Hadoop-YARN has highly advanced processing performance, it still has performance limitations on heterogeneous environment. Its processing performance can be degraded when it is utilized in servers with different capabilities as well as the processes are scheduled for multiple users. To address this performance degradation problem caused by imbalanced load on heterogeneous environment, we propose an efficient vCore based container deployment algorithm that allocates the processing load for each container equally in order to minimize the deviation among processing task loads by controlling the number of vCores. The experiments show that our proposed method improved the performance on completion time by 18% on average.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren
Vorheriges Kapitel An Augmented Reality Learning System for Programming Concepts
Nächstes Kapitel A Real-Time Operating System Supporting Distributed Shared Memory for Embedded Control Systems
Anhänge
Nur mit Berechtigung zugänglich
Literatur
1.
Dean, J., Ghemawat, S.: MapReduce: simplified data processing on large clusters. Commun. ACM 51, 107–113 (2008)CrossRef
2.
Vavilapalli, V.K., Murthy, A.C., Douglas, C., Agarwal, S., Konar, M., Evans, R., Graves, T., Lowe, J., Shah, H., Seth, S.: Apache Hadoop yarn: yet another resource negotiator. In: 4th Annual Symposium on Cloud Computing, p. 5. ACM, Santa Clara (2013)
3.
Zaharia, M., Konwinski, A., Joseph, A.D., Katz, R.H., Stoica, I.: Improving MapReduce performance in heterogeneous environments. OSDI 8, 7 (2008)
4.
Chen, Q., Liu, C., Xiao, Z.: Improving MapReduce performance using smart speculative execution strategy. IEEE Trans. Comput. 63, 954–967 (2014)MathSciNetCrossRef
5.
Xie, J., Yin, S., Ruan, X., Ding, Z., Tian, Y., Majors, J., Manzanares, A., Qin, X.: Improving MapReduce performance through data placement in heterogeneous Hadoop clusters. In: 2010 IEEE International Symposium on Parallel and Distributed Processing, pp. 1–9. IEEE, Atlanta (2010)
6.
Ahmad, F., Chakradhar, S.T., Raghunathan, A., Vijaykumar, T.: Tarazu: optimizing MapReduce on heterogeneous clusters. ACM SIGARCH Comput. Archit. News 40, 61–74 (2012)CrossRef
7.
Gupta, S., Fritz, C., Price, B., Hoover, R., Dekleer, J., Witteveen, C.: ThroughputScheduler: learning to schedule on heterogeneous Hadoop clusters. In: 10th International Conference on Autonomic Computing, pp. 159–165. ICAC, San Jose (2013)
8.
Xiong, R., Luo, J., Dong, F.: Optimizing data placement in heterogeneous Hadoop clusters. Cluster Comput. 18, 1465–1480 (2015)CrossRef
9.
Cheng, D., Rao, J., Guo, Y., Zhou, X.: Improving MapReduce performance in heterogeneous environments with adaptive task tuning. In: 15th International Middleware Conference, pp. 97–108. ACM, Bordeaux (2014)
10.
Casazza, J.P., Greenfield, M., Shi, K.: Redefining server performance characterization for virtualization benchmarking. Intel Technol. J. 10, 243–251 (2006)CrossRef
11.
Tickoo, O., Iyer, R., Illikkal, R., Newell, D.: Modeling virtual machine performance: challenges and approaches. ACM SIGMETRICS Perform. Eval. Rev. 37, 55–60 (2010)CrossRef
12.
Wood, T., Shenoy, P., Venkataramani, A., Yousif, M.: Sandpiper: black-box and gray-box resource management for virtual machines. Comput. Netw. 53, 2923–2938 (2009)CrossRefMATH
13.
Gulati, A., Ahmad, I., Waldspurger, C.A.: PARDA: proportional allocation of resources for distributed storage access. FAST 9, 85–98 (2009)
14.
Iyer, R., Illikkal, R., Tickoo, O., Zhao, L., Apparao, P., Newell, D.: VM 3: measuring, modeling and managing VM shared resources. Comput. Netw. 53, 2873–2887 (2009)CrossRef
Metadaten
Titel
Efficient vCore Based Container Deployment Algorithm for Improving Heterogeneous Hadoop YARN Performance
verfasst von
SooKyung Lee
Min-Ho Bae
Jun-Ho Eum
Sangyoon Oh
Copyright-Jahr
2017
Verlag
Springer Singapore
Buch
Information Science and Applications 2017

Print ISBN: 978-981-10-4153-2

Electronic ISBN: 978-981-10-4154-9

Copyright-Jahr: 2017

DOI
https://doi.org/10.1007/978-981-10-4154-9_23

Neuer Inhalt

    Bildnachweise