Skip to main content

2016 | OriginalPaper | Buchkapitel

SECapacity: A Secure Capacity Scheduler in YARN

verfasst von : Chuntao Dong, Qingni Shen, Lijing Cheng, Yahui Yang, Zhonghai Wu

Erschienen in: Information and Communications Security

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

In this paper, aiming to the requirement that isolation of user’s job and data security, we deeply analyze the mainstream computing framework Hadoop YARN, and start with the core module of YARN - resource scheduler. Using the existing label-based scheduling policy, we design and implement a SECapacity scheduler. Our main work including: First, according to the principle of least privilege, we propose a user-classification based scheduling policy, which divided users to several levels based on their attributes, then restrict which nodes could be used by this user according to the user level. Second, we design and implement a SECapacity scheduler to implement user-classification based scheduling. Third, we verify and analyze the effectiveness and efficiency of SECapacity scheduler, the results shows that SECapacity scheduler can ensure 100% isolation of users at different levels, and the performance overhead is about 6.95%.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Dean, J., Ghemawat, S.: MapReduce: simplified data processing on large clusters. In: Conference on Symposium on Operating Systems Design & Implementation, vol. 51, pp. 107–113. USENIX Association (2004) Dean, J., Ghemawat, S.: MapReduce: simplified data processing on large clusters. In: Conference on Symposium on Operating Systems Design & Implementation, vol. 51, pp. 107–113. USENIX Association (2004)
3.
Zurück zum Zitat Denning, P.J.: Fault tolerant operating systems. ACM Comput. Surv. 8(4), 359–389 (1976)CrossRefMATH Denning, P.J.: Fault tolerant operating systems. ACM Comput. Surv. 8(4), 359–389 (1976)CrossRefMATH
4.
Zurück zum Zitat Dinh, T.T.A., Saxena, P., Chang, E.C., et al.: M2R: enabling stronger privacy in mapreduce computation (2015) Dinh, T.T.A., Saxena, P., Chang, E.C., et al.: M2R: enabling stronger privacy in mapreduce computation (2015)
5.
Zurück zum Zitat Dong, C., Shen, Q., Li, W., Yang, Y., Wu, Z., Wan, X.: Eavesdropper: a framework for detecting the location of the processed result in hadoop. In: Qing, S., Okamoto, E., Kim, K., Liu, D. (eds.) ICICS 2015. LNCS, vol. 9543, pp. 458–466. Springer, Heidelberg (2016). doi:10.1007/978-3-319-29814-6_39 CrossRef Dong, C., Shen, Q., Li, W., Yang, Y., Wu, Z., Wan, X.: Eavesdropper: a framework for detecting the location of the processed result in hadoop. In: Qing, S., Okamoto, E., Kim, K., Liu, D. (eds.) ICICS 2015. LNCS, vol. 9543, pp. 458–466. Springer, Heidelberg (2016). doi:10.​1007/​978-3-319-29814-6_​39 CrossRef
6.
Zurück zum Zitat Ohrimenko, O., Costa, M., Fournet, C., et al.: Observing and preventing leakage in MapReduce. In: ACM SIGSAC Conference, pp. 1570–1581 (2015) Ohrimenko, O., Costa, M., Fournet, C., et al.: Observing and preventing leakage in MapReduce. In: ACM SIGSAC Conference, pp. 1570–1581 (2015)
7.
Zurück zum Zitat Roy, I., Setty, S.T.V., Kilzer, A., et al.: Airavat: security and privacy for MapReduce. In: Usenix Symposium on Networked Systems Design and Implementation, NSDI 2010, San Jose, pp. 297–312 (2010) Roy, I., Setty, S.T.V., Kilzer, A., et al.: Airavat: security and privacy for MapReduce. In: Usenix Symposium on Networked Systems Design and Implementation, NSDI 2010, San Jose, pp. 297–312 (2010)
8.
Zurück zum Zitat Vavilapalli, V.K., Murthy, A.C., Douglas, C., et al.: Apache hadoop YARN: yet another resource negotiator. In: Symposium on Cloud Computing, pp. 1–16 (2013) Vavilapalli, V.K., Murthy, A.C., Douglas, C., et al.: Apache hadoop YARN: yet another resource negotiator. In: Symposium on Cloud Computing, pp. 1–16 (2013)
9.
Zurück zum Zitat Wei, W., Du, J., Yu, T., et al.: SecureMR: a service integrity assurance framework for MapReduce. In: Computer Security Applications Conference, pp. 73–82. IEEE (2009) Wei, W., Du, J., Yu, T., et al.: SecureMR: a service integrity assurance framework for MapReduce. In: Computer Security Applications Conference, pp. 73–82. IEEE (2009)
Metadaten
Titel
SECapacity: A Secure Capacity Scheduler in YARN
verfasst von
Chuntao Dong
Qingni Shen
Lijing Cheng
Yahui Yang
Zhonghai Wu
Copyright-Jahr
2016
DOI
https://doi.org/10.1007/978-3-319-50011-9_15