Skip to main content

2015 | OriginalPaper | Buchkapitel

10. Deserializing JSON Data in Hadoop

verfasst von : Shih-Ying Chen, Hung-Ming Chen, I-Hsueh Chen, Chien-Che Huang

Erschienen in: Future Information Technology - II

Verlag: Springer Netherlands

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

MapReduce provides an efficient programming framework for processing big data in parallel in Hadoop. On the other hand, as the digitalized data becomes bigger as the advances information of technology, deserializing big JSON data into paths in advance can benefit queries on the data. Therefore, using MapReduce framework to deserialize big JSON data into JSON paths is applicable. In this paper, we propose an efficient JSON data processing mechanism based on MapReduce framework. The mechanism includes a redesign of JSONInputFormat class and the other two Map and Reduce functions.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Beyer KS, Ercegovac V, Gemulla R, Balmin A, Eltabakh M, Kanne C-C, Ozcan F, Shekita EJ (2011) Jaql: a scripting language for large scale semistructured data analysis. IBM Research, Almaden, pp 1272–1283 Beyer KS, Ercegovac V, Gemulla R, Balmin A, Eltabakh M, Kanne C-C, Ozcan F, Shekita EJ (2011) Jaql: a scripting language for large scale semistructured data analysis. IBM Research, Almaden, pp 1272–1283
3.
Zurück zum Zitat Dean J, Ghemawat S (2008) MapReduce: simplified data processing on large clusters. Commun ACM 51(1):107–113 (50th anniversary issue: 1958–2008 CACM Homepage) Dean J, Ghemawat S (2008) MapReduce: simplified data processing on large clusters. Commun ACM 51(1):107–113 (50th anniversary issue: 1958–2008 CACM Homepage)
8.
Zurück zum Zitat Lee K-H, Lee Y-J, Choi H, Chung YD, Moon B (2011) Parallel data processing with MapReduce: a survey. ACM SIGMOD Rec 40(4):11–20 Lee K-H, Lee Y-J, Choi H, Chung YD, Moon B (2011) Parallel data processing with MapReduce: a survey. ACM SIGMOD Rec 40(4):11–20
9.
Zurück zum Zitat O’Driscoll A, Daugelaite J, Sleatore RD (2013) ‘Big data’, Hadoop and cloud computing in genomics. J Biomed Inform 46(5):774–781 O’Driscoll A, Daugelaite J, Sleatore RD (2013) ‘Big data’, Hadoop and cloud computing in genomics. J Biomed Inform 46(5):774–781
11.
Zurück zum Zitat Xiao Z, Xiao Y (2012) Achieving accountable MapReduce in cloud computing. Special issue on extreme scale parallel architectures and systems, cryptography in cloud computing and recent advances in parallel and distributed systems. In: ICPADS 2012 selected papers, vol 30, Jan 2014, pp 1–13 Xiao Z, Xiao Y (2012) Achieving accountable MapReduce in cloud computing. Special issue on extreme scale parallel architectures and systems, cryptography in cloud computing and recent advances in parallel and distributed systems. In: ICPADS 2012 selected papers, vol 30, Jan 2014, pp 1–13
12.
Zurück zum Zitat Zikopoulos P, Eaton C (2011) Understanding big data: analytics for enterprise class hadoop and streaming data, 1st edn. McGraw-Hill, New York Zikopoulos P, Eaton C (2011) Understanding big data: analytics for enterprise class hadoop and streaming data, 1st edn. McGraw-Hill, New York
Metadaten
Titel
Deserializing JSON Data in Hadoop
verfasst von
Shih-Ying Chen
Hung-Ming Chen
I-Hsueh Chen
Chien-Che Huang
Copyright-Jahr
2015
Verlag
Springer Netherlands
DOI
https://doi.org/10.1007/978-94-017-9558-6_10

Neuer Inhalt