nach oben

Erschienen in:

2021 | OriginalPaper | Buchkapitel

Using Hadoop Ecosystem and Python to Explore Climate Change

verfasst von : Ivan Ksaver Šušnjara, Tomislav Hlupić

Erschienen in: Recent Trends in Signal and Image Processing

Verlag: Springer Nature Singapore

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

In this article, the data storing and processing capabilities of Apache Hadoop ecosystem and its components: Hive, Impala and Sqoop are demonstrated. Also, it demonstrates Python programming language’s capabilities in data analysis, plotting and statistical computing. It does so by exploring climate change problem, one of today’s most relevant and detrimental problems. Apache Sqoop was employed to migrate data from RDBMS system and store it into Hive database, where Hive and Impala were used for data processing and ELT. Finally, data was analyzed using Python, showing strong evidence for global warming presence, as well as exploring relationship between carbon dioxide (CO₂) emissions and climate change.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Assessment of Eyeball Movement and Head Movement Detection Based on Reading

Nächstes Kapitel A Brief Review of Intelligent Rule Extraction Techniques

Apache Software Foundation.: Apache Hadoop. https://hadoop.apache.org. Accessed 18 Sep 2020

Apache Software Foundation.: Apache Hive TM. https://hive.apache.org. Accessed 18 Sep 2020

Apache Software Foundation.: Apache Impala. https://impala.apache.org. Accessed 18 Sep 2020

Apache Software Foundation.: Apache Sqoop. https://sqoop.apache.org. Accessed 18 Sep 2020.

Berkeley Earth.: Global temperature data. https://berkeleyearth.org/data-new/. Accessed 18 Sep 2020

Boden, T.A., Marland, G., Andres, R.J.: Global, regional, and national fossil-fuel CO₂ emissions. Department of Energy, Oak Ridge, Tenn., U.S.A, Carbon Dioxide Information Analysis Center, Oak Ridge National Laboratory, U.S (2013). https://doi.org/10.3334/CDIAC/00001_V2013CrossRef

Dean, J., Ghemawat, S.: MapReduce: Simplified data processing on large clusters. In: Proceedings of the 6th Conference on Symposium on Operating Systems Design and Implementation, vol. 6. USENIX Association, USA, pp. 137–149 (2004)

Hunter, J.D.: Matplotlib: A 2D graphics environment. Comput. Sci. Eng. 9(3), 90–95 (2007). https://doi.org/10.5281/zenodo.3984190CrossRef

Intergovernmental Panel on Climate Change [IPCC].: Climate change 2014: Synthesis report. In: The Core Writing Team, Pachauri RK, Meyer L (eds) Climate Change 2014: Synthesis Report. IPCC: Geneva, Switzerland (2014)

10.

McKinney, W.: Data structures for statistical computing in Python. In: Van der Walt, S., Millman, J., (eds.) Proceedings of the 9th Python in Science Conference, 445, 56–61 (2010)

11.

Oliphant, T.E.: A Guide to NumPy. Trelgol Publishing, USA (2006)

12.

Oracle Corporation.: MySQL 8.0 Reference Manual. https://dev.mysql.com/doc/refman/8.0/en/. Accessed on 18 Sep 2020

13.

Pandas Development Team.: Pandas. https://pandas.pydata.org. Accessed on 18 Sep 2020

14.

PyHive Development Team.: Pyhive 0.6.3. Retrieved from: https://pypi.org/project/PyHive/. Accessed on 18 Sep 2020

15.

Shvachko, K., Kuang, H., Radia, S., Chansler, R.: The hadoop distributed file system. In: 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies (MSST). IEEE Computer Society, Incline Village, NV, USA. pp 1–10. DOI: https://doi.org/10.1109/MSST.2010.5496972 (2010)

16.

Van der, Walt, S., Colbert, S., Varoquaux, G.: The NumPy array: a structure for efficient numerical computation. Comput. Sci. Eng. 13, 22-30. https://doi.org/10.1109/MCSE.2011.37(2011)

17.

Van Rossum, G., Drake, F.L.: Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, USA (2009)

18.

Welch, B.L.: The generalization of “Student’s” problem when several different population variances are involved. Biometrika 34(1–2), 28–35 (1947). https://doi.org/10.1093/biomet/34.1-2.28MathSciNetCrossRefMATH

Titel: Using Hadoop Ecosystem and Python to Explore Climate Change
verfasst von: Ivan Ksaver Šušnjara
Tomislav Hlupić
Verlag: Springer Nature Singapore
Buch: Recent Trends in Signal and Image Processing
Print ISBN: 978-981-336-965-8

Electronic ISBN: 978-981-336-966-5

Copyright-Jahr: 2021
DOI: https://doi.org/10.1007/978-981-33-6966-5_11

Neuer Inhalt

Bildnachweise

VDI-Icon, Profil Icon, inhalt2, Springer Professional Modul/© Springer Fachmedien Wiesbaden GmbH, Zukunftswerkstatt Sales Excellence_ieS/© Springer Fachmedien Wiesbaden GmbH, Search Icon, Banner Hanser, Dr. Alexandru Oproiescu/© Dr. Alexandru Oproiescu, Julian Erhard/© Packex GmbH, Cloud Netzwerk Open Banking/© vege / Fotolia, Zeitschrift Wissensmanagement Cover, PatentFit-Logo/© Springer Fachmedien Wiesbaden GmbH, Zukunftswerkstatt Sales Excellence 2024/© AndreyPopov / Getty Images / iStock, 2023_Antrieb/© supervisuell, ATZ-Webinar: Prototypenfreie Entwicklung durch Offline- und Driver-in-the-Loop-HiL-Tests /© (c) VI-grade

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Neuer Inhalt

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.