Skip to main content

2015 | OriginalPaper | Buchkapitel

A Distributed Data Mining System Framework for Mobile Internet Access Log Based on Hadoop

verfasst von : Yunliang Jiang, Jiangang Yang, Liang Tang, Yong Liu, Xiaoming Zhao, Xiulan Hao

Erschienen in: Transactions on Edutainment XI

Verlag: Springer Berlin Heidelberg

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Because of the popularity of mobile phone and the development of mobile network, mobile data is growing explosively. Mobile data mining is more and more of attention. But single node-based data mining platform has been unable to store and analysis the massive data. According to cloud computing technology, we preset a distributed data mining framework based on Hadoop. Then, we present the implementation of this system framework and process mobile internet access log on the Hadoop cluster. Comparative tests will show that this distributed system framework is significantly efficient for processing huge scale dataset.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Bahmani, B., Chakrabarti, K., Xin, D.: Fast personalized PageRank on MapReduce. In: SIGMOD 2011, pp. 973–984 Bahmani, B., Chakrabarti, K., Xin, D.: Fast personalized PageRank on MapReduce. In: SIGMOD 2011, pp. 973–984
2.
Zurück zum Zitat Li, B., Mazur, E., Diao, Y., McGregor, A., Shenoy, P.J.: A platform for scalable one-pass analytics using MapReduce. In: SIGMOD 2011, pp. 985–996 Li, B., Mazur, E., Diao, Y., McGregor, A., Shenoy, P.J.: A platform for scalable one-pass analytics using MapReduce. In: SIGMOD 2011, pp. 985–996
3.
Zurück zum Zitat de Kruijf, M., Sankaralingam, K.: MapReduce for the cell broadband engine architecture. IBM J. Res. Dev. (IBMRD) 53(5), 10 (2009) de Kruijf, M., Sankaralingam, K.: MapReduce for the cell broadband engine architecture. IBM J. Res. Dev. (IBMRD) 53(5), 10 (2009)
4.
Zurück zum Zitat Hill, R., Hirsch, L., Lake, P.: Guide to Cloud Computing, pp. 5–20. Springer, London (2013)CrossRef Hill, R., Hirsch, L., Lake, P.: Guide to Cloud Computing, pp. 5–20. Springer, London (2013)CrossRef
6.
Zurück zum Zitat Armbrust, M., et al.: A view of cloud computing. Commun. ACM (CACM) 53(4), 50–58 (2010)CrossRef Armbrust, M., et al.: A view of cloud computing. Commun. ACM (CACM) 53(4), 50–58 (2010)CrossRef
8.
Zurück zum Zitat White, T.: Hadoop: the Definitive Guide, 2nd edn. O’Reilly Media, Inc, California (2012) White, T.: Hadoop: the Definitive Guide, 2nd edn. O’Reilly Media, Inc, California (2012)
9.
Zurück zum Zitat Thusoo, A., et al.: Improving the performance of Hadoop Hive by sharing scan and computation tasks. J. Cloud Comput. Adv. Syst. Appl. 3, 140–156 (2014) Thusoo, A., et al.: Improving the performance of Hadoop Hive by sharing scan and computation tasks. J. Cloud Comput. Adv. Syst. Appl. 3, 140–156 (2014)
10.
Zurück zum Zitat Thusoo, A., et. al.: Hive a warehousing solution over a MapReduce framework. Facebook Data Infrastructure Team (2009) Thusoo, A., et. al.: Hive a warehousing solution over a MapReduce framework. Facebook Data Infrastructure Team (2009)
11.
Zurück zum Zitat Dean, J., Ghemawat, S.: MapReduce: a flexible data processing tool. Commun. ACM (CACM) 53(1), 72–77 (2010)CrossRef Dean, J., Ghemawat, S.: MapReduce: a flexible data processing tool. Commun. ACM (CACM) 53(1), 72–77 (2010)CrossRef
12.
Zurück zum Zitat Verma, A., et al.: Breaking the MapReduce stage barrier. Cluster Comput. 16(1), 191–206 (2013)CrossRef Verma, A., et al.: Breaking the MapReduce stage barrier. Cluster Comput. 16(1), 191–206 (2013)CrossRef
13.
Zurück zum Zitat Isard, M., Budiu, M., Yu, Y., Birrell, A., Fetterly, D.: Dryad: distributed data-parallel programs from sequential building blocks. In: EuroSys, pp. 59–72 (2007) Isard, M., Budiu, M., Yu, Y., Birrell, A., Fetterly, D.: Dryad: distributed data-parallel programs from sequential building blocks. In: EuroSys, pp. 59–72 (2007)
14.
Zurück zum Zitat Chaiken, R., Jenkins, B., Larson, P.-A., Ramsey, B., Shakib, D., Weaver, S., Zhou J.: Scope: easy and efficient parallel processing of massive data sets. In: Proceedings of the VLDB Endowment, vol. 1, no. 2, pp. 1265–1276 (2008) Chaiken, R., Jenkins, B., Larson, P.-A., Ramsey, B., Shakib, D., Weaver, S., Zhou J.: Scope: easy and efficient parallel processing of massive data sets. In: Proceedings of the VLDB Endowment, vol. 1, no. 2, pp. 1265–1276 (2008)
15.
Zurück zum Zitat Olston, C., Reed, B., Srivastava, U., Kumar, R., Tomkins, A.: Pig latin: a not-so-foreign language for data processing. In: SIGMOD, pp. 1099–1110 (2008) Olston, C., Reed, B., Srivastava, U., Kumar, R., Tomkins, A.: Pig latin: a not-so-foreign language for data processing. In: SIGMOD, pp. 1099–1110 (2008)
Metadaten
Titel
A Distributed Data Mining System Framework for Mobile Internet Access Log Based on Hadoop
verfasst von
Yunliang Jiang
Jiangang Yang
Liang Tang
Yong Liu
Xiaoming Zhao
Xiulan Hao
Copyright-Jahr
2015
Verlag
Springer Berlin Heidelberg
DOI
https://doi.org/10.1007/978-3-662-48247-6_23