Skip to main content
main-content

Tipp

Weitere Artikel dieser Ausgabe durch Wischen aufrufen

05.03.2018 | Sonderheft 4/2019

Cluster Computing 4/2019

Design and realization of bank history data management system based on Hadoop 2.0

Zeitschrift:
Cluster Computing > Sonderheft 4/2019
Autor:
Meiwen Guo

Abstract

With the continuous economic development, the total amount of data in banks is growing bigger and bigger and it is urgent and necessary to manage these data effectively. This paper studied Hadoop-based bank historical data management from the perspective of data migration, and designed and realized a data migration module. Map Reduce data migration was used in the process of structured data migration. An IO load-based scheduling algorithm was also designed. When scheduling, considering the consumption of resources, it is avoided to assign tasks to heavy-loaded IO nodes. An unstructured data migration tool was developed by smartly using FTP to concurrently migrate log files of online service platforms and other data to HDFS specified directories. The final system test results show that the system in this paper can work normally and meet the design requirements.

Bitte loggen Sie sich ein, um Zugang zu diesem Inhalt zu erhalten

Sie möchten Zugang zu diesem Inhalt erhalten? Dann informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 69.000 Bücher
  • über 500 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Umwelt
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Testen Sie jetzt 30 Tage kostenlos.

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 50.000 Bücher
  • über 380 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Umwelt
  • Maschinenbau + Werkstoffe




Testen Sie jetzt 30 Tage kostenlos.

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 58.000 Bücher
  • über 300 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Testen Sie jetzt 30 Tage kostenlos.

Literatur
Über diesen Artikel

Weitere Artikel der Sonderheft 4/2019

Cluster Computing 4/2019 Zur Ausgabe

Premium Partner

    Bildnachweise