Skip to main content

2014 | OriginalPaper | Buchkapitel

Enhanced Single-Pass Algorithm for Efficient Indexing Using Hashing in Map Reduce Paradigm

verfasst von : Piyush Kumar Sinha, Prashant Joshi, Pooja Pundir, Manisha Negi, R. H. Goudar

Erschienen in: Intelligent Computing, Networking, and Informatics

Verlag: Springer India

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Today the data in the world has reached beyond the sky limits and with the advancement of data-intensive applications there is a need to collect, analyze, process, and retrieve enormous datasets efficiently. This large datasets are popularly termed as “BIG DATA” which was coined by Roger Magoulas, director of market research at O’Reilly Media. To deal with these large datasets different approaches by various data scientists around the world grew and as a result scalable effectuations of information retrieval (IR) operations have become a necessity. MapReduce [1, 2] programming model (Apache’s Hadoop [3], an open source implementation of MapReduce) has emerged as a very effective tool to handle large volume of data in distributed environment. Here with our work we are extending the technique of indexing large data using Single-Pass with hash implementation over MapReduce framework.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Dean, J., Ghemawat, S.: MapReduce: Simplified data processing on large clusters. USENIX Association OSDI’04: 6th Symposium on Operating Systems Design and Implementation, pp. 137–149 (2004) Dean, J., Ghemawat, S.: MapReduce: Simplified data processing on large clusters. USENIX Association OSDI’04: 6th Symposium on Operating Systems Design and Implementation, pp. 137–149 (2004)
2.
Zurück zum Zitat Ghemawat, S., Gobioff, H., Leung, S.-T.: The Google file system. In 19th Symposium on Operating Systems Principles, Lake George, NY, Oct 2003. ACM Ghemawat, S., Gobioff, H., Leung, S.-T.: The Google file system. In 19th Symposium on Operating Systems Principles, Lake George, NY, Oct 2003. ACM
4.
Zurück zum Zitat Hodge, G.M.: Computer-assisted database indexing: The state-of-the-art. Indexer 19(1), 23 (1994) Hodge, G.M.: Computer-assisted database indexing: The state-of-the-art. Indexer 19(1), 23 (1994)
5.
Zurück zum Zitat Bertino, E., Ooi, B.C., Sacks-Davis, R., Tan, K.-L., Zobel, J., Shidlovsky, B., Catania, B.: Indexing Techniques for Advanced Database Systems. Kluwer Academic Press, USA (1997)CrossRef Bertino, E., Ooi, B.C., Sacks-Davis, R., Tan, K.-L., Zobel, J., Shidlovsky, B., Catania, B.: Indexing Techniques for Advanced Database Systems. Kluwer Academic Press, USA (1997)CrossRef
6.
Zurück zum Zitat Heinz, S., Zobel, J.: Efficient single-pass index construction for text databases. J. Am. Soc. Inform. Sci. Technol. 54(8), 713–729 (2003)CrossRef Heinz, S., Zobel, J.: Efficient single-pass index construction for text databases. J. Am. Soc. Inform. Sci. Technol. 54(8), 713–729 (2003)CrossRef
7.
Zurück zum Zitat On Single-Pass Indexing with Mapreduce. SIGIR’09, Boston, Massachusetts, USA. ACM 978-1-60558-483-6/09/07, 19–23 July 2009 On Single-Pass Indexing with Mapreduce. SIGIR’09, Boston, Massachusetts, USA. ACM 978-1-60558-483-6/09/07, 19–23 July 2009
Metadaten
Titel
Enhanced Single-Pass Algorithm for Efficient Indexing Using Hashing in Map Reduce Paradigm
verfasst von
Piyush Kumar Sinha
Prashant Joshi
Pooja Pundir
Manisha Negi
R. H. Goudar
Copyright-Jahr
2014
Verlag
Springer India
DOI
https://doi.org/10.1007/978-81-322-1665-0_123