Skip to main content

2017 | OriginalPaper | Buchkapitel

Precise Data Access on Distributed Log-Structured Merge-Tree

verfasst von : Tao Zhu, Huiqi Hu, Weining Qian, Aoying Zhou, Mengzhan Liu, Qiong Zhao

Erschienen in: Web and Big Data

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Log-structured merge tree decomposes a large database into multiple parts: an in-writing part and several read-only ones. It achieves high write throughput as well as low read latency. However, read requests have to go through multiple structures to find the required data. In a distributed database system, different parts of the LSM-tree are stored distributedly. Data access issues extra network communications for a server in the query layer to pull entries from the underlying storage layer. This work proposes the precise data access strategy. A Bloom filter-based structure is designed to test whether an element exists in the in-writing part of the LSM-tree. A lease-based synchronization strategy is used to maintain consistent copies of the Bloom filter on remote query servers. Experiments show that the solution has 6\(\times \) throughput improvement over existing methods.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Bloom, B.: Space/time trade-offs in hash coding with allowable errors. CACM 13, 422–426 (1970)CrossRefMATH Bloom, B.: Space/time trade-offs in hash coding with allowable errors. CACM 13, 422–426 (1970)CrossRefMATH
3.
Zurück zum Zitat DeWitt, D., Katz, R., et al.: Implementation techniques for main memory database systems. In: SIGMOD, pp. 1–8 (1984) DeWitt, D., Katz, R., et al.: Implementation techniques for main memory database systems. In: SIGMOD, pp. 1–8 (1984)
4.
Zurück zum Zitat Mohan, C., Haderle, D., et al.: ARIES: a transaction recovery method supporting fine-granularity locking and partial rollbacks using write-ahead logging. TODS 17, 94–162 (1992)CrossRef Mohan, C., Haderle, D., et al.: ARIES: a transaction recovery method supporting fine-granularity locking and partial rollbacks using write-ahead logging. TODS 17, 94–162 (1992)CrossRef
5.
Zurück zum Zitat O’Neil, P., Cheng, E., Gawlick, D., O’Neil, E.: The log-structured merge-tree (LSM-tree). Acta Informatica 33, 351–385 (1996)CrossRefMATH O’Neil, P., Cheng, E., Gawlick, D., O’Neil, E.: The log-structured merge-tree (LSM-tree). Acta Informatica 33, 351–385 (1996)CrossRefMATH
6.
Zurück zum Zitat Gray, J., Helland, P., O’Neil, P., Shasha, D.: The dangers of replication and a solution. In: SIGMOD, pp. 173–182 (1996) Gray, J., Helland, P., O’Neil, P., Shasha, D.: The dangers of replication and a solution. In: SIGMOD, pp. 173–182 (1996)
7.
Zurück zum Zitat Ghemawat, S., Gobioff, H., Leung, S.T.: The Google file system. In: SOSP, pp. 29–43 (2003) Ghemawat, S., Gobioff, H., Leung, S.T.: The Google file system. In: SOSP, pp. 29–43 (2003)
8.
Zurück zum Zitat Chang, F., Dean, J., et al.: Bigtable: a distributed storage system for structured data. In: OSDI, pp. 4:1–4:26 (2008) Chang, F., Dean, J., et al.: Bigtable: a distributed storage system for structured data. In: OSDI, pp. 4:1–4:26 (2008)
9.
Zurück zum Zitat Peng, D., Dabek, F.: Large-scale incremental processing using distributed transactions and notifications. In: OSDI, pp. 1–15 (2010) Peng, D., Dabek, F.: Large-scale incremental processing using distributed transactions and notifications. In: OSDI, pp. 1–15 (2010)
10.
Zurück zum Zitat Baker, J., Bond, C., et al.: Megastore: providing scalable, highly available storage for interactive services. In: CIDR, pp. 223–234 (2011) Baker, J., Bond, C., et al.: Megastore: providing scalable, highly available storage for interactive services. In: CIDR, pp. 223–234 (2011)
11.
Zurück zum Zitat Sears, R., Ramakrishnan, R.: bLSM: a general purpose log structured merge tree. In: SIGMOD, pp. 217–228 (2012) Sears, R., Ramakrishnan, R.: bLSM: a general purpose log structured merge tree. In: SIGMOD, pp. 217–228 (2012)
12.
Zurück zum Zitat Ahmad, M., Kemme, B.: Compaction management in distributed key-value datastores. In: PVLDB, pp. 850–861 (2015) Ahmad, M., Kemme, B.: Compaction management in distributed key-value datastores. In: PVLDB, pp. 850–861 (2015)
Metadaten
Titel
Precise Data Access on Distributed Log-Structured Merge-Tree
verfasst von
Tao Zhu
Huiqi Hu
Weining Qian
Aoying Zhou
Mengzhan Liu
Qiong Zhao
Copyright-Jahr
2017
DOI
https://doi.org/10.1007/978-3-319-63564-4_17