Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Bücher
Zeitschriften
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Weitere Formate
Podcasts Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
SLX-Digitalkonferenz: Zukunftswerkstatt 2024

Mehr Umsatz mit Top-Kontakten

Am 7. Mai erfahren Sie, wie Vertriebsteams Leadgenerierung, Leadnurturing und Leadstrategien effizient steuern können.
Erweiterte Suche
Anmelden
nach oben
Computing
Erschienen in: Computing 12/2016

01.12.2016

Sparsity exploiting erasure coding for distributed storage of versioned data

verfasst von: J. Harshan, Frédérique Oggier, Anwitaman Datta

Erschienen in: Computing | Ausgabe 12/2016

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

In this paper we study the problem of storing reliably an archive of versioned data. Specifically, we focus on systems where the differences (deltas) between subsequent versions rather than the whole objects are stored—a typical model for storing versioned data. For reliability, we propose erasure encoding techniques that exploit the sparsity of information in the deltas while storing them reliably in a distributed back-end storage system, resulting in improved I/O read performance to retrieve the whole versioned archive. Along with the basic techniques, we propose a few optimization heuristics, and evaluate the techniques’ efficacy analytically and with numerical simulations.
Vorheriger Artikel An alternative data collection scheduling scheme in wireless sensor networks

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren
Literatur
1.
Esmaili KS, Chiniah A, Datta A (2013) Efficient updates in cross-object erasure-coded storage systems. In: IEEE international conference on big data
2.
Ford D, Labelle F, Popovici FI, Stokely M, Truong V-A, Barroso L, Grimes C, Quinlan S (2010) Availability in globally distributed storage systems. In: The 9th USENIX conference on operating systems designand implementation (OSDI)
3.
Han S, Pai H-T, Zheng R, Varshney PK (2013) Update-efficient regenerating codes with minimum per-node storage. In: Proceedings of the Int. Symp. Inf. Theory
4.
Harshan J, Oggier F, Datta A (2015) Sparsity exploiting erasure coding for resilient storage and efficient i/o access in delta based versioning systems. In: ICDCS 2015
5.
Lacan J, Fimes J (2003) A construction of matrices with no singular square submatrices. In: International conference on finite fields and applications
6.
Mazumdar A, Wornell GW, Chandar V (2012) Update efficient codes for error correction. In: Proceedings of the Int. Symp. Inf. Theory
7.
Oggier F, Datta A (2013) Coding techniques for repairability in networked distributed storage systems. In: Foundations and Trends in Communications and Information Theory. Now Publishers, Breda
8.
Rawat A, Vishwanath S, Bhowmick A, Soljanin E (2011) Update efficient codes for distributed storage. In: Proceedings of the Int. Symp. Inf. Theory
9.
Rouayheb S, Goparaju S, Kiah H, Milenkovic O (2015) Synchronising edits in distributed storage networks. In: Proceedings of the Int. Symp. Inf. Theory
10.
11.
Thusoo A, Shao Z, Anthony S, Borthakur D, Jain N, Sarma JS, Murthy R, Liu H (2010) Data warehousing and analytics infrastructure at facebook. In: Proceedings of the 2010 ACM SIGMOD international conference on management of data, ser. SIGMOD 10
12.
Tarasov V, Mudrankit A, Buik W, Shilane P, Kuenning G, Zadok E (2012) Generating realistic datasets for deduplication analysis. In Proceedings of the 2012 USENIX conference on Annual Technical Conference
13.
Wang Z, Cadambe V (2014) Multi-version coding for distributed storage. In Proceedings of the Int. Symp. Inf. Theory
14.
Zhang F, Pfister HD (2008) Compressed sensing and linear codes over real numbers. In: Information theory and applications workshop (ITA)
Metadaten
Titel
Sparsity exploiting erasure coding for distributed storage of versioned data
verfasst von
J. Harshan
Frédérique Oggier
Anwitaman Datta
Publikationsdatum
01.12.2016
Verlag
Springer Vienna
Erschienen in
Computing / Ausgabe 12/2016
Print ISSN: 0010-485X
Elektronische ISSN: 1436-5057
DOI
https://doi.org/10.1007/s00607-016-0485-x