Skip to main content

2018 | Supplement | Buchkapitel

A Dynamic Packed Approach for Analytic Data Warehouse in Ad-Hoc Queries

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Brighthouse is a column-oriented data warehouse that supports the compressed databases as well as analytic querying. For the faster query processing, Brighthouse creates packages from the data rows. While the query is resolving, it decompresses only those packages that partially satisfy the condition of the query to avoid accessing all the database. However, Brighthouse used a constant parameter to create packages, this may create incompact packages and lead to large number of packages that are processed in each query. In this paper, at first, we define the task of partitioning data table into blocks as an optimization problem, then discuss the time complexity of the problem and propose an efficient algorithm, which creates dynamically data packages for efficient queries in databases. The experimental results shown the advantage of the proposed approach in package range reduction.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Ailamaki, A., DeWitt, D.J., Hill, M.D.: Data page layouts for relational databases on deep memory hierarchies. VLDB J. 11(3), 198–215 (2002)CrossRefMATH Ailamaki, A., DeWitt, D.J., Hill, M.D.: Data page layouts for relational databases on deep memory hierarchies. VLDB J. 11(3), 198–215 (2002)CrossRefMATH
2.
Zurück zum Zitat Apaydin, T., Canahuate, G., Ferhatosmanoglu, H., Tosun, A.S.: Approximate encoding for direct access and query processing over compressed bitmaps. In: VLDB, pp. 846–857 (2006) Apaydin, T., Canahuate, G., Ferhatosmanoglu, H., Tosun, A.S.: Approximate encoding for direct access and query processing over compressed bitmaps. In: VLDB, pp. 846–857 (2006)
3.
Zurück zum Zitat Beyer, K.S., Haas, P.J., Reinwald, B., Sismanis, Y., Gemulla, R.: On synopses for distinct-value estimation under multiset operations. In: SIGMOD, pp. 199–210 (2007) Beyer, K.S., Haas, P.J., Reinwald, B., Sismanis, Y., Gemulla, R.: On synopses for distinct-value estimation under multiset operations. In: SIGMOD, pp. 199–210 (2007)
4.
Zurück zum Zitat Bruno, N., Chaudhuri, S., Gravano, L.: STHoles: a multidimensional workload aware histogram. In: SIGMOD, pp. 211–222 (2001) Bruno, N., Chaudhuri, S., Gravano, L.: STHoles: a multidimensional workload aware histogram. In: SIGMOD, pp. 211–222 (2001)
5.
Zurück zum Zitat Chakkappen, S., Cruanes, T., Dageville, B., Jiang, L., Shaft, U., Su, H., Zait, M.: Efficient and scalable statistics gathering for large databases in Oracle 11g. In: SIGMOD, pp. 1053–1063 (2008) Chakkappen, S., Cruanes, T., Dageville, B., Jiang, L., Shaft, U., Su, H., Zait, M.: Efficient and scalable statistics gathering for large databases in Oracle 11g. In: SIGMOD, pp. 1053–1063 (2008)
6.
Zurück zum Zitat Ferragina, P., Grossi, R., Gupta, A., Shah, R., Vitter, J.S.: On searching compressed string collections cache-obliviously. In: PODS, pp. 181–190 (2008) Ferragina, P., Grossi, R., Gupta, A., Shah, R., Vitter, J.S.: On searching compressed string collections cache-obliviously. In: PODS, pp. 181–190 (2008)
7.
Zurück zum Zitat Holloway, A.L., Raman, V., Swart, G., DeWitt, D.J.: How to barter bits for chronons: compression and bandwidth tradeoffs for database scans. In: SIGMOD, pp. 389–400 (2007) Holloway, A.L., Raman, V., Swart, G., DeWitt, D.J.: How to barter bits for chronons: compression and bandwidth tradeoffs for database scans. In: SIGMOD, pp. 389–400 (2007)
8.
Zurück zum Zitat Slezak, D., Wroblewski, J., Eastwood, V., Synak, P.: Brighthouse: an analytic data warehouse for ad-hoc queries. PVLDB 1(2), 1337–1345 (2008) Slezak, D., Wroblewski, J., Eastwood, V., Synak, P.: Brighthouse: an analytic data warehouse for ad-hoc queries. PVLDB 1(2), 1337–1345 (2008)
9.
Zurück zum Zitat Vo, B., Manku, G.S.: RadixZip: linear-time compression of token streams. VLDB 2007, 1162–1172 (2007) Vo, B., Manku, G.S.: RadixZip: linear-time compression of token streams. VLDB 2007, 1162–1172 (2007)
10.
Zurück zum Zitat Zukowski, M., Heman, S., Nes, N., Boncz, P.A.: Super-scalar RAM-CPU cache compression. In: ICDE, p. 59 (2006) Zukowski, M., Heman, S., Nes, N., Boncz, P.A.: Super-scalar RAM-CPU cache compression. In: ICDE, p. 59 (2006)
Metadaten
Titel
A Dynamic Packed Approach for Analytic Data Warehouse in Ad-Hoc Queries
verfasst von
Loan T. T. Nguyen
Hung Son Nguyen
Sinh Hoa Nguyen
Copyright-Jahr
2018
DOI
https://doi.org/10.1007/978-3-319-67220-5_19