Skip to main content
Erschienen in:

01.11.2015 | SCHWERPUNKTBEITRAG

Modulares Verteilungskonzept für Datenstrommanagementsysteme

verfasst von: Timo Michelsen, Michael Brand, H.-Jürgen Appelrath

Erschienen in: Datenbank-Spektrum | Ausgabe 3/2015

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Zusammenfassung

Für die Verteilung kontinuierlicher Anfragen in verteilten Datenstrommanagementsystemen gibt es je nach Netzwerkarchitektur und Anwendungsfall unterschiedliche Strategien. Es ist u.U. nachteilig, sich auf eine Strategie festzulegen, besonders wenn sich Netzwerkarchitektur oder Anwendungsfall ändern. In dieser Arbeit wird ein Ansatz für eine flexible und erweiterbare Anfrageverteilung in verteilten Datenstrommanagementsystemen vorgestellt. Der Ansatz umfasst drei Schritte: 1) Partitionierung, 2) Modifikation und 3) Allokation. Bei der Partitionierung wird eine kontinuierliche Anfrage in disjunkte Teilanfragen zerlegt. Die optionale Modifikation erlaubt es, Mechanismen wie Fragmentierung oder Replikation zu verwenden. Bei der Allokation werden die einzelnen Teilanfragen schließlich Knoten im Netzwerk zugewiesen, um dort ausgeführt zu werden.
Für jeden Schritt können unabhängige Strategien verwendet werden. Dieser modulare Aufbau ermöglicht eine individuelle Anfrageverteilung. Zudem können bereits vorhandene Strategien aus anderen Arbeiten und Systemen integriert werden (bspw. weitere Strategien zur Allokation). In dieser Arbeit werden für jeden der drei Teilschritte exemplarisch Strategien vorgestellt.
Drei Anwendungsbeispiele zeigen die Vorteile des vorgestellten, modularen Ansatzes gegenüber einer festen Verteilungsstrategie.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Weitere Produktempfehlungen anzeigen
Literatur
1.
Zurück zum Zitat Appelrath HJ, Geesen D, Grawunder M, Michelsen T, Nicklas D (2012) Odysseus: a highly customizable framework for creating efficient event stream management systems. In: Proceedings of the 6th ACM International Conference on Distributed Event-Based Systems, DEBS '12, ACM, S 367–368 Appelrath HJ, Geesen D, Grawunder M, Michelsen T, Nicklas D (2012) Odysseus: a highly customizable framework for creating efficient event stream management systems. In: Proceedings of the 6th ACM International Conference on Distributed Event-Based Systems, DEBS '12, ACM, S 367–368
2.
Zurück zum Zitat Balazinska M, Balakrishnan H, Stonebraker M (2004) Load management and high availability in the Medusa distributed stream processing system. In: Proceedings of the 2004 ACM SIGMOD international conference on Management of data, S 929–930 Balazinska M, Balakrishnan H, Stonebraker M (2004) Load management and high availability in the Medusa distributed stream processing system. In: Proceedings of the 2004 ACM SIGMOD international conference on Management of data, S 929–930
3.
Zurück zum Zitat Brand M, Brandt T, Cordes C, Wilken M, Michelsen T (2015) Herakles: a system for sensor-based live sport analysis using private peer-to-peer networks. In: Datenbanksysteme für Business, Technolog und Web (BTW 2015) – Workshopband, DSEP '15, Bonner Köllen Verlag, Bonn, S 71–80 Brand M, Brandt T, Cordes C, Wilken M, Michelsen T (2015) Herakles: a system for sensor-based live sport analysis using private peer-to-peer networks. In: Datenbanksysteme für Business, Technolog und Web (BTW 2015) – Workshopband, DSEP '15, Bonner Köllen Verlag, Bonn, S 71–80
4.
Zurück zum Zitat Buluç A, Meyerhenke H, Safro I, Sanders P, Schulz C (2013) Recent advances in graph partitioning. CoRR abs/1311.3144 Buluç A, Meyerhenke H, Safro I, Sanders P, Schulz C (2013) Recent advances in graph partitioning. CoRR abs/1311.3144
5.
Zurück zum Zitat Cherniack M, Balakrishnan H, Balazinska M, Carney D, Cetintemel U, Xing Y, Zdonik S (2003) Scalable distributed stream processing. In: CIDR 2003 – First Biennial Conference on Innovative Data Systems Research. Asilomar, CA Cherniack M, Balakrishnan H, Balazinska M, Carney D, Cetintemel U, Xing Y, Zdonik S (2003) Scalable distributed stream processing. In: CIDR 2003 – First Biennial Conference on Innovative Data Systems Research. Asilomar, CA
6.
Zurück zum Zitat Daum M, Lauterwald F, Baumgärtel P, Meyer-Wegener K (2011) Kalibrierung von Kostenmodellen für föderierte DSMS. In: BTW Workshops, S 13–22 Daum M, Lauterwald F, Baumgärtel P, Meyer-Wegener K (2011) Kalibrierung von Kostenmodellen für föderierte DSMS. In: BTW Workshops, S 13–22
7.
Zurück zum Zitat Gedik B, Andrade H, Wu KL (2009) A code generation approach to optimizing high-performance distributed data stream processing. In: Proceedings of the 18th ACM Conference on Information and Knowledge Management, CIKM '09, ACM, New York, S 847–856 Gedik B, Andrade H, Wu KL (2009) A code generation approach to optimizing high-performance distributed data stream processing. In: Proceedings of the 18th ACM Conference on Information and Knowledge Management, CIKM '09, ACM, New York, S 847–856
8.
Zurück zum Zitat Gulisano V, Jimenez-Peris R, Patino-Martinez M, Soriente C, Valduriez P (2012) StreamCloud: an elastic and scalable data streaming system. IEEE Trans Parallel Distrib Syst 23(12):2351–2365 Gulisano V, Jimenez-Peris R, Patino-Martinez M, Soriente C, Valduriez P (2012) StreamCloud: an elastic and scalable data streaming system. IEEE Trans Parallel Distrib Syst 23(12):2351–2365
9.
Zurück zum Zitat Harper R (2003) Inside the smart home. Springer Science & Business Media, London (2003) Harper R (2003) Inside the smart home. Springer Science & Business Media, London (2003)
10.
Zurück zum Zitat Kuntschke R, Stegmaier B, Kemper A, Reiser A (2005) StreamGlobe: processing and sharing data streams in grid-based p2p infrastructures. In: Proceedings of the 31st international conference on Very large data bases, VLDB Endowment, S 1259–1262 Kuntschke R, Stegmaier B, Kemper A, Reiser A (2005) StreamGlobe: processing and sharing data streams in grid-based p2p infrastructures. In: Proceedings of the 31st international conference on Very large data bases, VLDB Endowment, S 1259–1262
11.
Zurück zum Zitat Loesing S, Hentschel M, Kraska T, Kossmann D (2012) Stormy: an elastic and highly available streaming service in the cloud. In: Proceedings of the 2012 Joint EDBT/ICDT Workshops, EDBT-ICDT '12, ACM, New York, S 55–60 Loesing S, Hentschel M, Kraska T, Kossmann D (2012) Stormy: an elastic and highly available streaming service in the cloud. In: Proceedings of the 2012 Joint EDBT/ICDT Workshops, EDBT-ICDT '12, ACM, New York, S 55–60
12.
Zurück zum Zitat Michelsen T (2014) Data stream processing in dynamic and decentralized peer-to-peer networks. In: Proceedings of the 2014 SIGMOD PhD symposium, ACM, S 1–5 Michelsen T (2014) Data stream processing in dynamic and decentralized peer-to-peer networks. In: Proceedings of the 2014 SIGMOD PhD symposium, ACM, S 1–5
13.
Zurück zum Zitat Pietzuch P, Ledlie J, Shneidman J, Roussopoulos M, Welsh M, Seltzer M (2006) Network-aware operator placement for stream-processing systems. In: Data Engineering, 2006. ICDE'06. Proceedings of the 22nd International Conference on, IEEE, S 49–49 Pietzuch P, Ledlie J, Shneidman J, Roussopoulos M, Welsh M, Seltzer M (2006) Network-aware operator placement for stream-processing systems. In: Data Engineering, 2006. ICDE'06. Proceedings of the 22nd International Conference on, IEEE, S 49–49
15.
Zurück zum Zitat Smith R (1980) The contract net protocol: high-level communication and control in a distributed problem solver. IEEE Trans Comput 29(12):1104–1113 Smith R (1980) The contract net protocol: high-level communication and control in a distributed problem solver. IEEE Trans Comput 29(12):1104–1113
16.
Zurück zum Zitat Toshniwal A, Taneja S, Shukla A, Ramasamy K, Patel JM, Kulkarni S, Jackson J, Gade K, Fu M, Donham J, Bhagat N, Mittal S, Ryaboy DV (2014) Storm@twitter. In: SIGMOD Conference, S 147–156 Toshniwal A, Taneja S, Shukla A, Ramasamy K, Patel JM, Kulkarni S, Jackson J, Gade K, Fu M, Donham J, Bhagat N, Mittal S, Ryaboy DV (2014) Storm@twitter. In: SIGMOD Conference, S 147–156
17.
Zurück zum Zitat Warneke D, Kao O (2009) Nephele: efficient parallel data processing in the cloud. In: Proceedings of the 2nd Workshop on Many-Task Computing on Grids and Supercomputers, MTAGS '09, ACM, New York, S 8:1–8:10 Warneke D, Kao O (2009) Nephele: efficient parallel data processing in the cloud. In: Proceedings of the 2nd Workshop on Many-Task Computing on Grids and Supercomputers, MTAGS '09, ACM, New York, S 8:1–8:10
Metadaten
Titel
Modulares Verteilungskonzept für Datenstrommanagementsysteme
verfasst von
Timo Michelsen
Michael Brand
H.-Jürgen Appelrath
Publikationsdatum
01.11.2015
Verlag
Springer Berlin Heidelberg
Erschienen in
Datenbank-Spektrum / Ausgabe 3/2015
Print ISSN: 1618-2162
Elektronische ISSN: 1610-1995
DOI
https://doi.org/10.1007/s13222-015-0199-9

Weitere Artikel der Ausgabe 3/2015

Datenbank-Spektrum 3/2015 Zur Ausgabe

COMMUNITY

News

DISSERTATIONEN

Dissertationen

Premium Partner