Skip to main content

2019 | OriginalPaper | Buchkapitel

Representative Sample Extraction from Web Data Streams

verfasst von : Michael Scriney, Congcong Xing, Andrew McCarren, Mark Roantree

Erschienen in: Database and Expert Systems Applications

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Smart or digital city infrastructures facilitate both decision support and strategic planning with applications such as government services, healthcare, transport and traffic management. Generally, each service generates multiple data streams using different data models and structures. Thus, any form of analysis requires some form of extract-transform-load process normally associated with data warehousing to ensure proper cleaning and integration of heterogeneous datasets. In addition, data produced by these systems may be generated at a rate which cannot be captured completely using standard computing resources. In this paper, we present an ETL system for transport data coupled with a smart data acquisition methodology to extract a subset of data suitable for analysis.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Bergamaschi, S., Guerra, F., Orsini, M., Sartori, C., Vincini, M.: A semantic approach to ETL technologies. Data Knowl. Eng. 70, 717–731 (2011)CrossRef Bergamaschi, S., Guerra, F., Orsini, M., Sartori, C., Vincini, M.: A semantic approach to ETL technologies. Data Knowl. Eng. 70, 717–731 (2011)CrossRef
3.
Zurück zum Zitat Costa, C., Santos, M.Y.: Basis: a big data architecture for smart cities. In: SAI Computing Conference (SAI). IEEE (2016) Costa, C., Santos, M.Y.: Basis: a big data architecture for smart cities. In: SAI Computing Conference (SAI). IEEE (2016)
6.
Zurück zum Zitat Kimball, R., Ross, M.: The Data Warehouse Toolkit, 2nd edn. Wiley, Hoboken (2002) Kimball, R., Ross, M.: The Data Warehouse Toolkit, 2nd edn. Wiley, Hoboken (2002)
8.
Zurück zum Zitat Niinimaki, M., Niemi, T.: An ETL process for OLAP using RDF/OWL ontologies. J. Data Semant. XIII 5530, 97 (2010)CrossRef Niinimaki, M., Niemi, T.: An ETL process for OLAP using RDF/OWL ontologies. J. Data Semant. XIII 5530, 97 (2010)CrossRef
9.
Zurück zum Zitat Petrović, M., Vučković, M., Turajlić, N., Babarogić, S., Aničić, N., Marjanović, Z.: Automating ETL processes using the domain-specific modeling approach. Inf. Syst. e-Business Manage. 15, 425–460 (2017)CrossRef Petrović, M., Vučković, M., Turajlić, N., Babarogić, S., Aničić, N., Marjanović, Z.: Automating ETL processes using the domain-specific modeling approach. Inf. Syst. e-Business Manage. 15, 425–460 (2017)CrossRef
10.
Zurück zum Zitat Roantree, M., Liu, J.: A heuristic approach to selecting views for materialization. Softw. Pract. Exp. 44(10), 1157 (2013)CrossRef Roantree, M., Liu, J.: A heuristic approach to selecting views for materialization. Softw. Pract. Exp. 44(10), 1157 (2013)CrossRef
11.
Zurück zum Zitat Romero, O., Abelló, A.: A framework for multidimensional design of data warehouses from ontologies. Data Knowl. Eng. 69, 1138–1157 (2010)CrossRef Romero, O., Abelló, A.: A framework for multidimensional design of data warehouses from ontologies. Data Knowl. Eng. 69, 1138–1157 (2010)CrossRef
13.
Zurück zum Zitat Scriney, M., Xing, C., McCarren, A., Roantree, M.: Using a similarity matrix to extract sample web data streams. Dublin City University Online Repository, Article 23435, pp. 1–15 (2019) Scriney, M., Xing, C., McCarren, A., Roantree, M.: Using a similarity matrix to extract sample web data streams. Dublin City University Online Repository, Article 23435, pp. 1–15 (2019)
Metadaten
Titel
Representative Sample Extraction from Web Data Streams
verfasst von
Michael Scriney
Congcong Xing
Andrew McCarren
Mark Roantree
Copyright-Jahr
2019
DOI
https://doi.org/10.1007/978-3-030-27615-7_26

Premium Partner