Skip to main content
main-content

Tipp

Weitere Artikel dieser Ausgabe durch Wischen aufrufen

Erschienen in: Annals of Data Science 4/2015

01.12.2015

Exploring Big Data Analysis: Fundamental Scientific Problems

verfasst von: Zongben Xu, Yong Shi

Erschienen in: Annals of Data Science | Ausgabe 4/2015

Einloggen, um Zugang zu erhalten
share
TEILEN

Abstract

Although Big Data has been one of most popular topics since last several years, how to effectively conduct Big Data analysis is a big challenge for every field. This paper tries to address some fundamental scientific problems in Big Data analysis, such as opportunities, challenges, and difficulties encountered in the analysis. The challenges rise from multiple domains that include how Management Science influences data acquisition and data management, Information Science for data access and processing, Mathematics and Statistics for data understanding and Engineering for data applications. The paper outlines six open research problems on Big Data. It also reports some advances on current Big Data research, particularly in high-dimensional data and non-structured data processing. Finally, remarks on how to develop a Big Data algorithm are provided.

Sie möchten Zugang zu diesem Inhalt erhalten? Dann informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 50.000 Bücher
  • über 380 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




Testen Sie jetzt 15 Tage kostenlos.

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 69.000 Bücher
  • über 500 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Testen Sie jetzt 15 Tage kostenlos.

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 58.000 Bücher
  • über 300 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Testen Sie jetzt 15 Tage kostenlos.

Literatur
1.
Zurück zum Zitat Laney D (2001) 3D data management: controlling data volume, velocity, and variety. MetaGroup, Stamford Laney D (2001) 3D data management: controlling data volume, velocity, and variety. MetaGroup, Stamford
5.
Zurück zum Zitat XSSC (2013) Report on the 462nd session: data science and Big Data. In: Xingshan science conferences, May 29–31. Chinese Academy of Sciences, Beijing XSSC (2013) Report on the 462nd session: data science and Big Data. In: Xingshan science conferences, May 29–31. Chinese Academy of Sciences, Beijing
6.
Zurück zum Zitat Shi Y (2014) Big Data: history, current status, and challenges going forward. Bridge 44(4):6–11 Shi Y (2014) Big Data: history, current status, and challenges going forward. Bridge 44(4):6–11
7.
Zurück zum Zitat Laudon KC, Laudon JP (2012) Management information systems. Pearson, Upper Saddle River Laudon KC, Laudon JP (2012) Management information systems. Pearson, Upper Saddle River
8.
Zurück zum Zitat Shi Y, Zhang LL, Tain YJ, Li XS (2015) Intelligent knowledge: a study beyond data mining. Springer, New York CrossRef Shi Y, Zhang LL, Tain YJ, Li XS (2015) Intelligent knowledge: a study beyond data mining. Springer, New York CrossRef
10.
Zurück zum Zitat Kriegel HP, Kröger P, Renz M, Wurst S (2005) A generic framework for efficient subspace clustering of high-dimensional data. In: IEEE international conference on data mining (ICDM), Houston, pp. 205–257 Kriegel HP, Kröger P, Renz M, Wurst S (2005) A generic framework for efficient subspace clustering of high-dimensional data. In: IEEE international conference on data mining (ICDM), Houston, pp. 205–257
11.
Zurück zum Zitat Donoho DL (2006) For most large underdetermined systems of linear equations the minimal L1-norm solution is also the sparsest solution. Commun Pure Appl Math 56(6):797–829 CrossRef Donoho DL (2006) For most large underdetermined systems of linear equations the minimal L1-norm solution is also the sparsest solution. Commun Pure Appl Math 56(6):797–829 CrossRef
12.
Zurück zum Zitat Wang Y, Chang X, Li R, Xu Z (2013) Sparse K-means with \(\text{Lq} (0 \le \text{ q } < 1)\) constrain for high-dimensional data clustering. In: IEEE international conference on data mining, Dallas Wang Y, Chang X, Li R, Xu Z (2013) Sparse K-means with \(\text{Lq} (0 \le \text{ q } < 1)\) constrain for high-dimensional data clustering. In: IEEE international conference on data mining, Dallas
13.
14.
Zurück zum Zitat Kleiner A, Talwalkar A, Sarkar P (2012) The Big Data bootstrap. In: The 29th international conference on machine learning, Edinburgh, Scotland, UK Kleiner A, Talwalkar A, Sarkar P (2012) The Big Data bootstrap. In: The 29th international conference on machine learning, Edinburgh, Scotland, UK
15.
Zurück zum Zitat Xu Z, Leung KS, Liang Y, Leung Y (2003) Efficiency speed-up strategies for evolutionary computation: fundamentals and fast-Gas. Appl Math Comput 142(2,3):341–388 CrossRef Xu Z, Leung KS, Liang Y, Leung Y (2003) Efficiency speed-up strategies for evolutionary computation: fundamentals and fast-Gas. Appl Math Comput 142(2,3):341–388 CrossRef
16.
Zurück zum Zitat Zheng Y, Zhang C, Xie W, Xie X, Sun G, Huang Y (2010) T-Drive: driving directions based on taxi trajectories. In: ACM SIGSPATIAL GIS Zheng Y, Zhang C, Xie W, Xie X, Sun G, Huang Y (2010) T-Drive: driving directions based on taxi trajectories. In: ACM SIGSPATIAL GIS
17.
Zurück zum Zitat Xu ZB (2010) Data modeling: visual psychology approach and L(1/2) regularization theory. In: Proceedings of the international congress of mathematicians, Hyderabad, India Xu ZB (2010) Data modeling: visual psychology approach and L(1/2) regularization theory. In: Proceedings of the international congress of mathematicians, Hyderabad, India
18.
Zurück zum Zitat Xu ZB, Chang X, Xu F, Zhang H (2012) L(1/2) regularization: a thresholding representation theory and a fast solver. IEEE Neural Netw Learn Syst 23(7):1013–1027 CrossRef Xu ZB, Chang X, Xu F, Zhang H (2012) L(1/2) regularization: a thresholding representation theory and a fast solver. IEEE Neural Netw Learn Syst 23(7):1013–1027 CrossRef
19.
Zurück zum Zitat Zeng J, Lin S, Wang Y, Xu ZB (2014) L(1/2) regularization: convergence of iterative half thresholding algorithm. IEEE Trans Signal Process 62(9):2317–2329 CrossRef Zeng J, Lin S, Wang Y, Xu ZB (2014) L(1/2) regularization: convergence of iterative half thresholding algorithm. IEEE Trans Signal Process 62(9):2317–2329 CrossRef
20.
Zurück zum Zitat Chang X, Xu C (2014) Feasibility of distributed regression for BigData. In: Workshop on new learning frameworks and models for Big Data, ICML 2014 Chang X, Xu C (2014) Feasibility of distributed regression for BigData. In: Workshop on new learning frameworks and models for Big Data, ICML 2014
21.
Zurück zum Zitat Leung Y, Zhang JS, Xu Z (2000) Clustering by scale-space filtering. IEEE Trans Pattern Anal Mach Intell 22(12):1396–1410 CrossRef Leung Y, Zhang JS, Xu Z (2000) Clustering by scale-space filtering. IEEE Trans Pattern Anal Mach Intell 22(12):1396–1410 CrossRef
22.
Zurück zum Zitat Witkin A (1983) Scale space filtering. In: Proceedings of the international joint conference on artificial intelligence Witkin A (1983) Scale space filtering. In: Proceedings of the international joint conference on artificial intelligence
23.
Zurück zum Zitat Perona P, Malik J (1990) Scale-space and edge detection using anisotropic diffusion. IEEE Trans Pattern Anal Mach Intell 12(7):629–639 CrossRef Perona P, Malik J (1990) Scale-space and edge detection using anisotropic diffusion. IEEE Trans Pattern Anal Mach Intell 12(7):629–639 CrossRef
Metadaten
Titel
Exploring Big Data Analysis: Fundamental Scientific Problems
verfasst von
Zongben Xu
Yong Shi
Publikationsdatum
01.12.2015
Verlag
Springer Berlin Heidelberg
Erschienen in
Annals of Data Science / Ausgabe 4/2015
Print ISSN: 2198-5804
Elektronische ISSN: 2198-5812
DOI
https://doi.org/10.1007/s40745-015-0063-7

Weitere Artikel der Ausgabe 4/2015

Annals of Data Science 4/2015 Zur Ausgabe

Premium Partner