Skip to main content

2024 | OriginalPaper | Buchkapitel

Fitting Big Data Using Structural Measurement Error Model

verfasst von : Saja Alzubai, Amjad D. Al-Nasser

Erschienen in: Mathematical Analysis and Numerical Methods

Verlag: Springer Nature Singapore

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Das Kapitel geht den Herausforderungen der Analyse von Big Data nach, insbesondere dem Umfang und der Komplexität, die über herkömmliche Datenbanksysteme hinausgehen. Es stellt das strukturelle Messfehlermodell (SMEM) und den Subsampling-Algorithmus als Lösung zur effizienten Verarbeitung von Big Data vor. Der Autor zeigt anhand hypothetischer Beispiele und Monte-Carlo-Experimente, wie der Sub-Sampling-Algorithmus die Rechenzeit reduzieren und die Schätzgenauigkeit verbessern kann. Das Kapitel hebt auch die Robustheit der Methode unter verschiedenen Datenbedingungen hervor, einschließlich des Vorhandenseins von Ausreißern und nicht normalen Verteilungen. Durch den Vergleich von AIC- und BIC-Werten zeigt der Autor, dass der Sub-Sampling-Ansatz fast identische statistische Schlussfolgerungen liefert wie die Verwendung des gesamten Datensatzes, aber mit deutlich verbesserter Recheneffizienz.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Akaike, H.: A new look at the statistical model identification. IEEE Trans. Autom. Control 19(6), 716–723 (1974)MathSciNetCrossRef Akaike, H.: A new look at the statistical model identification. IEEE Trans. Autom. Control 19(6), 716–723 (1974)MathSciNetCrossRef
2.
Zurück zum Zitat Al-Nasser, A.D.: Entropy type estimator to simple linear measurement error models. Austrian J. Stat. 34(3), 283–294 (2005)CrossRef Al-Nasser, A.D.: Entropy type estimator to simple linear measurement error models. Austrian J. Stat. 34(3), 283–294 (2005)CrossRef
3.
Zurück zum Zitat Al-Nasser, A.D.: An information-theoretic approach to the measurement error model. Stat. Transit.—New Ser. 11(1), 9–24 (2010) Al-Nasser, A.D.: An information-theoretic approach to the measurement error model. Stat. Transit.—New Ser. 11(1), 9–24 (2010)
4.
Zurück zum Zitat Cavanaugh, J.E., Neath, A.A.: The Akaike information criterion: Background, derivation, properties, application, interpretation, and refinements. Wiley Interdiscipl. Rev.: Comput. Statist. 11(3), e1460 (2019)MathSciNetCrossRef Cavanaugh, J.E., Neath, A.A.: The Akaike information criterion: Background, derivation, properties, application, interpretation, and refinements. Wiley Interdiscipl. Rev.: Comput. Statist. 11(3), e1460 (2019)MathSciNetCrossRef
5.
Zurück zum Zitat Cheng, C.-L., Van Ness, J.W.: Statistical Regression with Measurement Error. Arnold, London (1999) Cheng, C.-L., Van Ness, J.W.: Statistical Regression with Measurement Error. Arnold, London (1999)
6.
Zurück zum Zitat Dumbill, E.: Planning for Big Data. Sebastopoli, Sonoma County, CA, USA (2012) Dumbill, E.: Planning for Big Data. Sebastopoli, Sonoma County, CA, USA (2012)
8.
Zurück zum Zitat Erl, T., Khattak, W., Buhler, P.: Big Data Fundamentals: Concepts, Drivers & Techniques, 186–194. Prentice Hall Press (2016) Erl, T., Khattak, W., Buhler, P.: Big Data Fundamentals: Concepts, Drivers & Techniques, 186–194. Prentice Hall Press (2016)
9.
Zurück zum Zitat Fuller, W.A.: Measurement Error Models. John Wiley, New York (1987) Fuller, W.A.: Measurement Error Models. John Wiley, New York (1987)
10.
Zurück zum Zitat Hurwitz, J., Nugent, A., Halper, F., Kaufman, M.: Big Data for Dummies, Vol. 336. John Wiley & Sons, Hoboken, NJ (2013) Hurwitz, J., Nugent, A., Halper, F., Kaufman, M.: Big Data for Dummies, Vol. 336. John Wiley & Sons, Hoboken, NJ (2013)
11.
12.
Zurück zum Zitat Wang, H.: More efficient estimation for logistic regression with optimal subsamples. J. Mach. Learn. Res. 20(132), 1–59 (2019)MathSciNet Wang, H.: More efficient estimation for logistic regression with optimal subsamples. J. Mach. Learn. Res. 20(132), 1–59 (2019)MathSciNet
13.
Zurück zum Zitat Wang, H., Yang, M., Stufken, J.: Information-based optimal sub-data selection for big data linear regression. J. Am. Stat. Assoc. 114(525), 393–405 (2019)CrossRef Wang, H., Yang, M., Stufken, J.: Information-based optimal sub-data selection for big data linear regression. J. Am. Stat. Assoc. 114(525), 393–405 (2019)CrossRef
Metadaten
Titel
Fitting Big Data Using Structural Measurement Error Model
verfasst von
Saja Alzubai
Amjad D. Al-Nasser
Copyright-Jahr
2024
Verlag
Springer Nature Singapore
DOI
https://doi.org/10.1007/978-981-97-4876-1_30