Skip to main content
Erschienen in: Optimization and Engineering 3/2014

01.09.2014

A general approach of least squares estimation and optimal filtering

verfasst von: Benjamin Lenoir

Erschienen in: Optimization and Engineering | Ausgabe 3/2014

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

The least squares method allows fitting parameters of a mathematical model from experimental data. This article proposes a general approach of this method. After introducing the method and giving a formal definition, the transitivity of the method as well as numerical considerations are discussed. Then two particular cases are considered: the usual least squares method and the Generalized Least Squares method. In both cases, the estimator and its variance are characterized in the time domain and in the Fourier domain. Finally, the equivalence of the Generalized Least Squares method and the optimal filtering technique using a matched filter is established.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Fußnoten
1
As stated by the Wiener-Khintchine theorem, S is the Fourier transform of R (Lampard 1954).
 
Literatur
Zurück zum Zitat Aitken AC (1935) On least squares and linear combinations of observations. Proc R Soc Edinb 55:42–48 Aitken AC (1935) On least squares and linear combinations of observations. Proc R Soc Edinb 55:42–48
Zurück zum Zitat Birkes D, Dodge Y (1993) Alternative methods of regression. Wiley series in probability and statistics. Wiley, New York CrossRefMATH Birkes D, Dodge Y (1993) Alternative methods of regression. Wiley series in probability and statistics. Wiley, New York CrossRefMATH
Zurück zum Zitat Björck Å (1967) Solving linear least squares problems by Gram-Schmidt orthogonalization. BIT Numer Math 7(1):1–21 CrossRefMATH Björck Å (1967) Solving linear least squares problems by Gram-Schmidt orthogonalization. BIT Numer Math 7(1):1–21 CrossRefMATH
Zurück zum Zitat Cornillon PA, Matzner-Løber E (2007) Régression: théorie et applications. Springer, Paris Cornillon PA, Matzner-Løber E (2007) Régression: théorie et applications. Springer, Paris
Zurück zum Zitat El-Khaiary MI (2008) Least-squares regression of adsorption equilibrium data: comparing the options. J Hazard Mater 158(1):73–87 CrossRef El-Khaiary MI (2008) Least-squares regression of adsorption equilibrium data: comparing the options. J Hazard Mater 158(1):73–87 CrossRef
Zurück zum Zitat Hambaba ML (1992) The robust generalized least-squares estimator. Signal Process 26(3):359–368 CrossRefMATH Hambaba ML (1992) The robust generalized least-squares estimator. Signal Process 26(3):359–368 CrossRefMATH
Zurück zum Zitat Hoerl AE, Kennard RW (1976) Ridge regression iterative estimation of the biasing parameter. Commun Stat, Theory Methods 5(1):77–88 CrossRef Hoerl AE, Kennard RW (1976) Ridge regression iterative estimation of the biasing parameter. Commun Stat, Theory Methods 5(1):77–88 CrossRef
Zurück zum Zitat Hoerl AE, Kannard RW, Baldwin KF (1975) Ridge regression: some simulations. Commun Stat 4(2):105–123 CrossRefMATH Hoerl AE, Kannard RW, Baldwin KF (1975) Ridge regression: some simulations. Commun Stat 4(2):105–123 CrossRefMATH
Zurück zum Zitat Holland PW, Welsch RE (1977) Robust regression using iteratively reweighted least-squares. Commun Stat, Theory Methods 6(9):813–827 CrossRef Holland PW, Welsch RE (1977) Robust regression using iteratively reweighted least-squares. Commun Stat, Theory Methods 6(9):813–827 CrossRef
Zurück zum Zitat Legendre AM (1820) Nouvelles méthodes pour la détermination des orbites des comètes. Chez Firmin Didot, 116 rue, de Thionville, Paris Legendre AM (1820) Nouvelles méthodes pour la détermination des orbites des comètes. Chez Firmin Didot, 116 rue, de Thionville, Paris
Zurück zum Zitat Ling F, Manolakis D, Proakis J (1986) A recursive modified Gram-Schmidt algorithm for least-squares estimation. IEEE Trans Acoust Speech Signal Process 34(4):829–836 CrossRef Ling F, Manolakis D, Proakis J (1986) A recursive modified Gram-Schmidt algorithm for least-squares estimation. IEEE Trans Acoust Speech Signal Process 34(4):829–836 CrossRef
Zurück zum Zitat Luati A, Proietti T (2011) On the equivalence of the weighted least squares and the generalised least squares estimators, with applications to kernel smoothing. Ann Inst Stat Math 63(4):851–871 MathSciNetCrossRefMATH Luati A, Proietti T (2011) On the equivalence of the weighted least squares and the generalised least squares estimators, with applications to kernel smoothing. Ann Inst Stat Math 63(4):851–871 MathSciNetCrossRefMATH
Zurück zum Zitat Osborne MR, Presnell B, Turlach BA (2000) On the lasso and its dual. J Comput Graph Stat 9(2):319–337 MathSciNet Osborne MR, Presnell B, Turlach BA (2000) On the lasso and its dual. J Comput Graph Stat 9(2):319–337 MathSciNet
Zurück zum Zitat Papoulis A (1977) Signal analysis. McGraw-Hill, New York MATH Papoulis A (1977) Signal analysis. McGraw-Hill, New York MATH
Zurück zum Zitat Pinsker MS (1980) Optimal filtering of square-integrable signals in Gaussian noise. Probl Pereda Inf 16(2):52–68 MathSciNet Pinsker MS (1980) Optimal filtering of square-integrable signals in Gaussian noise. Probl Pereda Inf 16(2):52–68 MathSciNet
Zurück zum Zitat Poch J, Villaescusa I (2012) Orthogonal distance regression: a good alternative to least squares for modeling sorption data. J Chem Eng Data 57(2):490–499 CrossRef Poch J, Villaescusa I (2012) Orthogonal distance regression: a good alternative to least squares for modeling sorption data. J Chem Eng Data 57(2):490–499 CrossRef
Zurück zum Zitat Scott AJ, Holt D (1982) The effect of two-stage sampling on ordinary least squares methods. J Am Stat Assoc 77(380):848–854 CrossRefMATH Scott AJ, Holt D (1982) The effect of two-stage sampling on ordinary least squares methods. J Am Stat Assoc 77(380):848–854 CrossRefMATH
Zurück zum Zitat Tibshirani R (1996) Regression shrinkage and selection via the lasso. J R Stat Soc B 58(1):267–288 MathSciNetMATH Tibshirani R (1996) Regression shrinkage and selection via the lasso. J R Stat Soc B 58(1):267–288 MathSciNetMATH
Zurück zum Zitat Yang WY (2009) Discrete-time Fourier analysis. In: Signals and systems with MATLAB. Springer, Berlin, pp 129–205 CrossRef Yang WY (2009) Discrete-time Fourier analysis. In: Signals and systems with MATLAB. Springer, Berlin, pp 129–205 CrossRef
Metadaten
Titel
A general approach of least squares estimation and optimal filtering
verfasst von
Benjamin Lenoir
Publikationsdatum
01.09.2014
Verlag
Springer US
Erschienen in
Optimization and Engineering / Ausgabe 3/2014
Print ISSN: 1389-4420
Elektronische ISSN: 1573-2924
DOI
https://doi.org/10.1007/s11081-013-9217-7

Weitere Artikel der Ausgabe 3/2014

Optimization and Engineering 3/2014 Zur Ausgabe

    Marktübersichten

    Die im Laufe eines Jahres in der „adhäsion“ veröffentlichten Marktübersichten helfen Anwendern verschiedenster Branchen, sich einen gezielten Überblick über Lieferantenangebote zu verschaffen.