nach oben

Journal of Applied Mathematics and Computing

Erschienen in:

11.10.2022 | Original Research

A modified stochastic quasi-Newton algorithm for summing functions problem in machine learning

verfasst von: Xiaoxuan Chen, Haishan Feng

Erschienen in: Journal of Applied Mathematics and Computing | Ausgabe 2/2023

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

In this paper, a new stochastic quasi-Newton method (SQN) is proposed which has a different approximation of the Hessian inverse matrix \(H_k\). The modified quasi-Newton Broyden–Fletcher–Goldfarb–Shanno (BFGS) formula which has a better approximation to Hessian matrix has not only the gradient variation but also the function value. Because of the special nature of the sum function, the mini-batch setting is built in the algorithm, and less compution cost can be guaranteed. The number of iterations reduce to at most \(O(\varepsilon ^{-\frac{1}{1-\beta }})\). The convergence analysis is established in this paper. The numerical experiments show that this algorithm is competitive to other algorithms.

Vorheriger Artikel New iterative methods for finding solutions of Hammerstein equations

Nächster Artikel A superconvergent ultra-weak discontinuous Galerkin method for nonlinear second-order two-point boundary-value problems

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Bottou, L.: Large-scale machine learning with stochastic gradient descent. In: Proceedings of COMPSTAT’, pp. 177–186 (2010)

Byrd, R.H., Hansen, S.L., Nocedal, J., et al.: A stochastic quasi-Newton method for large-scale optimization. SIAM J. Optim. 26, 1008–1031 (2012)MathSciNetCrossRefMATH

Cotter, A., Shamir, O., Srebro, N., Sridharan, K.: Better mini-batch algorithms via accelerated gradient methods. In: Proceedings of the Advances in Neural Information Processing Systems, pp. 1647–1655 (2011)

Durrett, R.: Probability: Theory and Examples. Cambridge University Press, London (2010)CrossRefMATH

Fercoq, O., RichtSrik, P.: Accelerated, parallel, and proximal coordinate descent. SIAM J. Optim. 25, 1997–2023 (2015)MathSciNetCrossRefMATH

Ghadimi, S., Lan, G.: Stochastic first-and zeroth-order methods for nonconvex stochastic programming. SIAM J. Optim. 23, 2341–2368 (2013)MathSciNetCrossRefMATH

Hassan, B., Mohammed, T.: A new variants of quasi-newton equation based on the quadratic function for unconstrained optimization. Indones. J. Electr. Eng. Comput. Sci. 2, 701–708 (2020)

Lan, G.: An optimal method for stochastic convex optimization. Technical report, Georgia Institute of Technology (2009)

Li, M., Zhang, T., Chen, Y., et al.: Efficient mini-batch training for stochastic optimization. In: Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 661–670 (2014)

10.

Mason, L., Baxter, J., Bartlett, P., Frean, M.: Boosting algorithms as gradient descent in function space. Adv. Neural Inf. Process. Syst. 12, 512–518 (1999)

11.

Mokhtari, A., Eisen, M., Ribeiro, A.: IQN: An incremental quasi-Newton method with local superlinear convergence rate. SIAM J. Optim. 28, 1670–1698 (2018)MathSciNetCrossRefMATH

12.

Nemirovski, A., Juditsky, A., Lan, G., Shapiro, A.: Robust stochastic approximation approach to stochastic programming. SIAM J. Optim. 19(4), 1574–1609 (2009)MathSciNetCrossRefMATH

13.

Powell, M.J.D.: Some global convergence properties of a variable metric algorithm for minimization without exact line searches. In: Cottle, R.W., Lemke, C.E. (eds.) Nonlinear Programming, Philadelphia (1976)

14.

Robbins, H., Monro, S.: A stochastic approximation method. Ann. Math. Stat. 22, 400–407 (1951)MathSciNetCrossRefMATH

15.

Schmidt, M., Roux, N., Bach, F.: Minimizing finite sums with the stochastic average gr1adient. Math. Program. 162, 83–112 (2017)MathSciNetCrossRefMATH

16.

Shang, F., Zhou, K., Liu, H., et al.: VR-SGD: a simple stochastic variance reduction method for machine learning. IEEE Trans. Knowl. Data Eng. 32, 188–202 (2018)CrossRef

17.

Wang, X., Ma, S., Goldfarb, D., Liu, W.: Stochastic quasi-Newton methods for nonconvex stochastic optimization. SIAM J. Optim. 27, 927–956 (2017)MathSciNetCrossRefMATH

18.

Wei, Z., Yu, G., Yuan, G., et al.: The superlinear convergence of a modified BFGS-type method for unconstrained optimization. Comput. Optim. Appl. 29, 315–332 (2004)MathSciNetCrossRefMATH

19.

Wei, Z., Yu, G., Yuan, G., Lian, Z.: The superlinear convergence of a modified BFGS-type method for unconstrained optimization. Comput. Optim. Appl. 29, 315–332 (2004)MathSciNetCrossRefMATH

20.

Yang, Z., Wang, C., Zang, Y., et al.: Mini-batch algorithms with Barzilai–Borwein update step. Neurocomputing 314, 177–185 (2018)CrossRef

21.

Yuan, G., Wei, Z.: Convergence analysis of a modified BFGS method on convex minimizations. Comput. Optim. Appl. 47, 237–255 (2010)MathSciNetCrossRefMATH

22.

Yuan, G., Zhou, Y., Wang, L., et al.: Stochastic bigger subspace algorithms for nonconvex stochastic optimization. IEEE Access 9, 119818–119829 (2021)CrossRef

23.

Zhang, J.Z., Deng, N.Y., Chen, L.H.: New quasi-Newton equation and related methods for unconstrained optimization. J. Optim. Theory Appl. 102, 147–167 (1999)MathSciNetCrossRefMATH

Titel: A modified stochastic quasi-Newton algorithm for summing functions problem in machine learning
verfasst von: Xiaoxuan Chen
Haishan Feng
Publikationsdatum: 11.10.2022
Verlag: Springer Berlin Heidelberg
Erschienen in: Journal of Applied Mathematics and Computing / Ausgabe 2/2023
Print ISSN: 1598-5865
Elektronische ISSN: 1865-2085
DOI: https://doi.org/10.1007/s12190-022-01800-4

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Wirtschaft"

Springer Professional "Technik"

Weitere Artikel der Ausgabe 2/2023

An inertial alternating minimization with Bregman distance for a class of nonconvex and nonsmooth problems

Some quantum synchronizable codes with explicit distance

Numerical algorithms for corner-modified symmetric Toeplitz linear system with applications to image encryption and decryption

On analysis of fractional order HIV infection model with the adaptive immune response under Caputo operator

Representation theory and multilevel filters

The linear complexity and 4-adic complexity of quaternary sequences with period pq

Premium Partner