Skip to main content
Fachgebiete
Automobil + Motoren Bauwesen + Immobilien Business IT + Informatik Elektrotechnik + Elektronik Energie + Nachhaltigkeit Finance + Banking Management + Führung Marketing + Vertrieb Maschinenbau + Werkstoffe Versicherung + Risiko
DE
EN
Bücher
Zeitschriften
Themenseiten
Organisationspsychologie Projektmanagement Marketing Smart Manufacturing
Weitere Formate
Podcasts Webinare Technik Webinare Wirtschaft Kongresse Veranstaltungskalender Awards
Jetzt Einzelzugang starten
Zugang für Unternehmen
Referenzkunden
SLX-Digitalkonferenz: Zukunftswerkstatt 2024

Mehr Umsatz mit Top-Kontakten

Am 7. Mai erfahren Sie, wie Vertriebsteams Leadgenerierung, Leadnurturing und Leadstrategien effizient steuern können.
Erweiterte Suche
Anmelden
nach oben
Erschienen in:
A Probabilistic Rating System for Team Competitions with Individual Contributions Kapitel lesen Erstes Kapitel lesen

2015 | OriginalPaper | Buchkapitel

Distributed Coordinate Descent for L1-regularized Logistic Regression

verfasst von : Ilya Trofimov, Alexander Genkin

Erschienen in: Analysis of Images, Social Networks and Texts

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Logistic regression is a widely used technique for solving classification and class probability estimation problems in text mining, biometrics and clickstream data analysis. Solving logistic regression with L1-regularization in distributed settings is an important problem. This problem arises when training dataset is very large and cannot fit the memory of a single machine. We present d-GLMNET, a new algorithm solving logistic regression with L1-regularization in the distributed settings. We empirically show that it is superior over distributed online learning via truncated gradient.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Jetzt informieren
Vorheriges Kapitel Similarity Aggregation for Collaborative Filtering
Nächstes Kapitel Building Profiles of Blog Users Based on Comment Graph Analysis: The Habrahabr.ru Case
Fußnoten
1
We used an implementation of MPI_AllReduce from the Vowpal Wabbit project https://​github.​com/​JohnLangford/​vowpal_​wabbit.
 
4
The parameter \(\lambda \) in (2) is related to the option - -l1 arg in Vowpal Wabbit by equation \(arg = \lambda / n\) where n is the number of training examples.
 
Literatur
1.
Yuan, G.-X., Ho, C.-H., Lin, C.-J.: Recent advances of large-scale linear classification. Proc. IEEE 100(9), 2584–2603 (2012)CrossRef
2.
Yuan, G.-X., Chang, K.-W., Hsieh, C.-J., Lin, C.-J.: A comparison of optimization methods and software for large-scale L1-regularized linear classification. J. Mach. Learn. Res. 11, 3183–3234 (2010)MathSciNetMATH
3.
Genkin, A., Lewis, D.D., Madigan, D.: Large-scale Bayesian logistic regression for text categorization. Technometrics 49(3), 291–304 (2007)MathSciNetCrossRef
4.
Friedman, J., Hastie, T., Tibshirani, R.: Regularization paths for generalized linear models via coordinate descent. J. Stat. Softw. 33(1), 1–22 (2010)CrossRef
5.
Yuan, G.-X., Ho, C.-H., Hsieh, C.-J., Lin, C.-J.: An improved GLMNET for L1-regularized logistic regression. J. Mach. Learn. Res. 13, 1999–2030 (2012)MathSciNetMATH
6.
Balakrishnan, S., Madigan, D.: Algorithms for sparse linear classifiers in the massive data setting. J. Mach. Learn. Res. 1, 1–26 (2007)MATH
7.
Langford, J., Li, L., Zhang, T.: Sparse online learning via truncated gradient. J. Mach. Learn. Res. 10, 777–801 (2009)MathSciNetMATH
8.
McMahan, H.B.: Follow-the-regularized-leader and mirror descent : equivalence theorems and L1 regularization. In: AISTATS 2011 (2011)
9.
10.
Peng, Z., Yan, M., Yin, W.: Parallel and distributed sparse optimization. In: STATOS 2013 (2013)
11.
Bradley, J.K., Kyrola, A., Bickson, D., Guestrin, C.: Parallel coordinate descent for L1-regularized loss minimization. In: ICML 2011, Bellevue, WA, USA (2011)
12.
Ho, Q., Cipar, J., Cui, H., Kim, J.K., Lee, S., Gibbons, P.B., Gibson, G.A., Ganger, G.R., Xing, E.P.: More effective distributed ML via a stale synchronous parallel parameter server. In: NIPS 2013 (2013)
13.
14.
Tseng, P., Yun, S.: A coordinate gradient descent method for nonsmooth separable minimization. Math. Program. 117, 387–423 (2009)MathSciNetCrossRefMATH
15.
Zinkevich, M., Weimer, M., Smola, A., Li, L.: Parallelized stochastic gradient descent. In: NIPS 2010 (2010)
16.
Dean, J., Ghemawat, S.: MapReduce: simplified data processing on large clusters. In: OSDI 2004, San Francisco (2004)
17.
Low, Y., Gonzalez, J., Kyrola, A., Bickson, D., Guestrin, C., Hellerstein, J.M.: Graphlab: a new framework for parallel machine learning. In: UAI 2010, Cataline Island, California (2010)
Metadaten
Titel
Distributed Coordinate Descent for L1-regularized Logistic Regression
verfasst von
Ilya Trofimov
Alexander Genkin
Copyright-Jahr
2015
Buch
Analysis of Images, Social Networks and Texts

Print ISBN: 978-3-319-26122-5

Electronic ISBN: 978-3-319-26123-2

Copyright-Jahr: 2015

DOI
https://doi.org/10.1007/978-3-319-26123-2_24