Skip to main content

2017 | OriginalPaper | Buchkapitel

A Neural Network Implementation of Frank-Wolfe Optimization

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We revisit the Frank-Wolfe algorithm for constrained convex optimization and show that it can be implemented as a simple recurrent neural network with softmin activation functions. As an example for a practical application of this result, we discuss how to train such a network to act as an associative memory.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Bauckhage, C., Sifa, R.: k-Maxoids Clustering. In: Proceedings KDML-LWA (2015) Bauckhage, C., Sifa, R.: k-Maxoids Clustering. In: Proceedings KDML-LWA (2015)
3.
Zurück zum Zitat Civril, A., Magdon-Ismail, M.: On selecting a maximum volume sub-matrix of a matrix and related problems. Theore. Comput. Sci. 410(47–49), 4801–4811 (2009)CrossRefMATHMathSciNet Civril, A., Magdon-Ismail, M.: On selecting a maximum volume sub-matrix of a matrix and related problems. Theore. Comput. Sci. 410(47–49), 4801–4811 (2009)CrossRefMATHMathSciNet
4.
Zurück zum Zitat Clarkson, K.: Coresets, sparse greedy approximation, and the Frank-Wolf algorithm. ACM Trans. Algorithms 6(4) (2010) Clarkson, K.: Coresets, sparse greedy approximation, and the Frank-Wolf algorithm. ACM Trans. Algorithms 6(4) (2010)
5.
Zurück zum Zitat de Berg, M., van Kreveld, M., Overmars, M., Schwarzkopf, O.: Computational Geometry. Springer, Heidelberg (2000)CrossRefMATH de Berg, M., van Kreveld, M., Overmars, M., Schwarzkopf, O.: Computational Geometry. Springer, Heidelberg (2000)CrossRefMATH
6.
Zurück zum Zitat Faloutsos, C., Lin, K.I.: FastMap: A fast algorithm for indexing, data-mining and visualization of traditional and multimedia datasets. In: Proceedings SIGMOD (1995) Faloutsos, C., Lin, K.I.: FastMap: A fast algorithm for indexing, data-mining and visualization of traditional and multimedia datasets. In: Proceedings SIGMOD (1995)
7.
Zurück zum Zitat Frank, M., Wolfe, P.: An algorithm for quadratic programming. Naval Research Logistics Quarterly 3(1–2), 95–110 (1956)CrossRefMathSciNet Frank, M., Wolfe, P.: An algorithm for quadratic programming. Naval Research Logistics Quarterly 3(1–2), 95–110 (1956)CrossRefMathSciNet
8.
Zurück zum Zitat Jäger, H., Haas, H.: Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication. Science 304(5667), 78–80 (2004)CrossRef Jäger, H., Haas, H.: Harnessing nonlinearity: predicting chaotic systems and saving energy in wireless communication. Science 304(5667), 78–80 (2004)CrossRef
9.
Zurück zum Zitat Jaggi, M.: Revisiting frank-wolfe: projection-free sparse convex optimization. J. Mach. Learn. Res. 28(1), I-427–I-435 (2013) Jaggi, M.: Revisiting frank-wolfe: projection-free sparse convex optimization. J. Mach. Learn. Res. 28(1), I-427–I-435 (2013)
10.
Zurück zum Zitat Kohonen, T., Oja, E., Lehtiö, P.: Storage and processing of information in distributed associative memory systems. In: Hinton, G., Anderson, J. (eds.) Parallel Models of Associative Memory. Laurence Earbaum Associates (1989). Chap. 4 Kohonen, T., Oja, E., Lehtiö, P.: Storage and processing of information in distributed associative memory systems. In: Hinton, G., Anderson, J. (eds.) Parallel Models of Associative Memory. Laurence Earbaum Associates (1989). Chap. 4
11.
Zurück zum Zitat Kosko, B.: Bidirectional associative memory. IEEE Trans. Systems Man Cybern. 18(1) (1988) Kosko, B.: Bidirectional associative memory. IEEE Trans. Systems Man Cybern. 18(1) (1988)
12.
Zurück zum Zitat Lacoste-Julien, S., Jaggi, M., Schmidt, M., Pletscher, P.: Block-coordinate frank-wolfe optimization for structural SVMs. In: Proceedings ICML (2013) Lacoste-Julien, S., Jaggi, M., Schmidt, M., Pletscher, P.: Block-coordinate frank-wolfe optimization for structural SVMs. In: Proceedings ICML (2013)
13.
Zurück zum Zitat McClelland, J., Rummelhart, D.: Distributed memory and the representation of general and specific information. J. Exp. Psychol. Gen. 114(2), 159–188 (1985)CrossRef McClelland, J., Rummelhart, D.: Distributed memory and the representation of general and specific information. J. Exp. Psychol. Gen. 114(2), 159–188 (1985)CrossRef
14.
Zurück zum Zitat Ouyang, H., Gray, A.: Fast stochastic frank-wolfe algorithms for nonlinear SVMs. In: Proceedings SDM (2010) Ouyang, H., Gray, A.: Fast stochastic frank-wolfe algorithms for nonlinear SVMs. In: Proceedings SDM (2010)
Metadaten
Titel
A Neural Network Implementation of Frank-Wolfe Optimization
verfasst von
Christian Bauckhage
Copyright-Jahr
2017
DOI
https://doi.org/10.1007/978-3-319-68600-4_26

Premium Partner