nach oben

Erschienen in:

2021 | OriginalPaper | Buchkapitel

WILDA: Wide Learning of Diverse Architectures for Classification of Large Datasets

verfasst von : Rui P. Cardoso, Emma Hart, David Burth Kurka, Jeremy Pitt

Erschienen in: Applications of Evolutionary Computation

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

In order to address scalability issues, which can be a challenge for Deep Learning methods, we propose Wide Learning of Diverse Architectures—a model that scales horizontally rather than vertically, enabling distributed learning. We propose a distributed version of a quality-diversity evolutionary algorithm (MAP-Elites) to evolve an architecturally diverse ensemble of shallow networks, each of which extracts a feature vector from the data. These features then become the input to a single shallow network which is optimised using gradient descent to solve a classification task. The technique is shown to perform well on two benchmark classification problems (MNIST and CIFAR). Additional experiments provide insight into the role that diversity plays in contributing to the performance of the repertoire.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Optimising Diversity in Classifier Ensembles of Classification Trees

Nächstes Kapitel Evolving Character-Level DenseNet Architectures Using Genetic Programming

With the exception of a handful of papers in the combinatorial optimisation domain, for example [21].

Breiman, L.: Random forests. Mach. Learn. 45(1), 5–32 (2001)CrossRef

Cully, A., Clune, J., Tarapore, D., Mouret, J.B.: Robots that can adapt like animals. Nature 521(7553), 503 (2015)CrossRef

Dietterich, T.G.: Ensemble methods in machine learning. In: Kittler, J., Roli, F. (eds.) MCS 2000. LNCS, vol. 1857, pp. 1–15. Springer, Heidelberg (2000). https://doi.org/10.1007/3-540-45014-9_1CrossRef

Hart, E., Steyven, A.S.W., Paechter, B.: Evolution of a functionally diverse swarm via a novel decentralised quality-diversity algorithm. In: Proceedings of the Genetic and Evolutionary Computation Conference, GECCO ’18, pp. 101–108. ACM, New York (2018)

He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770–778 (2016)

Hong, L., Page, S.E.: Groups of diverse problem solvers can outperform groups of high-ability problem solvers. Proc. Natl. Acad. Sci. 101(46), 16385–16389 (2004). https://doi.org/10.1073/pnas.0403723101CrossRef

Krizhevsky, A.: Learning Multiple Layers of Features from Tiny Images. University of Toronto, Science Dept, Technical report (2009)

LeCun, Y., Bottou, L., Bengio, Y., Haffner, P.: Gradient-based learning applied to document recognition. Proceedings of the IEEE (1998)

McDonnell, M.D., Vladusich, T.: Enhanced image classification with a fast-learning shallow convolutional neural network. In: Proceedings of the International Joint Conference on Neural Networks (2015). https://doi.org/10.1109/IJCNN.2015.7280796

10.

Mouret, J.B., Clune, J.: Illuminating search spaces by mapping elites. arXiv preprint arXiv:1504.04909 (2015)

11.

Murphy, K.P.: Machine learning: a probabilistic perspective (2012)

12.

Pandey, G., Dukkipati, A.: To go deep or wide in learning? (2014)

13.

Paszke, A., et al.: Automatic differentiation in PyTorch. In: Advances in Neural Information Processing Systems 32 (2019)

14.

Pugh, J.K., Soros, L.B., Stanley, K.O.: Quality diversity: a new frontier for evolutionary computation. Front. Robot. AI 3, 40 (2016)CrossRef

15.

Shafaei-Bajestan, E., Baayen, R.H.: Wide learning for auditory comprehension. In: Proceedings of the Interspeech 2018, pp. 966–970 (2018). 10.21437/Interspeech. 2018–2420. http://dx.doi.org/10.21437/Interspeech.2018-2420

16.

Strubell, E., Ganesh, A., McCallum, A.: Energy and policy considerations for deep learning in NLP. arXiv preprint arXiv:1906.02243 (2019)

17.

Suganuma, M., Shirakawa, S., Nagao, T.: A genetic programming approach to designing convolutional neural network architectures. In: Proceedings of the Genetic and Evolutionary Computation Conference, pp. 497–504 (2017)

18.

Sun, Y., Xue, B., Zhang, M., Yen, G.G.: Automatically designing CNN architectures using genetic algorithm for image classification. arXivpreprint arXiv:1808.03818 (2018)

19.

Sun, Y., Xue, B., Zhang, M., Yen, G.G.: Automatically designing CNN architectures using genetic algorithm for image classification. arXiv preprint arXiv:1808.03818 (2018)

20.

Szerlip, P.A., Morse, G., Pugh, J.K., Stanley, K.O.: Unsupervised feature learning through divergent discriminative feature accumulation. In: Proceedings of the National Conference on Artificial Intelligence (2015)

21.

Urquhart, N., Hart, E.: Optimisation and illumination of a real-world workforce scheduling and routing application (wsrp) via map-elites. In: International Conference on Parallel Problem Solving from Nature, pp. 488–499. Springer (2018)

22.

Xing, E.P., Ho, Q., Xie, P., Wei, D.: Strategies and Principles of Distributed Machine Learning on Big Data (2016). https://doi.org/10.1016/J.ENG.2016.02.008

23.

Zagoruyko, S., Komodakis, N.: Wide residual networks (2016)

Titel: WILDA: Wide Learning of Diverse Architectures for Classification of Large Datasets
verfasst von: Rui P. Cardoso
Emma Hart
David Burth Kurka
Jeremy Pitt
Verlag: Springer International Publishing
Buch: Applications of Evolutionary Computation
Print ISBN: 978-3-030-72698-0

Electronic ISBN: 978-3-030-72699-7

Copyright-Jahr: 2021
DOI: https://doi.org/10.1007/978-3-030-72699-7_41

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Premium Partner