Skip to main content

2018 | OriginalPaper | Buchkapitel

Using Bag-of-Little Bootstraps for Efficient Ensemble Learning

verfasst von : Pablo de Viña, Gonzalo Martínez-Muñoz

Erschienen in: Artificial Neural Networks and Machine Learning – ICANN 2018

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

The technique bag-of-little bootstrap provides statistical estimates equivalent to the ones of bootstrap in a tiny fraction of the time required by bootstrap. In this work, we propose to combine bag-of-little bootstrap into an ensemble of classifiers composed of random trees. We show that using this bootstrapping procedure, instead of standard bootstrap samples, as the ones used in random forest, can dramatically reduce the training time of ensembles of classifiers. In addition, the experiments carried out illustrate that, for a wide range of training times, the proposed ensemble method achieves a generalization error smaller than that achieved by random forest.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
2.
Zurück zum Zitat Breiman, L.: Bagging predictors. Mach. Learn. 26, 123–140 (1996)MATH Breiman, L.: Bagging predictors. Mach. Learn. 26, 123–140 (1996)MATH
3.
4.
Zurück zum Zitat Breiman, L., Friedman, J.H., Olshen, R.A., Stone, C.J.: Classification and Regression Trees. Chapman & Hall, New York (1984)MATH Breiman, L., Friedman, J.H., Olshen, R.A., Stone, C.J.: Classification and Regression Trees. Chapman & Hall, New York (1984)MATH
5.
Zurück zum Zitat Chen, T., Guestrin, C.: XGBoost: a scalable tree boosting system. In: Proceedings of the 22Nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD 2016, pp. 785–794. ACM, New York (2016) Chen, T., Guestrin, C.: XGBoost: a scalable tree boosting system. In: Proceedings of the 22Nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD 2016, pp. 785–794. ACM, New York (2016)
7.
Zurück zum Zitat Fernández-Delgado, M., Cernadas, E., Barro, S., Amorim, D.: Do we need hundreds of classifiers to solve real world classification problems? J. Mach. Learn. Res. 15, 3133–3181 (2014)MathSciNetMATH Fernández-Delgado, M., Cernadas, E., Barro, S., Amorim, D.: Do we need hundreds of classifiers to solve real world classification problems? J. Mach. Learn. Res. 15, 3133–3181 (2014)MathSciNetMATH
8.
Zurück zum Zitat Freund, Y., Schapire, R.E.: A decision-theoretic generalization of on-line learning and an application to boosting. J. Comput. Syst. Sci. 55(1), 119–139 (1997)MathSciNetCrossRef Freund, Y., Schapire, R.E.: A decision-theoretic generalization of on-line learning and an application to boosting. J. Comput. Syst. Sci. 55(1), 119–139 (1997)MathSciNetCrossRef
9.
Zurück zum Zitat Hall, P., Samworth, R.J.: Properties of bagged nearest neighbour classifiers. J. Roy. Stat. Soc. Ser. B 67(3), 363–379 (2005)MathSciNetCrossRef Hall, P., Samworth, R.J.: Properties of bagged nearest neighbour classifiers. J. Roy. Stat. Soc. Ser. B 67(3), 363–379 (2005)MathSciNetCrossRef
10.
Zurück zum Zitat Kleiner, A., Talwalkar, A., Sarkar, P., Jordan, M.: A scalable bootstrap for massive data. J. Roy. Stat. Soc. Ser. B 76, 795–816 (2014)MathSciNetCrossRef Kleiner, A., Talwalkar, A., Sarkar, P., Jordan, M.: A scalable bootstrap for massive data. J. Roy. Stat. Soc. Ser. B 76, 795–816 (2014)MathSciNetCrossRef
11.
Zurück zum Zitat Kleiner A., Talwalkar A., Sarkar, P., Jordan, M.: The big data bootstrap. In: ICML (2012) Kleiner A., Talwalkar A., Sarkar, P., Jordan, M.: The big data bootstrap. In: ICML (2012)
12.
Zurück zum Zitat Martínez-Muñoz, G., Suárez, A.: Out-of-bag estimation of the optimal sample size in bagging. Pattern Recognit. 43(1), 143–152 (2010)CrossRef Martínez-Muñoz, G., Suárez, A.: Out-of-bag estimation of the optimal sample size in bagging. Pattern Recognit. 43(1), 143–152 (2010)CrossRef
13.
Zurück zum Zitat Mason, L., Baxter, J., Bartlett, P., Frean, M.: Boosting algorithms as gradient descent. In: Advances in Neural Information Processing Systems, vol. 12, pp. 512–518. MIT Press (2000) Mason, L., Baxter, J., Bartlett, P., Frean, M.: Boosting algorithms as gradient descent. In: Advances in Neural Information Processing Systems, vol. 12, pp. 512–518. MIT Press (2000)
Metadaten
Titel
Using Bag-of-Little Bootstraps for Efficient Ensemble Learning
verfasst von
Pablo de Viña
Gonzalo Martínez-Muñoz
Copyright-Jahr
2018
DOI
https://doi.org/10.1007/978-3-030-01418-6_53