Skip to main content

2024 | OriginalPaper | Buchkapitel

14. A Better Random Forest Classifier: Labels Guided Mondrian Forest

verfasst von : Ismaël Koné, Adama Samaké, Behou Gérard N’Guessan, Lahsen Boulmane

Erschienen in: Mathematics of Computer Science, Cybersecurity and Artificial Intelligence

Verlag: Springer Nature Switzerland

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Das Kapitel stellt eine erweiterte Version der Mondrian-Wälder vor, eine Art zufälliger Waldalgorithmus, der Etiketteninformationen beim Baumteilen einbezieht. Diese Modifikation adressiert die schlechte Leistung der Mondrian-Wälder in Datensätzen mit vielen Merkmalen geringer Vorhersagekraft. Das Kapitel enthält eine detaillierte Methodik, experimentelle Ergebnisse und Vergleiche mit klassischen zufälligen Wäldern, wobei die verbesserte Leistung und Kalibrierung der verbesserten Mondrian-Wälder sowohl in Batch- als auch in Online-Trainingseinstellungen dargestellt wird. Die Experimente unterstreichen die erheblichen Vorteile der Verwendung von Etiketteninformationen, insbesondere in Datensätzen mit geringer Vorhersagekraft. Das Kapitel schließt mit Vorschlägen für mögliche zukünftige Forschungsrichtungen, wie etwa die Ausweitung der Methode auf Mondrian-Wälder für Regressionsaufgaben.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Anhänge
Nur mit Berechtigung zugänglich
Literatur
1.
Zurück zum Zitat Lakshminarayanan B., Roy D. M., and Teh Y. W., Mondrian Forests: Efficient Online Random Forests, Advances in Neural Information Processing Systems, 27, 3140–3148 (2014) Lakshminarayanan B., Roy D. M., and Teh Y. W., Mondrian Forests: Efficient Online Random Forests, Advances in Neural Information Processing Systems, 27, 3140–3148 (2014)
2.
3.
Zurück zum Zitat Siddharth Misra, Yaokun Wu, Machine Learning for Subsurface Characterization, 289–314. Gulf Professional Publishing, United States (2020) Siddharth Misra, Yaokun Wu, Machine Learning for Subsurface Characterization, 289–314. Gulf Professional Publishing, United States (2020)
4.
Zurück zum Zitat Niculescu-Mizil A. and Caruana R., Predicting Good Probabilities with Supervised Learning, Proceedings of the International Conference on Machine Learning - ICML, 22, (2005) Niculescu-Mizil A. and Caruana R., Predicting Good Probabilities with Supervised Learning, Proceedings of the International Conference on Machine Learning - ICML, 22, (2005)
5.
Zurück zum Zitat Lakshminarayanan B., Thesis: Decision Trees and Forests: A Probabilistic Perspective, UCL, United Kingdom (2016) Lakshminarayanan B., Thesis: Decision Trees and Forests: A Probabilistic Perspective, UCL, United Kingdom (2016)
6.
Zurück zum Zitat Shannon C. E., A Mathematical Theory of Communication, The Bell System Technical Journal, 27, 379–423 (1948)MathSciNetCrossRef Shannon C. E., A Mathematical Theory of Communication, The Bell System Technical Journal, 27, 379–423 (1948)MathSciNetCrossRef
7.
Zurück zum Zitat Daniel M. Roy, Yee Teh, The Mondrian Process, Advances in Neural Information Processing Systems, 21, 1377–138 (2008) Daniel M. Roy, Yee Teh, The Mondrian Process, Advances in Neural Information Processing Systems, 21, 1377–138 (2008)
8.
Zurück zum Zitat Hull J. J., A database for handwritten text recognition research, IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 550–554 (1994)CrossRef Hull J. J., A database for handwritten text recognition research, IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 550–554 (1994)CrossRef
9.
Zurück zum Zitat Feng C., Sutherland A., King S., Muggleton S. & Henery R., Comparison of Machine Learning Classifiers to Statistics and Neural Networks, AI & Stats Conference, 93(1993). Feng C., Sutherland A., King S., Muggleton S. & Henery R., Comparison of Machine Learning Classifiers to Statistics and Neural Networks, AI & Stats Conference, 93(1993).
10.
Zurück zum Zitat Srinivasan A., Statlog (Landsat Satellite). UCI Machine Learning Repository (1993) Srinivasan A., Statlog (Landsat Satellite). UCI Machine Learning Repository (1993)
11.
Zurück zum Zitat Slate D., Letter Recognition. UCI Machine Learning Repository (1991). Slate D., Letter Recognition. UCI Machine Learning Repository (1991).
12.
Zurück zum Zitat Michalski,R.S. and Chilausky,R.L.., Soybean (Large). UCI Machine Learning Repository (1988). Michalski,R.S. and Chilausky,R.L.., Soybean (Large). UCI Machine Learning Repository (1988).
13.
Zurück zum Zitat Vanschoren J., Rijn J. N. V., Bischl B. and Torgo L., OpenML: networked science in machine learning. SIGKDD Explorations 15(2), pp 49–60, 2013CrossRef Vanschoren J., Rijn J. N. V., Bischl B. and Torgo L., OpenML: networked science in machine learning. SIGKDD Explorations 15(2), pp 49–60, 2013CrossRef
14.
Zurück zum Zitat Pedregosa et al., Journal of Machine Learning Research, 12, 2825–2830 (2011) Pedregosa et al., Journal of Machine Learning Research, 12, 2825–2830 (2011)
15.
Zurück zum Zitat Breiman L., “Bagging predictors”, Machine Learning, 24(2), 123–140, 1996.CrossRef Breiman L., “Bagging predictors”, Machine Learning, 24(2), 123–140, 1996.CrossRef
16.
Zurück zum Zitat Dietterich T. G, Kong E. B., Machine Learning Bias, Statistical Bias, and Statistical Variance of Decision Tree Algorithms, 1–14. Technical Report. Department of Computer Science, Oregon State University (1995) Dietterich T. G, Kong E. B., Machine Learning Bias, Statistical Bias, and Statistical Variance of Decision Tree Algorithms, 1–14. Technical Report. Department of Computer Science, Oregon State University (1995)
17.
Zurück zum Zitat Breiman L., Bias, variance, and arcing classifiers, Technical Report, 460, Statistics Department, University of California, Berkeley, CA, USA (1996) Breiman L., Bias, variance, and arcing classifiers, Technical Report, 460, Statistics Department, University of California, Berkeley, CA, USA (1996)
18.
Zurück zum Zitat Criminisi A., Shotton J., Konukoglu E., Decision Forests: A Unified Framework for Classification, Regression, Density Estimation, Manifold Learning and Semi-Supervised Learning, Foundations and Trends Computer Graphics Vision, 7, 81–227 (2012)CrossRef Criminisi A., Shotton J., Konukoglu E., Decision Forests: A Unified Framework for Classification, Regression, Density Estimation, Manifold Learning and Semi-Supervised Learning, Foundations and Trends Computer Graphics Vision, 7, 81–227 (2012)CrossRef
19.
Zurück zum Zitat Geurts P., Ernst. D., and Wehenkel L., Extremely randomized trees, Machine Learning, 63, 3–42 (2006)CrossRef Geurts P., Ernst. D., and Wehenkel L., Extremely randomized trees, Machine Learning, 63, 3–42 (2006)CrossRef
20.
Zurück zum Zitat Chipman H. A., George E. I., and McCulloch R. E., Bayesian CART model search, 93, Journal of the American Statistical Association, 935–948 (1998) Chipman H. A., George E. I., and McCulloch R. E., Bayesian CART model search, 93, Journal of the American Statistical Association, 935–948 (1998)
21.
Zurück zum Zitat Denison D. G. T., Mallick B. K., and Smith A. F. M., A Bayesian CART algorithm, Biometrika, 85, 363–377 (1998)MathSciNetCrossRef Denison D. G. T., Mallick B. K., and Smith A. F. M., A Bayesian CART algorithm, Biometrika, 85, 363–377 (1998)MathSciNetCrossRef
22.
Zurück zum Zitat Chipman H. A., George E. I., and McCulloch R. E., BART: Bayesian Additive Regression Trees, The Annals of Applied Statistics, 4, 266–298 (2010)MathSciNetCrossRef Chipman H. A., George E. I., and McCulloch R. E., BART: Bayesian Additive Regression Trees, The Annals of Applied Statistics, 4, 266–298 (2010)MathSciNetCrossRef
23.
Zurück zum Zitat Domingos P., Bayesian Averaging of Classifiers and the Overfitting Problem, International Conference of Machine Learning, 747, 223–230 (2000) Domingos P., Bayesian Averaging of Classifiers and the Overfitting Problem, International Conference of Machine Learning, 747, 223–230 (2000)
24.
Zurück zum Zitat Saffari A., Leistner C., Santner J., Godec M., Bischof H., On-line random forests. Computer Vision Workshops - ICCV Workshops, 12, 1393–1400 (2009) Saffari A., Leistner C., Santner J., Godec M., Bischof H., On-line random forests. Computer Vision Workshops - ICCV Workshops, 12, 1393–1400 (2009)
25.
Zurück zum Zitat Denil M., Matheson D., Freitas N., Consistency of online random forests, International Conference of Machine Learning, 28, 1256–1264 (2013) Denil M., Matheson D., Freitas N., Consistency of online random forests, International Conference of Machine Learning, 28, 1256–1264 (2013)
26.
Zurück zum Zitat Lakshminarayanan B., Roy D. M., and Teh Y. W., Mondrian Forests for Large-Scale Regression when Uncertainty Matters, Proceedings of the 19th International Conference on Artificial Intelligence and Statistics, JMLR: W&CP, 51, 1478–1487 (2016) Lakshminarayanan B., Roy D. M., and Teh Y. W., Mondrian Forests for Large-Scale Regression when Uncertainty Matters, Proceedings of the 19th International Conference on Artificial Intelligence and Statistics, JMLR: W&CP, 51, 1478–1487 (2016)
Metadaten
Titel
A Better Random Forest Classifier: Labels Guided Mondrian Forest
verfasst von
Ismaël Koné
Adama Samaké
Behou Gérard N’Guessan
Lahsen Boulmane
Copyright-Jahr
2024
DOI
https://doi.org/10.1007/978-3-031-66222-5_14