nach oben

Erschienen in:

2022 | OriginalPaper | Buchkapitel

Grad\(_{2}\)VAE: An Explainable Variational Autoencoder Model Based on Online Attentions Preserving Curvatures of Representations

verfasst von : Mohanad Abukmeil, Stefano Ferrari, Angelo Genovese, Vincenzo Piuri, Fabio Scotti

Erschienen in: Image Analysis and Processing – ICIAP 2022

Verlag: Springer International Publishing

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config

KI-gestützte Suche

Aus

Abstract

Unsupervised learning (UL) is a class of machine learning (ML) that learns data, reduces dimensionality, and visualizes decisions without labels. Among UL models, a variational autoencoder (VAE) is considered a UL model that is regulated by variational inference to approximate the posterior distribution of large datasets. In this paper, we propose a novel explainable artificial intelligence (XAI) method to visually explain the VAE behavior based on the second-order derivative of the latent space concerning the encoding layers, which reflects the amount of acceleration required from encoding to decoding space. Our model is termed as Grad\(_{2}\)VAE and it is able to capture the local curvatures of the representations to build online attention that visually explains the model’s behavior. Besides the VAE explanation, we employ our method for anomaly detection, where our model outperforms the recent UL deep models when generalizing it for large-scale anomaly data.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

über 102.000 Bücher
über 537 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Finance + Banking
Management + Führung
Marketing + Vertrieb
Maschinenbau + Werkstoffe
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 390 Zeitschriften

aus folgenden Fachgebieten:

Automobil + Motoren
Bauwesen + Immobilien
Business IT + Informatik
Elektrotechnik + Elektronik
Energie + Nachhaltigkeit
Maschinenbau + Werkstoffe

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

über 67.000 Bücher
über 340 Zeitschriften

aus folgenden Fachgebieten:

Bauwesen + Immobilien
Business IT + Informatik
Finance + Banking
Management + Führung
Marketing + Vertrieb
Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Jetzt informieren

Vorheriges Kapitel Pruning in the Face of Adversaries

Nächstes Kapitel The AIRES-CH Project: Artificial Intelligence for Digital REStoration of Cultural Heritages Using Nuclear Imaging and Multidimensional Adversarial Neural Networks

Abukmeil, M., Ferrari, S., Genovese, A., Piuri, V., Scotti, F.: On approximating the non-negative rank: applications to image reduction. In: Proceedings of CIVEMSA (2020)

Abukmeil, M., Ferrari, S., Genovese, A., Piuri, V., Scotti, F.: Unsupervised learning from limited available data by \(\beta \)-NMF and dual autoencoder. In: Proceedings of ICIP (2020)

Abukmeil, M., Ferrari, S., Genovese, A., Piuri, V., Scotti, F.: A survey of unsupervised generative models for exploratory data analysis and representation learning. ACM Comput. Surv. (CSUR) 54(5), 1–40 (2021)CrossRef

Abukmeil, M., Genovese, A., Piuri, V., Rundo, F., Scotti, F.: Towards explainable semantic segmentation for autonomous driving systems by multi-scale variational attention. In: Proceedings of ICAS (2021)

Ames, W.F.: Numerical Methods for Partial Differential Equations. Academic Press, Cambridge (2014)

Baldi, P.: Autoencoders, unsupervised learning, and deep architectures. In: Proceedings of ICML (2012)

Bengio, Y., Courville, A., Vincent, P.: Representation learning: a review and new perspectives. IEEE Trans. Pattern Anal. Mach. Intell. 35(8), 1798–1828 (2013)

Fan, K., Wang, Z., Beck, J., Kwok, J., Heller, K.A.: Fast second order stochastic backpropagation for variational inference. In: Proceedings of NIPS (2015)

Genovese, A., Piuri, V., Scotti, F.: Towards explainable face aging with generative adversarial networks. In: Proceedings of ICIP (2019)

10.

He, K., Zhang, X., Ren, S., Sun, J.: Deep residual learning for image recognition. In: Proceedings of CVPR (2016)

11.

Hinton, G.E., Salakhutdinov, R.R.: Reducing the dimensionality of data with neural networks. Science 313(5786), 504–507 (2006)MathSciNetCrossRef

12.

Hinton, G.E., Zemel, R.S.: Autoencoders, minimum description length and Helmholtz free energy. In: Proceedings of NIPS (1994)

13.

Kingma, D.P., Ba, J.: Adam: a method for stochastic optimization. In: Proceedings of ICML (2014)

14.

Kingma, D.P., Welling, M.: Auto-encoding variational Bayes. In: Proceedings of ICLR (2014)

15.

LeCun, Y., Cortes, C., Burges, C.J.: MNIST handwritten digit database. 7(23), 6 (2010). https://yann.lecun.com/exdb/mnist

16.

Liu, W., et al.: Towards visually explaining variational autoencoders. In: Proceedings of CVPR (2020)

17.

Makhzani, A., Shlens, J., Jaitly, N., Goodfellow, I., Frey, B.: Adversarial autoencoders. arXiv preprint arXiv:1511.05644 (2015)

18.

Mejjati, Y.A., Richardt, C., Tompkin, J., Cosker, D., Kim, K.I.: Unsupervised attention-guided image-to-image translation. In: Proceedings of NIPS (2018)

19.

Nair, V., Hinton, G.E.: Rectified linear units improve restricted Boltzmann machines. In: Proceedings of ICML (2010)

20.

Ng, A.: Sparse autoencoder. CS294A Lecture Notes, vol. 72, no. 2011, pp. 1–19 (2011)

21.

Pospiech, G., Michelini, M., Eylon, B.-S. (eds.): Mathematics in Physics Education. Springer, Cham (2019). https://doi.org/10.1007/978-3-030-04627-9CrossRef

22.

Rezende, D.J., Mohamed, S., Wierstra, D.: Stochastic backpropagation and approximate inference in deep generative models. In: Proceedings of ICML (2014)

23.

Rifai, S., Vincent, P., Muller, X., Glorot, X., Bengio, Y.: Contractive auto-encoders: explicit invariance during feature extraction. In: Proceedings of ICML (2011)

24.

Ruff, L., et al.: Deep one-class classification. In: Proceedings of ICML (2018)

25.

Sarafijanovic-Djukic, N., Davis, J.: Fast distance-based anomaly detection in images using an inception-like autoencoder. In: Proceedings of DS (2019)

26.

Tang, C., Srivastava, N., Salakhutdinov, R.R.: Learning generative models with visual attention. In: Proceedings of NIPS (2014)

27.

Vincent, P., Larochelle, H., Bengio, Y., Manzagol, P.A.: Extracting and composing robust features with denoising autoencoders. In: Proceedings of ICML (2008)

28.

Xiao, H., Rasul, K., Vollgraf, R.: Fashion-MNIST: a novel image dataset for benchmarking machine learning algorithms. arXiv preprint arXiv:1708.07747 (2017)

29.

Zeiler, M.D.: ADADELTA: an adaptive learning rate method. arXiv preprint arXiv:1212.5701 (2012)

30.

Zeiler, M.D., Fergus, R.: Visualizing and understanding convolutional networks. In: Fleet, D., Pajdla, T., Schiele, B., Tuytelaars, T. (eds.) ECCV 2014. LNCS, vol. 8689, pp. 818–833. Springer, Cham (2014). https://doi.org/10.1007/978-3-319-10590-1_53CrossRef

31.

Zhang, C., Butepage, J., Kjellstrom, H., Mandt, S.: Advances in variational inference. IEEE Trans. Pattern Anal. Mach. Intell. 41(08), 2008–2026 (2019)

32.

Zhang, J., Bargal, S.A., Lin, Z., Brandt, J., Shen, X., Sclaroff, S.: Top-down neural attention by excitation backprop. Int. J. Comput. Vis. 126(10), 1084–1102 (2018)CrossRef

Titel: GradVAE: An Explainable Variational Autoencoder Model Based on Online Attentions Preserving Curvatures of Representations
verfasst von: Mohanad Abukmeil
Stefano Ferrari
Angelo Genovese
Vincenzo Piuri
Fabio Scotti
Verlag: Springer International Publishing
Buch: Image Analysis and Processing – ICIAP 2022
Print ISBN: 978-3-031-06426-5

Electronic ISBN: 978-3-031-06427-2

Copyright-Jahr: 2022
DOI: https://doi.org/10.1007/978-3-031-06427-2_56

Springer Professional

Abstract

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Springer Professional "Technik"

Springer Professional "Wirtschaft"

Premium Partner