Skip to main content

2017 | OriginalPaper | Buchkapitel

Image-Text Dual Model for Small-Sample Image Classification

verfasst von : Fangyi Zhu, Xiaoxu Li, Zhanyu Ma, Guang Chen, Pai Peng, Xiaowei Guo, Jen-Tzung Chien, Jun Guo

Erschienen in: Computer Vision

Verlag: Springer Singapore

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Small-sample classification is a challenging problem in computer vision and has many applications. In this paper, we propose an image-text dual model to improve the classification performance on small-sample dataset. The proposed dual model consists of two sub-models, an image classification model and a text classification model. After training the sub-models respectively, we design a novel method to fuse the two sub-models rather than simply combining the two models’ results. Our image-text dual model aims to utilize the text information to overcome the problem of training deep models on small-sample datasets. To demonstrate the effectiveness of the proposed dual model, we conduct extensive experiments on LabelMe and UIUC-Sports. Experimental results show that our model is superior to other models. In conclusion, our proposed model can achieve the highest image classification accuracy among all the referred models on LabelMe and UIUC-Sports.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Bishop, C.M.: Pattern Recognition and Machine Learning. Springer, New York (2006)MATH Bishop, C.M.: Pattern Recognition and Machine Learning. Springer, New York (2006)MATH
2.
Zurück zum Zitat Blei, D.M., Ng, A.Y., Jordan, M.I.: Latent dirichlet allocation. JMLR 3(1), 993–1022 (2003)MATH Blei, D.M., Ng, A.Y., Jordan, M.I.: Latent dirichlet allocation. JMLR 3(1), 993–1022 (2003)MATH
3.
Zurück zum Zitat Hare, J.S., Lewis, P.H.: Automatically annotating the MIR Flickr dataset: experimental protocols, openly available data and semantic spaces. In: ACM MIR, pp. 547–556. ACM (2010) Hare, J.S., Lewis, P.H.: Automatically annotating the MIR Flickr dataset: experimental protocols, openly available data and semantic spaces. In: ACM MIR, pp. 547–556. ACM (2010)
4.
Zurück zum Zitat Hofmann, T.: Probabilistic latent semantic indexing. In: ACM SIGIR, pp. 50–57. ACM (1999) Hofmann, T.: Probabilistic latent semantic indexing. In: ACM SIGIR, pp. 50–57. ACM (1999)
5.
Zurück zum Zitat Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: NIPS, pp. 1097–1105 (2012) Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: NIPS, pp. 1097–1105 (2012)
6.
Zurück zum Zitat Larochelle, H., Lauly, S.: A neural autoregressive topic model. In: NIPS, pp. 2708–2716 (2012) Larochelle, H., Lauly, S.: A neural autoregressive topic model. In: NIPS, pp. 2708–2716 (2012)
7.
Zurück zum Zitat Le, Q., Mikolov, T.: Distributed representations of sentences and documents. In: ICML, pp. 1188–1196 (2014) Le, Q., Mikolov, T.: Distributed representations of sentences and documents. In: ICML, pp. 1188–1196 (2014)
8.
Zurück zum Zitat Li, L., Li, F.: What, where and who? classifying events by scene and object recognition. In: IEEE ICCV, pp. 1–8. IEEE (2007) Li, L., Li, F.: What, where and who? classifying events by scene and object recognition. In: IEEE ICCV, pp. 1–8. IEEE (2007)
9.
Zurück zum Zitat Li, X., Li, R., Feng, F., Cao, J., Wang, X.: Multi-view supervised latent dirichlet allocation. Acta Electron. Sin. 42(10), 2040–2044 (2014) Li, X., Li, R., Feng, F., Cao, J., Wang, X.: Multi-view supervised latent dirichlet allocation. Acta Electron. Sin. 42(10), 2040–2044 (2014)
10.
Zurück zum Zitat Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., Zitnick, C.L.: Microsoft COCO: common objects in context. In: Fleet, D., Pajdla, T., Schiele, B., Tuytelaars, T. (eds.) ECCV 2014. LNCS, vol. 8693, pp. 740–755. Springer, Cham (2014). https://doi.org/10.1007/978-3-319-10602-1_48 Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollár, P., Zitnick, C.L.: Microsoft COCO: common objects in context. In: Fleet, D., Pajdla, T., Schiele, B., Tuytelaars, T. (eds.) ECCV 2014. LNCS, vol. 8693, pp. 740–755. Springer, Cham (2014). https://​doi.​org/​10.​1007/​978-3-319-10602-1_​48
11.
Zurück zum Zitat Mikolov, T., Chen, K., Corrado, G., Dean, J.: Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781 (2013) Mikolov, T., Chen, K., Corrado, G., Dean, J.: Efficient estimation of word representations in vector space. arXiv preprint arXiv:​1301.​3781 (2013)
12.
Zurück zum Zitat Oliva, A., Torralba, A.: Modeling the shape of the scene: a holistic representation of the spatial envelope. IJCV 42(3), 145–175 (2001)CrossRefMATH Oliva, A., Torralba, A.: Modeling the shape of the scene: a holistic representation of the spatial envelope. IJCV 42(3), 145–175 (2001)CrossRefMATH
13.
Zurück zum Zitat Pan, S.J., Yang, Q.: A survey on transfer learning. IEEE TKDE 22(10), 1345–1359 (2010) Pan, S.J., Yang, Q.: A survey on transfer learning. IEEE TKDE 22(10), 1345–1359 (2010)
14.
Zurück zum Zitat Putthividhya, D., Attias, H.T., Nagarajan, S.S.: Topic regression multi-modal latent dirichlet allocation for image annotation. In: IEEE CVPR, pp. 3408–3415. IEEE (2010) Putthividhya, D., Attias, H.T., Nagarajan, S.S.: Topic regression multi-modal latent dirichlet allocation for image annotation. In: IEEE CVPR, pp. 3408–3415. IEEE (2010)
15.
Zurück zum Zitat Simonyan, K., Zisserman, A.: Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556 (2014) Simonyan, K., Zisserman, A.: Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:​1409.​1556 (2014)
16.
Zurück zum Zitat Zheng, Y., Zhang, Y., Larochelle, H.: Topic modeling of multimodal data: an autoregressive approach. In: IEEE CVPR, pp. 1370–1377 (2014) Zheng, Y., Zhang, Y., Larochelle, H.: Topic modeling of multimodal data: an autoregressive approach. In: IEEE CVPR, pp. 1370–1377 (2014)
17.
Zurück zum Zitat Zheng, Y., Zhang, Y., Larochelle, H.: A deep and autoregressive approach for topic modeling of multimodal data. IEEE TPAMI 38(6), 1056–1069 (2016)CrossRef Zheng, Y., Zhang, Y., Larochelle, H.: A deep and autoregressive approach for topic modeling of multimodal data. IEEE TPAMI 38(6), 1056–1069 (2016)CrossRef
18.
Zurück zum Zitat Zhou, B., Lapedriza, A., Xiao, J., Torralba, A., Oliva, A.: Learning deep features for scene recognition using places database. In: NIPS, pp. 487–495 (2014) Zhou, B., Lapedriza, A., Xiao, J., Torralba, A., Oliva, A.: Learning deep features for scene recognition using places database. In: NIPS, pp. 487–495 (2014)
Metadaten
Titel
Image-Text Dual Model for Small-Sample Image Classification
verfasst von
Fangyi Zhu
Xiaoxu Li
Zhanyu Ma
Guang Chen
Pai Peng
Xiaowei Guo
Jen-Tzung Chien
Jun Guo
Copyright-Jahr
2017
Verlag
Springer Singapore
DOI
https://doi.org/10.1007/978-981-10-7302-1_46