Skip to main content

2016 | OriginalPaper | Buchkapitel

Feature Pooling Using Spatio-Temporal Constrain for Video Summarization and Retrieval

verfasst von : Jie Ren, Jinchang Ren

Erschienen in: Advanced Multimedia and Ubiquitous Engineering

Verlag: Springer Singapore

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

A content-based video retrieval via visual feature pooling is proposed in this paper. Since these visual words represent local features extracted from frame images, spatio-temporal constrains are applied to solve the ambiguity of the model towards effective retrieval of semantic video clips. Both shot level and segment level processing are employed, and the latter is found more robust in dealing with complex scenes where accurate video segmentation may fail. Our experimental results have shown that the constrained scheme help to improve 5 % average matching accuracy. In addition, it suggests that summarized videos at 25–30 % of original size can still maintain a viewing quality of 70–80 % towards fast content delivery.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Cotsaces C, Nikolaidis N, Pitas I (2006) Video shot detection and condensed representation: a review. IEEE Signal Proc Mag 23(2):28–37CrossRef Cotsaces C, Nikolaidis N, Pitas I (2006) Video shot detection and condensed representation: a review. IEEE Signal Proc Mag 23(2):28–37CrossRef
2.
Zurück zum Zitat Ren J, Jiang J, Chen J (2009) Shot boundary detection in MPEG videos using local and global indicators. IEEE Trans Circ Syst Video Tech 19(8):1234–1238 Ren J, Jiang J, Chen J (2009) Shot boundary detection in MPEG videos using local and global indicators. IEEE Trans Circ Syst Video Tech 19(8):1234–1238
3.
Zurück zum Zitat Ren J, Jiang J (2009) Hierarchical modelling and adaptive clustering for real-time summarization of rush videos. IEEE Trans Multimedia 11(5):906–917CrossRef Ren J, Jiang J (2009) Hierarchical modelling and adaptive clustering for real-time summarization of rush videos. IEEE Trans Multimedia 11(5):906–917CrossRef
4.
Zurück zum Zitat Yuan Y, Wang H, Xiao et al (2007) A formal study of shot boundary detection. IEEE Trans Circ Syst Video Tech 17(2):168–186 Yuan Y, Wang H, Xiao et al (2007) A formal study of shot boundary detection. IEEE Trans Circ Syst Video Tech 17(2):168–186
5.
Zurück zum Zitat Ngo CW, Ma YF, Zhang H-J (2005) Video summarization and scene detection by graph modeling. IEEE Trans Circ Syst Video Tech 15(2):296–305CrossRef Ngo CW, Ma YF, Zhang H-J (2005) Video summarization and scene detection by graph modeling. IEEE Trans Circ Syst Video Tech 15(2):296–305CrossRef
6.
Zurück zum Zitat Chang S-F, Vetro A (2005) Video adaptation: concepts, technologies, and open issues. Proc IEEE 93(1):148–158CrossRef Chang S-F, Vetro A (2005) Video adaptation: concepts, technologies, and open issues. Proc IEEE 93(1):148–158CrossRef
7.
Zurück zum Zitat Hanjalic A, Xu L-Q (2005) Affective video content representation and modeling. IEEE Trans Multimedia 7(1):143–154CrossRef Hanjalic A, Xu L-Q (2005) Affective video content representation and modeling. IEEE Trans Multimedia 7(1):143–154CrossRef
8.
Zurück zum Zitat Qin J, Yung HC (2010) Scene categorization via contextual visual words. Pattern recognition Qin J, Yung HC (2010) Scene categorization via contextual visual words. Pattern recognition
9.
Zurück zum Zitat Everingham M, Gool LV, Williams CKI, Winn J, Zisserman A (2010) The pascal visual object classes (VOC) challenge. In: Int J Comput Vis (IJCV) Everingham M, Gool LV, Williams CKI, Winn J, Zisserman A (2010) The pascal visual object classes (VOC) challenge. In: Int J Comput Vis (IJCV)
10.
Zurück zum Zitat Tuytelaars T, Lampert CH, Blaschko MB, Buntine W (2010) Unsupervised object discovery: a comparison. IJCV Tuytelaars T, Lampert CH, Blaschko MB, Buntine W (2010) Unsupervised object discovery: a comparison. IJCV
11.
Zurück zum Zitat van Gemert JC, Veenman CJ, Smeulders AWM, Geusebroek JM (2010) Visual word ambiguity. IEEE Trans, PAMI van Gemert JC, Veenman CJ, Smeulders AWM, Geusebroek JM (2010) Visual word ambiguity. IEEE Trans, PAMI
12.
Zurück zum Zitat Rapantzikos, K., Tsapatsoulis, N., Avrithis, Y., and Kollias, S. 2010, Spatiotemporal Saliency for Video Classification, Signal Processing: Image Communication Rapantzikos, K., Tsapatsoulis, N., Avrithis, Y., and Kollias, S. 2010, Spatiotemporal Saliency for Video Classification, Signal Processing: Image Communication
13.
Zurück zum Zitat Zhang J et al (2007) Local feature and kernels for classification of textures and object categories: a comprehensive study. IJCV 73(2):213–238CrossRef Zhang J et al (2007) Local feature and kernels for classification of textures and object categories: a comprehensive study. IJCV 73(2):213–238CrossRef
14.
Zurück zum Zitat Spyrou E, Tolias G, Mylonas Ph, Avrithis Y (2009) Concept detection and keyframe extraction using a visual thesaurus. Multimed Tools Appl 41(3):337–373 Spyrou E, Tolias G, Mylonas Ph, Avrithis Y (2009) Concept detection and keyframe extraction using a visual thesaurus. Multimed Tools Appl 41(3):337–373
15.
Zurück zum Zitat Tuytelaars T, Mikolajczyk K (2008) Local invariant feature detectors: a survey. Found Tr Comput Gr Vis 3(3):177–280CrossRef Tuytelaars T, Mikolajczyk K (2008) Local invariant feature detectors: a survey. Found Tr Comput Gr Vis 3(3):177–280CrossRef
16.
Zurück zum Zitat Jiang J, Qiu K, Xiao G (2008) A block-edge-pattern-based content descriptor in DCT domain. IEEE Trans Circ Syst Video Tech 18(7):994–998 Jiang J, Qiu K, Xiao G (2008) A block-edge-pattern-based content descriptor in DCT domain. IEEE Trans Circ Syst Video Tech 18(7):994–998
Metadaten
Titel
Feature Pooling Using Spatio-Temporal Constrain for Video Summarization and Retrieval
verfasst von
Jie Ren
Jinchang Ren
Copyright-Jahr
2016
Verlag
Springer Singapore
DOI
https://doi.org/10.1007/978-981-10-1536-6_50

Neuer Inhalt