Skip to main content

2016 | OriginalPaper | Buchkapitel

Learning to Hash with Binary Deep Neural Network

verfasst von : Thanh-Toan Do, Anh-Dzung Doan, Ngai-Man Cheung

Erschienen in: Computer Vision – ECCV 2016

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

This work proposes deep network models and learning algorithms for unsupervised and supervised binary hashing. Our novel network design constrains one hidden layer to directly output the binary codes. This addresses a challenging issue in some previous works: optimizing non-smooth objective functions due to binarization. Moreover, we incorporate independence and balance properties in the direct and strict forms in the learning. Furthermore, we include similarity preserving property in our objective function. Our resulting optimization with these binary, independence, and balance constraints is difficult to solve. We propose to attack it with alternating optimization and careful relaxation. Experimental results on three benchmark datasets show that our proposed methods compare favorably with the state of the art.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
Alternatively, we can constrain the independence and balance on \({\mathbf B}\). This, however, makes the optimization very difficult.
 
Literatur
1.
Zurück zum Zitat Gionis, A., Indyk, P., Motwani, R.: Similarity search in high dimensions via hashing. In: VLDB (1999) Gionis, A., Indyk, P., Motwani, R.: Similarity search in high dimensions via hashing. In: VLDB (1999)
2.
Zurück zum Zitat Kulis, B., Grauman, K.: Kernelized locality-sensitive hashing for scalable image search. In: ICCV (2009) Kulis, B., Grauman, K.: Kernelized locality-sensitive hashing for scalable image search. In: ICCV (2009)
3.
Zurück zum Zitat Raginsky, M., Lazebnik, S.: Locality-sensitive binary codes from shift-invariant kernels. In: NIPS (2009) Raginsky, M., Lazebnik, S.: Locality-sensitive binary codes from shift-invariant kernels. In: NIPS (2009)
4.
Zurück zum Zitat Kulis, B., Jain, P., Grauman, K.: Fast similarity search for learned metrics. PAMI 31(2), 2143–2157 (2009)CrossRef Kulis, B., Jain, P., Grauman, K.: Fast similarity search for learned metrics. PAMI 31(2), 2143–2157 (2009)CrossRef
5.
Zurück zum Zitat Weiss, Y., Torralba, A., Fergus, R.: Spectral hashing. In: NIPS (2008) Weiss, Y., Torralba, A., Fergus, R.: Spectral hashing. In: NIPS (2008)
6.
Zurück zum Zitat Gong, Y., Lazebnik, S.: Iterative quantization: a procrustean approach to learning binary codes. In: CVPR (2011) Gong, Y., Lazebnik, S.: Iterative quantization: a procrustean approach to learning binary codes. In: CVPR (2011)
7.
Zurück zum Zitat He, K., Wen, F., Sun, J.: K-means hashing: an affinity-preserving quantization method for learning binary compact codes. In: CVPR (2013) He, K., Wen, F., Sun, J.: K-means hashing: an affinity-preserving quantization method for learning binary compact codes. In: CVPR (2013)
8.
Zurück zum Zitat Heo, J.P., Lee, Y., He, J., Chang, S.F. Yoon, S.E.: Spherical hashing. In: CVPR (2012) Heo, J.P., Lee, Y., He, J., Chang, S.F. Yoon, S.E.: Spherical hashing. In: CVPR (2012)
9.
Zurück zum Zitat Kong, W., Li, W.J.: Isotropic hashing. In: NIPS (2012) Kong, W., Li, W.J.: Isotropic hashing. In: NIPS (2012)
10.
Zurück zum Zitat Strecha, C., Bronstein, A.M., Bronstein, M.M., Fua, P.: LDAHash: improved matching with smaller descriptors. PAMI 34(1), 66–78 (2012)CrossRef Strecha, C., Bronstein, A.M., Bronstein, M.M., Fua, P.: LDAHash: improved matching with smaller descriptors. PAMI 34(1), 66–78 (2012)CrossRef
11.
Zurück zum Zitat Liu, W., Wang, J., Ji, R., Jiang, Y.G., Chang, S.F.: Supervised hashing with kernels. In: CVPR (2012) Liu, W., Wang, J., Ji, R., Jiang, Y.G., Chang, S.F.: Supervised hashing with kernels. In: CVPR (2012)
12.
Zurück zum Zitat Norouzi, M., Fleet, D.J., Salakhutdinov, R.: Hamming distance metric learning. In: NIPS (2012) Norouzi, M., Fleet, D.J., Salakhutdinov, R.: Hamming distance metric learning. In: NIPS (2012)
13.
Zurück zum Zitat Lin, G., Shen, C., Shi, Q., van den Hengel, A., Suter, D.: Fast supervised hashing with decision trees for high-dimensional data. In: CVPR (2014) Lin, G., Shen, C., Shi, Q., van den Hengel, A., Suter, D.: Fast supervised hashing with decision trees for high-dimensional data. In: CVPR (2014)
14.
Zurück zum Zitat Kulis, B., Darrell, T.: Learning to hash with binary reconstructive embeddings. In: NIPS (2009) Kulis, B., Darrell, T.: Learning to hash with binary reconstructive embeddings. In: NIPS (2009)
15.
Zurück zum Zitat Shen, F., Shen, C., Liu, W., Tao Shen, H.: Supervised discrete hashing. In: CVPR (2015) Shen, F., Shen, C., Liu, W., Tao Shen, H.: Supervised discrete hashing. In: CVPR (2015)
16.
Zurück zum Zitat Wang, J., Liu, W., Kumar, S., Chang, S.: Learning to hash for indexing big data - a survey. CoRR (2015) Wang, J., Liu, W., Kumar, S., Chang, S.: Learning to hash for indexing big data - a survey. CoRR (2015)
17.
Zurück zum Zitat Wang, J., Shen, H.T., Song, J., Ji, J.: Hashing for similarity search: a survey. CoRR (2014) Wang, J., Shen, H.T., Song, J., Ji, J.: Hashing for similarity search: a survey. CoRR (2014)
18.
Zurück zum Zitat Grauman, K., Fergus, R.: Learning binary hash codes for large-scale image search. In: Cipolla, R., Battiato, S., Farinella, G.M. (eds.) Machine Learning for Computer Vision. SCI, vol. 411, pp. 55–93. Springer, Heidelberg (2013)CrossRef Grauman, K., Fergus, R.: Learning binary hash codes for large-scale image search. In: Cipolla, R., Battiato, S., Farinella, G.M. (eds.) Machine Learning for Computer Vision. SCI, vol. 411, pp. 55–93. Springer, Heidelberg (2013)CrossRef
19.
Zurück zum Zitat Erin Liong, V., Lu, J., Wang, G., Moulin, P., Zhou, J.: Deep hashing for compact binary codes learning. In: CVPR (2015) Erin Liong, V., Lu, J., Wang, G., Moulin, P., Zhou, J.: Deep hashing for compact binary codes learning. In: CVPR (2015)
20.
Zurück zum Zitat Wang, J., Kumar, S., Chang, S.: Semi-supervised hashing for large-scale search. PAMI 34(12), 2393–2406 (2012)CrossRef Wang, J., Kumar, S., Chang, S.: Semi-supervised hashing for large-scale search. PAMI 34(12), 2393–2406 (2012)CrossRef
21.
Zurück zum Zitat Salakhutdinov, R., Hinton, G.E.: Semantic hashing. Int. J. Approximate Reasoning 50(7), 969–978 (2009)CrossRef Salakhutdinov, R., Hinton, G.E.: Semantic hashing. Int. J. Approximate Reasoning 50(7), 969–978 (2009)CrossRef
22.
Zurück zum Zitat Carreira-Perpinan, M.A., Raziperchikolaei, R.: Hashing with binary autoencoders. In: CVPR (2015) Carreira-Perpinan, M.A., Raziperchikolaei, R.: Hashing with binary autoencoders. In: CVPR (2015)
23.
Zurück zum Zitat Nocedal, J., Wright, S.J.: Numerical Optimization, 2nd edn. World Scientific, New York (2006). Chap. 17MATH Nocedal, J., Wright, S.J.: Numerical Optimization, 2nd edn. World Scientific, New York (2006). Chap. 17MATH
24.
25.
Zurück zum Zitat Krizhevsky, A.: Learning multiple layers of features from tiny images. Technical report, University of Toronto (2009) Krizhevsky, A.: Learning multiple layers of features from tiny images. Technical report, University of Toronto (2009)
26.
Zurück zum Zitat Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Guadarrama, S., Darrell, T.: Caffe: Convolutional architecture for fast feature embedding (2014). arXiv preprint: arXiv:1408.5093 Jia, Y., Shelhamer, E., Donahue, J., Karayev, S., Long, J., Girshick, R., Guadarrama, S., Darrell, T.: Caffe: Convolutional architecture for fast feature embedding (2014). arXiv preprint: arXiv:​1408.​5093
28.
Zurück zum Zitat Jégou, H., Douze, M., Schmid, C.: Product quantization for nearest neighbor search. PAMI 33(1), 117–128 (2011)CrossRef Jégou, H., Douze, M., Schmid, C.: Product quantization for nearest neighbor search. PAMI 33(1), 117–128 (2011)CrossRef
29.
Zurück zum Zitat Lowe, D.G.: Distinctive image features from scale-invariant keypoints. IJCV 60(2), 91–110 (2004)CrossRef Lowe, D.G.: Distinctive image features from scale-invariant keypoints. IJCV 60(2), 91–110 (2004)CrossRef
30.
Zurück zum Zitat Oliva, A., Torralba, A.: Modeling the shape of the scene: a holistic representation of the spatial envelope. IJCV 42(3), 145–175 (2001)CrossRefMATH Oliva, A., Torralba, A.: Modeling the shape of the scene: a holistic representation of the spatial envelope. IJCV 42(3), 145–175 (2001)CrossRefMATH
31.
Zurück zum Zitat Nguyen, V.A., Lu, J., Do, M.N.: Supervised discriminative hashing for compact binary codes. In: ACM MM (2014) Nguyen, V.A., Lu, J., Do, M.N.: Supervised discriminative hashing for compact binary codes. In: ACM MM (2014)
32.
Zurück zum Zitat Zhao, F., Huang, Y., Wang, L., Tan, T.: Deep semantic ranking based hashing for multi-label image retrieval. In: CVPR (2015) Zhao, F., Huang, Y., Wang, L., Tan, T.: Deep semantic ranking based hashing for multi-label image retrieval. In: CVPR (2015)
33.
Zurück zum Zitat Zhang, R., Lin, L., Zhang, R., Zuo, W., Zhang, L.: Bit-scalable deep hashing with regularized similarity learning for image retrieval and person re-identification. IEEE Trans. Image Process. 24(12), 4766–4779 (2015)MathSciNetCrossRef Zhang, R., Lin, L., Zhang, R., Zuo, W., Zhang, L.: Bit-scalable deep hashing with regularized similarity learning for image retrieval and person re-identification. IEEE Trans. Image Process. 24(12), 4766–4779 (2015)MathSciNetCrossRef
34.
Zurück zum Zitat Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E., Darrell, T.: DeCAF: a deep convolutional activation feature for generic visual recognition. In: ICML (2014) Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E., Darrell, T.: DeCAF: a deep convolutional activation feature for generic visual recognition. In: ICML (2014)
Metadaten
Titel
Learning to Hash with Binary Deep Neural Network
verfasst von
Thanh-Toan Do
Anh-Dzung Doan
Ngai-Man Cheung
Copyright-Jahr
2016
DOI
https://doi.org/10.1007/978-3-319-46454-1_14