Skip to main content

2018 | OriginalPaper | Buchkapitel

Deeper Image Quality Transfer: Training Low-Memory Neural Networks for 3D Images

verfasst von : Stefano B. Blumberg, Ryutaro Tanno, Iasonas Kokkinos, Daniel C. Alexander

Erschienen in: Medical Image Computing and Computer Assisted Intervention – MICCAI 2018

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

In this paper we address the memory demands that come with the processing of 3-dimensional, high-resolution, multi-channeled medical images in deep learning. We exploit memory-efficient backpropagation techniques, to reduce the memory complexity of network training from being linear in the network’s depth, to being roughly constant – permitting us to elongate deep architectures with negligible memory increase. We evaluate our methodology in the paradigm of Image Quality Transfer, whilst noting its potential application to various tasks that use deep learning. We study the impact of depth on accuracy and show that deeper models have more predictive power, which may exploit larger training sets. We obtain substantially better results than the previous state-of-the-art model with a slight memory increase, reducing the root-mean-squared-error by 13%. Our code is publicly available.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Literatur
1.
Zurück zum Zitat Tanno, R., et al.: Bayesian image quality transfer with CNNs: exploring uncertainty in dMRI super-resolution. In: MICCAI (2017) Tanno, R., et al.: Bayesian image quality transfer with CNNs: exploring uncertainty in dMRI super-resolution. In: MICCAI (2017)
2.
Zurück zum Zitat Milletari, F., et al.: V-net: fully convolutional neural networks for volumetric medical image segmentation. In: 3DV, pp. 565–571 (2016) Milletari, F., et al.: V-net: fully convolutional neural networks for volumetric medical image segmentation. In: 3DV, pp. 565–571 (2016)
3.
Zurück zum Zitat Choromanska, A., et al.: The loss surfaces of multilayer networks. In: AISTATS (2015) Choromanska, A., et al.: The loss surfaces of multilayer networks. In: AISTATS (2015)
4.
Zurück zum Zitat He, K., et al.: Deep residual learning for image recognition. In: CVPR (2016) He, K., et al.: Deep residual learning for image recognition. In: CVPR (2016)
6.
Zurück zum Zitat Chang, B., et al.: Reversible architectures for arbitrarily deep residual neural networks. In: AAAI (2018) Chang, B., et al.: Reversible architectures for arbitrarily deep residual neural networks. In: AAAI (2018)
7.
Zurück zum Zitat Gomez, A., et al.: The reversible residual network: backpropagation without storing activation. In: NIPS (2017) Gomez, A., et al.: The reversible residual network: backpropagation without storing activation. In: NIPS (2017)
8.
Zurück zum Zitat Alexander, D.: Image quality transfer and applications in diffusion MRI. NeuroImage 152, 283–298 (2017)CrossRef Alexander, D.: Image quality transfer and applications in diffusion MRI. NeuroImage 152, 283–298 (2017)CrossRef
9.
Zurück zum Zitat Kamnitsas, K.: Efficient multi-scale 3D CNN with fully connected crf for accurate brain lesion segmentation. Med. Image Anal. 36, 61–78 (2017)CrossRef Kamnitsas, K.: Efficient multi-scale 3D CNN with fully connected crf for accurate brain lesion segmentation. Med. Image Anal. 36, 61–78 (2017)CrossRef
10.
Zurück zum Zitat Wolterink, J.: Deep MR to CT synthesis using unpaired data. SASHIM I, 14–22 (2017) Wolterink, J.: Deep MR to CT synthesis using unpaired data. SASHIM I, 14–22 (2017)
11.
Zurück zum Zitat Yang, X., et al.: Fast predictive image registration. In: DLMIA (2016) Yang, X., et al.: Fast predictive image registration. In: DLMIA (2016)
12.
Zurück zum Zitat Sotiropoulos, S.: Advances in diffusion MRI acquisition and processing in the human connectome project. Neuroimage 80, 125–143 (2013)CrossRef Sotiropoulos, S.: Advances in diffusion MRI acquisition and processing in the human connectome project. Neuroimage 80, 125–143 (2013)CrossRef
13.
Zurück zum Zitat Paszke, A., et al.: Automatic differentiation in PyTorch (2017) Paszke, A., et al.: Automatic differentiation in PyTorch (2017)
14.
Zurück zum Zitat He, K., et al.: Delving deep into rectifiers: surpassing human-level performance on imagenet classification. In: ICCV (2015) He, K., et al.: Delving deep into rectifiers: surpassing human-level performance on imagenet classification. In: ICCV (2015)
15.
Zurück zum Zitat Kingma, D., Ba, J.: Adam: a method for stochastic optimization. In: ICLR (2015) Kingma, D., Ba, J.: Adam: a method for stochastic optimization. In: ICLR (2015)
Metadaten
Titel
Deeper Image Quality Transfer: Training Low-Memory Neural Networks for 3D Images
verfasst von
Stefano B. Blumberg
Ryutaro Tanno
Iasonas Kokkinos
Daniel C. Alexander
Copyright-Jahr
2018
DOI
https://doi.org/10.1007/978-3-030-00928-1_14

Premium Partner