Skip to main content

2015 | OriginalPaper | Buchkapitel

A Cost/Speed/Reliability Tradeoff to Erasing

verfasst von : Manoj Gopalkrishnan

Erschienen in: Unconventional Computation and Natural Computation

Verlag: Springer International Publishing

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

We present a KL-control treatment of the fundamental problem of erasing a bit. We introduce notions of reliability of information storage via a reliability timescale \(\tau _r\), and speed of erasing via an erasing timescale \(\tau _e\). Our problem formulation captures the tradeoff between speed, reliability, and the Kullback-Leibler (KL) cost required to erase a bit. We show that erasing a reliable bit fast costs at least \(\log 2 - \log \left( 1 - {\text {e}}^{-\frac{\tau _e}{\tau _r}}\right) > \log 2\), which goes to \(\frac{1}{2} \log \frac{2\tau _r}{\tau _e}\) when \(\tau _r>>\tau _e\).

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Fußnoten
1
Apart from their importance in approximating the behavior of real physical systems, finite Markov chains are also important to thermodynamics from a logical point of view. They may be viewed as finite models of a mathematical theory of thermodynamics. The terms “theory” and “model” are to be understood in their technical sense as used in mathematical logic. We develop this remark no further here since doing so would take us far afield.
 
2
A nat is the unit of information when logarithms are taken to the base of Euler’s constant. 1 bit \(= \log 2\) nats.
 
Literatur
3.
Zurück zum Zitat Aurell, E., Gawȩdzki, K., Mejía-Monasterio, C., Mohayaee, R., Muratore-Ginanneschi, P.: Refined second law of thermodynamics for fast random processes. J. Stat. Phys. 147(3), 487–505 (2012)CrossRefMathSciNetMATH Aurell, E., Gawȩdzki, K., Mejía-Monasterio, C., Mohayaee, R., Muratore-Ginanneschi, P.: Refined second law of thermodynamics for fast random processes. J. Stat. Phys. 147(3), 487–505 (2012)CrossRefMathSciNetMATH
5.
Zurück zum Zitat Diana, G., Bagci, G.B., Esposito, M.: Finite-time erasing of information stored in fermionic bits. Phys. Rev. E 87(1), 012111 (2013)CrossRef Diana, G., Bagci, G.B., Esposito, M.: Finite-time erasing of information stored in fermionic bits. Phys. Rev. E 87(1), 012111 (2013)CrossRef
6.
Zurück zum Zitat Dupuis, P., Ellis, R.S.: A Weak Convergence Approach to the Theory of Large Deviations, vol. 902. Wiley, New York (2011) Dupuis, P., Ellis, R.S.: A Weak Convergence Approach to the Theory of Large Deviations, vol. 902. Wiley, New York (2011)
7.
Zurück zum Zitat Dvijotham, K., Todorov, E.: A unified theory of linearly solvable optimal control. In: Artificial Intelligence (UAI), p. 1 (2011) Dvijotham, K., Todorov, E.: A unified theory of linearly solvable optimal control. In: Artificial Intelligence (UAI), p. 1 (2011)
8.
Zurück zum Zitat Esposito, M., Van den Broeck, C.: Second law and Landauer principle far from equilibrium. EPL (Europhys. Lett.) 95(4), 40004 (2011)CrossRef Esposito, M., Van den Broeck, C.: Second law and Landauer principle far from equilibrium. EPL (Europhys. Lett.) 95(4), 40004 (2011)CrossRef
9.
Zurück zum Zitat Wendell, H.F., Mitter, S.K.: Optimal control and nonlinear filtering for nondegenerate diffusion processes. Stoch. Int. J. Probab. Stoch. Processes 8(1), 63–77 (1982)MATH Wendell, H.F., Mitter, S.K.: Optimal control and nonlinear filtering for nondegenerate diffusion processes. Stoch. Int. J. Probab. Stoch. Processes 8(1), 63–77 (1982)MATH
10.
Zurück zum Zitat Föllmer, H.: Random fields and diffusion processes. In: Hennequin, P.-L. (ed.) École d’Été de Probabilités de Saint-Flour XV-XVII, 1985–87, vol. 1362, pp. 101–203. Springer, Heidelberg (1988)CrossRef Föllmer, H.: Random fields and diffusion processes. In: Hennequin, P.-L. (ed.) École d’Été de Probabilités de Saint-Flour XV-XVII, 1985–87, vol. 1362, pp. 101–203. Springer, Heidelberg (1988)CrossRef
12.
Zurück zum Zitat Horowitz, M.B.: Efficient methods for stochastic optimal control. PhD thesis, California Institute of Technology (2014) Horowitz, M.B.: Efficient methods for stochastic optimal control. PhD thesis, California Institute of Technology (2014)
13.
Zurück zum Zitat Kappen, H.J.: Linear theory for control of nonlinear stochastic systems. Phys. Rev. Lett. 95(20), 200201 (2005)CrossRefMathSciNet Kappen, H.J.: Linear theory for control of nonlinear stochastic systems. Phys. Rev. Lett. 95(20), 200201 (2005)CrossRefMathSciNet
14.
Zurück zum Zitat Kappen, H.J.: Path integrals and symmetry breaking for optimal control theory. J. Stat. Mech. Theor. Exp. 2005(11), P11011 (2005)CrossRefMathSciNet Kappen, H.J.: Path integrals and symmetry breaking for optimal control theory. J. Stat. Mech. Theor. Exp. 2005(11), P11011 (2005)CrossRefMathSciNet
15.
Zurück zum Zitat Kappen, H.J., Gómez, V., Opper, M.: Optimal control as a graphical model inference problem. Mach. Learn. 87(2), 159–182 (2012)CrossRefMathSciNetMATH Kappen, H.J., Gómez, V., Opper, M.: Optimal control as a graphical model inference problem. Mach. Learn. 87(2), 159–182 (2012)CrossRefMathSciNetMATH
17.
Zurück zum Zitat Laughlin, S.B., de Ruyter van Steveninck, R.R., Anderson, J.C.: The metabolic cost of neural information. Nat. Neurosci. 1(1), 36–41 (1998)CrossRef Laughlin, S.B., de Ruyter van Steveninck, R.R., Anderson, J.C.: The metabolic cost of neural information. Nat. Neurosci. 1(1), 36–41 (1998)CrossRef
18.
Zurück zum Zitat Mudge, T.: Power: a first-class architectural design constraint. Computer 34(4), 52–58 (2001)CrossRef Mudge, T.: Power: a first-class architectural design constraint. Computer 34(4), 52–58 (2001)CrossRef
19.
Zurück zum Zitat Reeb, D., Wolf, M.M.: An improved Landauer principle with finite-size corrections. New J. Phys. 16(10), 103011 (2014)CrossRef Reeb, D., Wolf, M.M.: An improved Landauer principle with finite-size corrections. New J. Phys. 16(10), 103011 (2014)CrossRef
20.
Zurück zum Zitat Salamon, P., Nitzan, A.: Finite time optimizations of a Newton’s law carnot cycle. J. Chem. Phys. 74, 3546 (1981)CrossRefMathSciNet Salamon, P., Nitzan, A.: Finite time optimizations of a Newton’s law carnot cycle. J. Chem. Phys. 74, 3546 (1981)CrossRefMathSciNet
21.
Zurück zum Zitat Schrödinger, E.: Uber die umkehrung der naturgesetze, sitzung ber preuss. Akad. Wissen. Berlin Phys. Math., 144 (1931) Schrödinger, E.: Uber die umkehrung der naturgesetze, sitzung ber preuss. Akad. Wissen. Berlin Phys. Math., 144 (1931)
22.
Zurück zum Zitat Stulp, F., Theodorou, E.A., Schaal, S.: Reinforcement learning with sequences of motion primitives for robust manipulation. IEEE Trans. Rob. 28(6), 1360–1370 (2012)CrossRef Stulp, F., Theodorou, E.A., Schaal, S.: Reinforcement learning with sequences of motion primitives for robust manipulation. IEEE Trans. Rob. 28(6), 1360–1370 (2012)CrossRef
24.
Zurück zum Zitat Szilard, L.: On the reduction of entropy in a thermodynamic system by the interference of intelligent beings. Z Phys. 53, 840–856 (1929)CrossRefMATH Szilard, L.: On the reduction of entropy in a thermodynamic system by the interference of intelligent beings. Z Phys. 53, 840–856 (1929)CrossRefMATH
25.
Zurück zum Zitat Theodorou, E., Todorov, E.: Relative entropy and free energy dualities: connections to path integral and KL control. In: CDC, pp. 1466–1473 (2012) Theodorou, E., Todorov, E.: Relative entropy and free energy dualities: connections to path integral and KL control. In: CDC, pp. 1466–1473 (2012)
26.
Zurück zum Zitat Theodorou, E.A.: Iterative path integral stochastic optimal control: Theory and applications to motor control. PhD thesis, University of Southern California (2011) Theodorou, E.A.: Iterative path integral stochastic optimal control: Theory and applications to motor control. PhD thesis, University of Southern California (2011)
27.
Zurück zum Zitat Todorov, E.: Efficient computation of optimal actions. Proc. National Acad. Sci. 106(28), 11478–11483 (2009)CrossRefMATH Todorov, E.: Efficient computation of optimal actions. Proc. National Acad. Sci. 106(28), 11478–11483 (2009)CrossRefMATH
28.
Zurück zum Zitat van den Broek, B., Wiegerinck, W., Kappen, B.: Graphical model inference in optimal control of stochastic multi-agent systems. J. Artif. Intell. Res. (JAIR) 32, 95–122 (2008)MATH van den Broek, B., Wiegerinck, W., Kappen, B.: Graphical model inference in optimal control of stochastic multi-agent systems. J. Artif. Intell. Res. (JAIR) 32, 95–122 (2008)MATH
29.
Zurück zum Zitat von Neumann, J.: Theory of Self-reproducing Automata. University of Illinois Press, Urbana (1966). lecture delivered at University of Illinois in December (1949) von Neumann, J.: Theory of Self-reproducing Automata. University of Illinois Press, Urbana (1966). lecture delivered at University of Illinois in December (1949)
30.
Zurück zum Zitat Wiegerinck, W., van den Broek, B., Kappen, H.: Stochastic optimal control in continuous space-time multi-agent systems. arXiv preprint arXiv:1206.6866 (2012) Wiegerinck, W., van den Broek, B., Kappen, H.: Stochastic optimal control in continuous space-time multi-agent systems. arXiv preprint arXiv:​1206.​6866 (2012)
31.
Zurück zum Zitat Wissner-Gross, A.D., Freer, C.E.: Causal entropic forces. Phys. Rev. Lett. 110(16), 168702 (2013)CrossRef Wissner-Gross, A.D., Freer, C.E.: Causal entropic forces. Phys. Rev. Lett. 110(16), 168702 (2013)CrossRef
32.
Zurück zum Zitat Zulkowski, P.R., DeWeese, M.R.: Optimal finite-time erasure of a classical bit. Physical Review E 89(5), 052140 (2014)CrossRef Zulkowski, P.R., DeWeese, M.R.: Optimal finite-time erasure of a classical bit. Physical Review E 89(5), 052140 (2014)CrossRef
33.
Zurück zum Zitat Zwanzig, R.: Nonequilibrium Statistical Mechanics. Oxford University Press, USA (2001)MATH Zwanzig, R.: Nonequilibrium Statistical Mechanics. Oxford University Press, USA (2001)MATH
Metadaten
Titel
A Cost/Speed/Reliability Tradeoff to Erasing
verfasst von
Manoj Gopalkrishnan
Copyright-Jahr
2015
DOI
https://doi.org/10.1007/978-3-319-21819-9_14

Premium Partner