Saving Memory Space in Deep Neural Networks by Recomputing: A Survey

Das Kapitel geht dem drängenden Problem der Speichernutzung in tiefen neuronalen Netzwerken, insbesondere während des Trainings, nach. Es werden verschiedene Methoden eingeführt, um Speicherplatz durch Neuberechnung von Aktivierungen zu reduzieren, wie Matrixinversion und Umkehrung von Windungen. Darüber hinaus wird in diesem Kapitel die Verwendung von Verknüpfungen in Residualnetzwerken untersucht, um reversible Berechnungen durchzuführen, die eine effiziente Speicherverwaltung ermöglichen. Diese Techniken sparen nicht nur Speicher, sondern bieten auch potenzielle Energieeinsparungen, wodurch der Trainingsprozess effizienter wird. Das Kapitel bietet eine gründliche Analyse der einzelnen Methoden, hebt ihre Vorteile und Herausforderungen hervor und bietet Einblicke, wie diese Techniken weiter optimiert werden können. Dieses Kapitel befasst sich mit den hohen Energiekosten für die Ausbildung tiefer neuronaler Netzwerke und bietet daher wertvolle Lösungen für Praktiker und Forscher, die darauf abzielen, die Effizienz ihrer Modelle zu steigern.