Ausführungszeit und Stromverbrauch von Inferenzen künstlicher neuronaler Netze auf einem Tensorprozessor

Die jüngsten Fortschritte bei hardwarebasierten Beschleunigern für Machine Learning – insbesondere für Deep Learning – ermöglichen durch hohe Spezialisierung den Einsatz solcher Methoden auch auf resourcenbeschränkten Plattformen mit Anspruch auf eine deterministische Ausführung. Zu solchen gehören unter anderem eingebettete und Echtzeit-Systeme, die in der Regel hohen Anforderungen in Hinblick auf ihr Energie- und Laufzeitverhalten genügen müssen. Beim Design von Deep Neural Networks für solche Plattformen ist das Wissen über den Ressourcenbedarf für die Ausführung von Machine-Learning-Workloads damit von entscheidender Bedeutung. Diese Arbeit stellt einen Ansatz sowie eine praktische Implementierung vor mit dem Ziel, die Ausführungszeit und den Stromverbrauch von Convolutional Neural Networks und Fully Connected Neural Networks mit Hilfe von Vorhersagemodellen abschätzen zu können. Die Auswertung geschieht dabei auf einer handelsüblichen, eingebetteten Beschleunigerhardware für die Ausführung von Deep Neural Networks (hier: Google Coral Edge TPU).