Skip to main content
Top

2023 | OriginalPaper | Chapter

4. Deep Learning

Authors : Carsten Lanquillon, Sigurd Schacht

Published in: Knowledge Science – Grundlagen

Publisher: Springer Fachmedien Wiesbaden

Activate our intelligent search to find suitable subject content or patents.

search-config
loading …

Zusammenfassung

Deep Learning verschiebt immer weiter die Grenzen dessen, was wir im Kontext der Künstlichen Intelligenz für möglich gehalten haben. Doch was genau steckt hinter dieser Deep-Learning-Revolution? Dieses Kapitel gibt einen Einblick in die Funktionsweise und den Aufbau künstlicher neuronaler Netze als den grundlegenden Baustein aller Deep-Learning-Ansätze. Die Vielzahl an Deep-Learning-Modellen in Veröffentlichungen und als Treiber in angebotenden Diensten und Produkten und deren Möglichkeiten und Grenzen können in der Folge besser eingeordnet und nachvollzogen werden.

Dont have a licence yet? Then find out more about our products and how to get one now:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Footnotes
1
Der Begriff Konnektionismus deutet darauf hin, dass es um viele miteinander verbundene Neuronen geht. Der Name stammt aus dem Bereich der Kybernetik und wurde im Rahmen der KI insbesondere auch zur Abgrenzung von symbolischen Ansätzen verwendet (siehe Abschn. 2.​2).
 
2
Eine Hyperebene ist die Verallgemeinerung einer Ebene für höherdimensionale Räume. Im zweidimensionalen Raum sprechen wir von einer Geraden.
 
3
Diese Einschränkung gilt nicht für den Prozess der Gewichtsanpassung, bei dem Informationen gezielt rückwärts durch das Netz geschickt werden (siehe Abschn. 4.2.4).
 
4
Die Beweise beschränken sich oft auf Riemann-integrierbare Funktionen [92] oder Borel-messbare Funktionen [75].
 
5
In vielen Darstellungen ist mit der sigmoiden Funktion, oft symbolisiert mit \(\sigma \), ausschließlich die logistische sigmoide Funktion gemeint, wie auch bei der Darstellung rekurrenter neuronaler Netze (RNNs) in Abschn. 4.3.3. Die tanh-Funktion, deren Verlauf auch sigmoid ist, wird in diesen Fällen zur Unterscheidung direkt namentlich genannt.
 
6
Der Sachverhalt mag auf den ersten Blick unbedeutend erscheinen, ist aber für die Durchführung eines Gradientenabstiegsverfahrens sehr bedeutsam und kann sich entscheidend auf das Ergebnis auswirken [12].
 
7
An dieser Stelle gehen wir davon aus, dass im Rahmen einer Projektdurchführung etwa nach CRISP-DM oder DASC-PM eine Datenaufbereitung stattgefunden hat, die den Anforderungen neuronaler Netze entspricht. Das bedeutet konkret, dass nach geeignetem Feature Encoding und Engineering ausschließlich numerische Werte vorliegen und die Daten bereinigt sind, also keine fehlenden Werte enthalten und Ausreißer bei Bedarf adäquat behandelt wurden (siehe Abschn. 3.​4.​1).
 
8
Die Ableitung der ReLU-Funktion ist an der Stelle 0 nicht definiert. In der Anwendung ist es sinnvoll, einen plausiblen Wert festzulegen. Wir verwenden hier den Wert 0 als natürliche Fortsetzung der Funktion von links.
 
9
Die Abkürzung FNN ist weitaus weniger geläufig als die im Anschluss verwendeten Kürzel CNN für Convolutional Neural Networks und RNN für Recurrent Neural Networks.
 
10
Vincent Dumoulin und Francesco Visin geben eine kompakte Übersicht über die Berechnung der diskreten Faltung bei CNN und die Einflüsse der verschiedenen Parameter [42].
 
11
Die Aufzählungsnummern entsprechen den Nummern in den blauen Kreisen in Abb. 4.24, rechts.
 
12
Die Nutzung großer Sprachmodelle (engl. large language models, LLMs), die nach dem Pre-Training meist direkt ohne weiteres Fine-Tuning über Prompts angesprochen werden, um eine Aufgabe zu lösen, führte in den vergangenen Jahren sogar zu einem neuen Machine-Learning-Paradigma, dem sogenannten Prompt-based Learning [107].
 
Metadata
Title
Deep Learning
Authors
Carsten Lanquillon
Sigurd Schacht
Copyright Year
2023
DOI
https://doi.org/10.1007/978-3-658-41689-8_4

Premium Partner