Mathematik für Informatik und Data Science

Ziel des Buches ist es, alle wichtigen Erkenntnisse aus Analysis, Linearer Algebra, Kombinatorik und Stochastik aus minimalen Grundannahmen, den Axiomen, durch logisches Schließen herzuleiten. Hierzu wird eine spezielle mathematisch-logische Sprache benötigt, die als formalisierte abstrakte und dadurch präzisere Variante der Alltagssprache verstanden werden kann. In diesem Kapitel wird hierzu das Fundament gelegt, wobei wir auf der umgangssprachlichen Ebene starten, um uns dann der formalen mathematisch-logischen Sprache zu nähern. Wir definieren zunächst Mengen und Listen beliebiger Dinge (z. B. Zahlen) als grundlegende mathematische Entitäten. Darauf aufbauend sind Relationen spezielle Mengen von Listen, die Beziehungen zwischen Dingen ausdrücken. Schließlich sind Funktionen spezielle Relationen zwischen Definitionsmengen und Bildmengen, die jedem Objekt der Definitionsmenge genau ein Objekt der Bildmenge zuordnen. Danach definieren wir Notationen, um logische Aussagen über solche Dinge auszudrücken, und nähern uns dem Begriff einer formalen Theorie als System aus Definitionen, Axiomen, Sätzen und Beweisen. Wir lernen, wie man mit Wahrheitstabellen prüfen kann, ob logische Aussagen wahr sind. Damit können wir auch komplexere Denk- und Beweistechniken wie z. B. Modus ponens, Äquivalenzbeweis und vollständige Induktion verstehen und deren Korrektheit nachweisen. Diese Denk- und Beweistechniken werden dann in den folgenden Kapiteln exzessiv benutzt, um formale Theorien über das Rechnen mit Zahlen, Vektoren und Wahrscheinlichkeiten aufzubauen.

Hier wird der für die Analysis grundlegende Begriff des Grenzwertes von Zahlenfolgen definiert. Hierfür benötigen wir die etwas umständliche „Epsilon-Notation“, welche über den Abstand der Zahlenfolge vom behaupteten Grenzwert argumentiert, um zu ermitteln, ob eine Zahlenfolge entweder konvergiert oder divergiert. Um diese umständliche Notation so weit wie möglich zu vermeiden, leiten wir dann Rechenregeln her, mit denen wir Grenzwerte von komplizierten Zahlenfolgen nach Umformung aus bereits bekannten einfacheren Grenzwerten bestimmen können. Die gängige Technik ist es, dabei eine Zahlenfolge so umzuformen, dass sie nur noch aus Konstanten und Nullfolgen (mit Grenzwert 0) besteht, sodass man das Ergebnis mit den Rechenregeln einfach ablesen kann. Im zweiten Teil des Kapitels werden Reihen behandelt, welche als Summen über Zahlenfolgen definiert werden. Wir sehen, dass die Werte von Reihen ebenfalls als Grenzwerte von (Teilsummen-)Folgen verstanden werden können. Damit können wir unsere Rechenregeln für die Grenzwerte von Zahlenfolgen auch auf Reihen anwenden. Als wichtiges Beispiel lernen wir die geometrische Reihe kennen, welche man häufig benutzt, um über das Majoranten- und Minorantenkriterium andere kompliziertere Reihen abschätzen zu können. Abschließend behandeln wir das Wurzelkriterium, mit dem man relativ bequem Aussagen zur Konvergenz oder Divergenz von Reihen machen kann.

Hier behandeln wir zunächst Polynome und rationale Funktionen, zwei wichtige Funktionsklassen, die mit den vier Grundrechenoperationen (\(+,-,\cdot ,:\)) auskommen und somit von digitalen Computern berechnet werden können. Zunächst behandeln wir Polynome, die sogar ohne Division auskommen. Wir lernen einige Standardpolynome kennen (Gerade, Parabel, kubisches Polynom) und diskutieren Nullstellen und deren Vielfachheit. Dann definieren wir Polynomaddition, -subtraktion, -multiplikation und -Division und stellen fest, dass die Menge aller Polynome fast (aber leider nicht ganz) einen Körper bildet. Da bei der Polynomdivision das Ergebnis meist kein Polynom ist (sondern ein Rest übrig bleiben kann), existiert im Allgemeinen kein Inverses bzgl. der Polynommultiplikation. Deshalb bilden Polynome „nur“ einen sogenannten Ring, was ein Körper ohne Division ist. Weiter lernen wir, dass die Polynommultiplikation effizient als sogenannte Faltungsoperation dargestellt werden kann. Schließlich leiten wir den Fundamentalsatz der Algebra her, wonach ein Polynom vom Grad n immer genau n komplexe Nullstellen besitzt und als Produkt der entsprechenden Linearfaktoren geschrieben werden kann. Als Erweiterung von Polynomen bilden rationale Funktionen (mit Division) wiederum einen vollwertigen Körper. Abschließend definieren wir die Begriffe Polstelle, Monotonie und Stetigkeit. Stetigkeit drückt aus, dass eine Funktion ohne Absetzen des Stiftes gezeichnet werden kann. Um dies mathematisch sauber zu definieren, verallgemeinern wir den Grenzwertbegriff von Folgen auf Funktionen.

In diesem Kapitel definieren wir den für die Differentialrechnung zentralen Begriff der Ableitung. Die Ableitung einer Funktion entspricht dabei ihrer Tangentensteigung, die als Grenzwert des Differenzenquotienten (oder der Sekantensteigung) definiert werden kann. Wir diskutieren den Zusammenhang zwischen Differenzierbarkeit und Stetigkeit und lernen einen Katalog von elementaren Ableitungen einfacher Funktionen sowie von Ableitungsregeln wie Produktregel, Quotientenregel und Kettenregel kennen. Wir definieren Ableitungen höherer Ordnung (als Ableitungen von Ableitungen) und diskutieren notwendige und hinreichende Bedingungen für Maxima und Minima von Funktionen. Dann leiten wir die Mittelwertsätze und den Satz von Taylor her, nachdem man differenzierbare Funktionen beliebig genau als sogenannte Taylor-Polynome darstellen kann (und damit mit Computern berechnen kann). Abschließend behandeln wir den Zusammenhang zwischen der Ableitung und der (konvexen oder konkaven) Krümmung und Monotonie von Funktionskurven sowie der Rolle von Sattel- und Wendepunkten.

Dieses Kapitel führt zunächst den Begriff der Stammfunktion (bzw. des Aufleitens) als Umkehrung der Ableitung ein. Danach wird mit derselben Symbolik der Begriff des bestimmten Riemann-Integrals definiert, der die Fläche unter einer Kurve als Grenzfall einer Summe von Rechteckflächen beschreibt. Nachdem die wichtigsten Rechenregeln für bestimmte Integrale hergeleitet wurden, wird schließlich der Zusammenhang zwischen Flächenberechnungen mit bestimmten Integralen und Stammfunktionen hergestellt: Insbesondere zeigen wir den Hauptsatz der Differential- und Integralrechnung, mit dessen Hilfe man bestimmte Integrale bzw. Flächen sehr einfach mit Stammfunktionen berechnen kann. Durch Umkehren der Produkt- und Kettenregel erhalten wir partielle Integration und Substitutionsregel als wichtige Hilfsmittel zum Finden von Stammfunktionen. Abschließend behandeln wir uneigentliche Integrale, mit denen man auch „offene“ Flächen berechnen kann, z. B. unter divergierenden Funktionen an Polstellen.

Wir definieren hier zunächst die Euler-Zahl e bzw. die Exponentialfunktion mit Hilfe von Grenzwertbetrachtungen und Taylor-Reihenentwicklungen als diejenige Funktionen, deren Ableitung dieselbe Funktion ist. Da die Herleitung nur auf Rechenoperationen in Körpern beruht, können wir daraus auch die komplexe Exponentialfunktion definieren. Überrascht stellen wir fest, dass die komplexe Exponentialfunktion mit rein imaginärem Exponenten Punkte auf dem Einheitskreis beschreibt. Wir definieren deshalb Kosinus- und Sinusfunktion als deren Real- und Imaginärteil. Aus der Taylor-Reihe der Exponentialfunktion erhalten wir dadurch viele interessante Eigenschaften von Sinus und Kosinus. Es zeigt sich, dass diese Definition äquivalent zur üblicheren Definition von Sinus und Kosinus als Koordinaten von Punkten des Einheitskreises ist. Damit berechnen wir rechtwinklige und allgemeine Dreiecke und leiten den Satz des Pythagoras sowie den Sinus- und Kosinussatz her. Wir lernen, dass man komplexe Zahlen anstatt über Real- und Imaginärteil alternativ auch in Polarkoordinaten darstellen kann, wie man zwischen den beiden Beschreibungen umrechnet und dass die Polarkoordinatendarstellung viel besser geeignet ist, um komplexe Zahlen zu multiplizieren, dividieren, potenzieren oder Wurzeln zu ziehen. Abschließend behandeln wir das Phänomen, dass einfache Gleichungen wie \(z^n=1\) im Komplexen außer den „trivialen“ Lösungen +1 und −1 noch viele weitere Lösungen haben können, was uns zum Begriff der komplexen Einheitswurzeln führt.

Dieses Kapitel führt axiomatisch Vektorräume ein. Als anschauliches Beispiel lernen wir den n-dimensionalen kanonischen Vektorraum \(K^n\) kennen, dessen Elemente Vektoren sind, die man als Listen von Körperelementen der Länge n schreibt. Hiermit veranschaulichen wir Vektoraddition, -subtraktion und -skalierung und definieren geometrische Objekte wie Geraden und Ebenen im n-dimensionalen Raum. Wir bestimmen Schnittpunkte von Geraden und Ebenen, was uns auf lineare Gleichungssysteme (LGS) führt, die wir mit dem Gauß’schen Eliminationsverfahrens lösen. Mit den Normierungsaxiomen definieren wir Normen, mit denen wir die Länge von Vektoren bestimmen können, z. B. mit euklidischer Norm, Manhattan-Distanz oder Maximumnorm. Wir definieren dann das Skalarprodukt, mit dem man etwa den Winkel zwischen zwei Vektoren oder die Projektion zweier Vektoren bestimmen kann. Danach werden die Begriffe lineare Unabhängigkeit, Basis und Koordinaten definiert und Methoden hergeleitet, wie man durch Lösen von LGS zwischen verschiedenen Koordinatendarstellungen umrechnen kann. Wir führen dazu die Matrixdarstellung ein, mit der man ein LGS kompakt darstellen kann. Wir sehen, dass Matrizen linearen Abbildungen entsprechen, welche Vektoren auf Vektoren abbilden. Die Verkettung von linearen Abbildung führt uns zur Definition der Matrizenmultiplikation und diese zu den Themen Matrixinvertierung, Determinante und Matrixtransponierung. Zudem betrachten wir Vereinfachungen für die Spezialfälle diagonaler, symmetrischer, hermitescher, orthogonaler und unitärer Matrizen.

Das Kapitel beginnt mit allgemeinen Koordinatentransformationen und Projektionen, welche etwa zum Projizieren von Punkten auf Geraden oder (Hyper-)Ebenen benutzt werden und etwa in der Signalverarbeitung im Zusammenhang mit der Fourier- und Laplace-Transformation wichtige Rollen spielen. Dann führen wir die Blocknotation von Vektoren und Matrizen ein, mit der sich viele komplizierte Rechnungen stark vereinfachen lassen. Um das Verhalten von Matrizen als lineare Abbildungen zu charakterisieren, definieren wir die Begriffe Rang (Anzahl linear unabhängiger Spalten), Range (Bildmenge), Kern (Definitionsbereich, der auf den Nullvektor abgebildet wird) und die Spur (Summe der Hauptdiagonalen). Wir definieren zwei Matrizen als „ähnlich“, falls sie bis auf die Wahl des Koordinatensystems dieselbe lineare Abbildung darstellen. Als zentralen Teil des Kapitels definieren wir die Begriffe Eigenwert, Eigenvektor und Diagonalisierung, die uns zu Koordinatentransformationen führen, mit denen lineare Abbildungen in unabhängige Komponenten zerfallen. Wir bestimmen Bedingungen für Diagonalisierbarkeit und zeigen, dass zumindest hermitesche und unitäre Matrizen diagonalisierbar sind. Anschließend zeigen wir dazu wichtige Anwendungen wie Matrixpotenzen und -wurzeln, und euklidische Transformationen bzw. Rotationen und Spiegelungen im n-dimensionalen Raum. Schließlich diskutieren wir, wie man Volumen von n-dimensionalen Objekten (z. B. Parallelotopen) berechnet und führen den Begriff (positive und negative) Definitheit von Matrizen ein.

Dieses Kapitel verallgemeinert die Differential- und Integralrechnung von eindimensionalen auf mehrdimensionale Funktionen. Wir definieren zunächst Jacobi-Matrix bzw. Gradientenvektor als die 1. Ableitung mehrdimensionaler Funktionen, deren Komponenten gewöhnlichen eindimensionalen (partiellen) Ableitungen entsprechen. Damit zeigen wir, wie man mit Gradienten die Richtung des steilsten Anstiegs oder Abstiegs einer Funktion bestimmt. Dies führt auf effiziente Optimierungsverfahren wie Gradientenabstieg, welche etwa im Maschinellen Lernen zum Trainieren von Neuronalen Netzen eine dominierende Rolle spielen. Wir verallgemeinern die Produkt-, Quotienten- und Kettenregel sowie den Mittelwertsatz für mehrdimensionale Funktionen. Dann definieren wir die Hesse-Matrix als 2. Ableitung einer mehrdimensionalen Funktion. Damit können wir quadratische Taylor-Entwicklungen herleiten und notwendige und hinreichende Bedingungen für Maxima/Minima angeben. Nach einer Übersicht der wichtigsten Ableitungen von linearen und quadratischen Funktionen verallgemeinern wir den Begriff Konvexität auf mehrdimensionale Funktionen. Wir stellen Optimierungsverfahren wie das Newton-Verfahren vor, mit dem man sehr effizient Nullstellen und/oder Maxima/Minima bestimmen kann. Zudem behandeln wir Optimierung mit Nebenbedingungen, was uns auf Lagrange-Multiplikatoren und das KKT-Theorem führt. Abschließend verallgemeinern wir Riemann-Integrale für mehrdimensionale Funktionen und zeigen, wie man sie in der Praxis als Verkettung eindimensionaler Integrale berechnen kann. Abschließend behandeln wir den Transformationssatz als Verallgemeinerung der Substitutionsregel, definieren Varianten wie Kurvenintegrale und geben Anwendungsbeispiele etwa für Flächenberechnungen in Polarkoordinaten.

Das Kapitel beginnt mit einer kurzen Einführung in Kombinatorik, mit den wichtigsten von Urnenmodellen abgeleiteten Zählmethoden. Darauf aufbauend werden Binomialkoeffizienten definiert und die binomialen und multinomialen Lehrsätze hergeleitet, mit denen man z. B. die Anzahl Koeffizienten mehrdimensionaler Polynome bestimmen kann, die häufig als Modellfunktionen im Bereich Data Science und Maschinelles Lernen verwendet werden. Danach folgt eine Einführung in die Wahrscheinlichkeitsrechnung und Statistik. Wir definieren Wahrscheinlichkeitsräume mit den Kolmogoroff-Axiomen sowie (diskrete und kontinuierliche) Zufallsvariablen, Wahrscheinlichkeitsverteilungen, Dichte sowie die Begriffe Erwartungswert und Varianz. Wir behandeln beispielhaft Bernoulli- und Binomialverteilung sowie die Gleichverteilung und uni-/multivariate Gauß-Verteilung. Wir diskutieren, wie man statistische Fehler etwa mit Hilfe der Error Function abschätzen kann und leiten wichtige Ungleichungen her (wie z. B. Markov-, Tschebyscheff- und Jensen-Ungleichungen). Abschließend wird eine kurze Einführung in die Informationstheorie gegeben. Insbesondere definieren wir wichtige Begriffe wie Entropie, Transinformation und Kullback-Leibler-Divergenz und leiten ihre Eigenschaften und Rechenregeln her.