Niederschlags-Abfluss-Modellierung mit Long Short-Term Memory (LSTM)

Die regionale Skala ist typisch für die hydrologische Modellbildung. Sie ist größer als ein einzelner Hang oder Flussabschnitt, jedoch kleiner als ein Kontinent (e.g. Blöschl und Sivapalan 1995). Die Herausforderung für Modellierer besteht darin, aus dem vorhandenen Prozessverständnis und den verfügbaren Daten (etwa Pegel‑, Grundwasser- und/oder Schneehöhen-Messungen) ein Modell zu erarbeiten. Dabei kommt es zu einem Kompromiss zwischen hydrologisch konsistenten Parametern und Performance (Klotz et al. 2017; Feigl et al. 2020; Mizukami et al. 2017). Den Schwerpunkt auf nur eines der beiden Kriterien zu legen, ist kaum machbar. Obwohl die Parameter hydrologischer Modelle oft eine physikalische Bedeutung haben (z. B. Infiltrationskoeffizient), ist es in der Praxis nicht möglich, die Modellparameter aus der Theorie abzuleiten. Ein wesentlicher Grund dafür ist, dass unsere Prozessbeschreibung auf einer anderen Skala konzeptualisiert wurde (z. B. im Labor), als sie für die hydrologische Modellierung benötigt wird. Die Ansätze lassen sich nicht ohne weiteres auf Einzugsgebiets-Skala übertragen (Klemeš 1983). Das rein empirische Bestimmen der Parameter gestaltet sich ähnlich problematisch. Konventionelle Modelle (etwa physikalisch basierte oder konzeptionelle Ansätze) wurden entwickelt, um hydrologische Prozesse abzubilden und sind nicht unbedingt dafür vorgesehen, eine möglichst einfache Parametrisierung zu ermöglichen (Klemeš 1997; Kirchner 2006). Für die regionale Modellierung ist es außerdem schwierig, eine allgemeingültige Abbildung von Einzugsgebietseigenschaften zu Modellparametern zu finden, die zu ähnlich guten Vorhersagen führt wie einzugsgebietsspezifisch kalibrierte Modelle (Hrachowitz et al., 2013; Mizukami et al. 2017; Blöschl et al., 2019).

DL ermöglicht einen fundamental anderen Ansatz der Modellbildung, der nicht auf vordefinierten Regeln basiert, sondern das gesamte Prozessverständnis aus den verfügbaren Daten lernen muss. Der von uns entwickelte Ansatz führt zu Modellen, deren Qualität tendenziell mit der Zahl der abgedeckten Einzugsgebiete steigt (siehe Kratzert et al. 2018b, 2019c; Gauch et al. 2021). Konventionelle hydrologische Modellansätze erreichen deutlich bessere Modellgüte, wenn sie für jedes Einzugsgebiet spezifisch kalibriert werden statt für viele (diverse) Einzugsgebiete auf einmal (siehe Abb. 1). Der Nutzen von strukturell explizit dargestellten Systemprozessen ist hier limitierend. DL-Modelle haben den Vorteil, dass sie alle Prozesse modellieren können, die aus den verfügbaren Daten ableitbar sind: Je größer und diverser die verfügbare Datenmenge ist, desto allgemeiner ist das gelernte Prozessverständnis (Kratzert et al. 2019c; Gauch et al. 2021; siehe auch Halevy et al. 2009).

Zum Modellieren eines Einzugsgebiets werden in der Regel meteorologische Inputs (etwa Niederschlag und Temperatur) und Daten bezüglich der vorhandenen Einzugsgebietseigenschaften und Abflussmengen benötigt. Vor allem Abflussmessungen sind jedoch nicht für alle Einzugsgebiete vorhanden.

Die Vorhersage in unbeobachteten Einzugsgebieten gilt als allgemein sehr schwierig (Sivapalan 2003; Parajka et al. 2013). Hydrologische Prozesse sind sowohl räumlich als auch zeitlich heterogen und auf verschiedenen relevanten Skalen nicht vollständig verstanden. Im Allgemeinen fehlen hoch aufgelöste Informationen über den Aufbau des Untergrunds, welche eine genaue physikalische Modellierung ermöglichen würden. In der Tat gestaltet sich das Problem derart kompliziert, dass es oft als eines der zentralen Probleme der hydrologischen Modellierung angesehen wird (Blöschl et al., 2013; Blöschl et al. 2019). Die International Association of Hydrological Sciences (IAHS) hat der Lösung dieser Fragestellung (Vorhersage in unbeobachteten Einzugsgebieten) eine ganze Dekade (2003–2012) gewidmet, trotzdem gilt sie bis heute als weitgehend ungelöst (Hrachowitz et al. 2013).

DL-Modelle sind auch hier sinnvoll nutzbar, da sie kein explizites Wissen über die räumlichen Zusammenhänge voraussetzen. Stattdessen werden räumlich übertragbare Repräsentationen gelernt. Kap. 3 demonstriert diese Vorteile. Unter anderem zeigt sich, dass DL-Ansätze bessere Modellgüte in „unbeobachteten“ Einzugsgebieten aufweisen als einzugsgebietsspezifisch kalibrierte, klassische Niederschlags-Abfluss-Modelle.

Die von uns vorgestellten DL-Ansätze besitzen zusätzlich inhärente Eigenschaften, welche für die hydrologische Modellierung von Interesse sind. Wir demonstrieren zwei Formen dieser Modelleigenschaften: Die erste Eigenschaft bezieht sich auf das Einbeziehen von unterschiedlichen Eingabedaten. Wir zeigen, wie DL-Modelle Eingabedaten verschiedener meteorologischer Produkte (DayMet, Maurer und NLDAS) verwenden und von den daraus resultierenden Synergieeffekten profitieren können (siehe z. B. Kratzert et al. 2020). Als zweite Eigenschaft diskutieren wir die Speicher der vorgestellten Modellklasse. Konkret demonstrieren wir, wie Informationen aus den „black box“-Modellen gewonnen werden können, indem deren interne Repräsentationen bezüglich Prozesseigenschaften analysiert werden (Kratzert et al., 2019a).

Im Folgenden geben wir zunächst einen Überblick über das von uns verwendete DL-Modell sowie von uns genutzte Datensätze (Kap. 2). Anschließend gehen wir im Detail auf die drei Kernthemen dieser Publikation ein: Regionale Modellierung (Abschn. 3.1), Vorhersage in unbeobachteten Einzugsgebieten (Abschn. 3.2) sowie Modelleigenschaften (Abschn. 3.3). Dem folgt eine Übersicht an Erweiterungen von DL-basierten Niederschlags-Abfluss-Modellen (Kap. 4.). Abschließend fassen wir die Ergebnisse noch einmal zusammen und geben einen Ausblick auf zukünftige Forschungsthemen (Kap. 5) die auch im Rahmen hydrologischer und wasserwirtschaftlicher Fragestellungen sinnvolle Unterstützung bieten werden.

Die Grundlage unserer DL-Modelle bildet das Long Short-Term Memory-Netzwerk (LSTM; Hochreiter 1991; Hochreiter und Schmidhuber 1997; Gers, Schmidhuber & Cummins 2000). Das LSTM gehört zur Familie der rekurrenten neuronalen Netze. Dies sind neuronale Netze, die Eingabedaten in sequenzieller Reihenfolge verarbeiten (siehe Abb. 2). Eine spezielle Eigenschaft von LSTMs ist, dass sie dedizierte interne Speicher besitzen, um Informationen für lange Zeit speichern zu können. Zusätzlich verfügen LSTMs über eine Reihe von sogenannten Gates. Diese kontrollieren in jedem Zeitschritt (a) welche Informationen aus dem Speicher gelöscht werden, (b) was für neue Informationen aus den Eingabedaten in den internen Speicher hinzugefügt werden, und (c) aus welchen Informationen des aktuellen Speichers die Vorhersage gewonnen werden kann. Außerdem, und dies macht LSTMs speziell interessant für den wasserwirtschaftlichen Einsatz, besitzen sie Parallelen zu klassischen hydrologischen Modellen. Wir skizzieren diese im Folgenden. Für eine detaillierte, technische Beschreibung verweisen wir auf Kratzert et al. (2018b).

Die meisten in der Hydrologie verwendeten Modelle bestehen aus einer Abfolge von Speichern (z. B. für Schnee oder Bodenfeuchte) und fest eingebauten Regeln. Diese Regeln definieren, wie Eingabedaten die Speicher verändern und wie aus den Speichern die Abflussvorhersage gewonnen werden kann (e.g. Liang et al. 1994; Seibert und Vis 2012). Es bleibt eine Reihe an Modellparametern, mit denen sich die Modelle an individuelle Einzugsgebiete anpassen lassen. Wie eingangs beschrieben, besitzen auch LSTMs interne Speicher und auch hier wird die Vorhersage aus den Speichern erzeugt. Der wesentliche Unterschied ist jedoch, dass beim LSTM nicht von vornherein definiert ist, wie die Eingabedaten mit der Zielvariable zusammenhängen und welche Informationen dafür über die Zeit gespeichert oder akkumuliert werden müssen. Diese Zusammenhänge werden während der sogenannten Trainingsphase vom LSTM gelernt. Das LSTM muss also nicht passende Parameterschätzungen einer gegebenen Modellstruktur finden, sondern ein gesamtes Modell. Dies ist eine Stärke: Klassische hydrologische Modelle können nur jene Systemprozesse berücksichtigen, welche explizit in das Modell eingebaut wurden – LSTMs hingegen können alle Prozesse modellieren, die aus den verfügbaren Daten ableitbar sind.

In unseren Experimenten verwenden wir das LSTM in folgender Konfiguration: Wir übergeben dem LSTM eine Sequenz von ca. einem Jahr an meteorologischen Eingabedaten, um eine Abflussvorhersage am letzten Zeitschritt zu erzeugen. Zusätzlich zu den meteorologischen Daten werden in den meisten Experimenten auch statische Kenngrößen des Einzugsgebietes (wie etwa Ton- oder Sandgehalt des Bodens) als zusätzliche Inputs an jedem Zeitschritt übergeben (siehe Abschn. 2.2).

In allen Experimenten verwenden wir Daten aus dem CAMELS-Datensatz (Newman et al. 2015; Addor et al. 2017), einem offenen hydrologischen Datensatz mit 671 unbeeinflussten Einzugsgebieten aus den USA. Die Einzugsgebiete sind quer über die USA verteilt und decken ein breites Spektrum an unterschiedlichen hydrologischen Eigenschaften ab (Abb. 3). Neben ca. 35 Jahren Abflussdaten in täglicher Auflösung beinhaltet CAMELS meteorologische Daten von drei verschiedenen meteorologischen Produkten sowie eine Reihe statischer Kenngrößen. Die drei Produkte beinhalten jeweils Niederschlag, tägliche Höchst- und Niedertemperatur, Sonneneinstrahlung und Wasserdampfdruck. Die statischen Kenngrößen lassen sich grob in die Bereiche Boden, Vegetation, Hydrologie, Klima und Topologie gliedern (eine Übersicht ist in Newman et al. 2015 und Addor et al. 2017 zu finden).

Trotz dieser eindeutigen Ergebnisse stellt sich die Frage, wie gut das gelernte „Wissen“ eines datenbasierten Modells wirklich ist, oder ob das Modell nur gut ist im „Auswendiglernen“. In Kratzert et al. (2019b) haben wir diese Annahme untersucht. Dafür wurden die Einzugsgebiete mittels zufälliger Kreuzvalidierung in 10 unterschiedliche Gruppen aufgeteilt. Anschließend wurde jeweils ein regionales LSTM anhand der Einzugsgebiete aus neun Gruppen trainiert und anhand der Einzugsgebiete in der verbleibenden zehnten Gruppe ausgewertet. Dabei ist jedes Einzugsgebiet genau einmal in der Gruppe, die nicht für das Modelltraining verwendet wird. Der Versuchsaufbau misst also, wie gut ein Modell in Einzugsgebieten ist, für die keine Daten für die Kalibrierung zur Verfügung stehen. Damit wird eine Vorhersage in unbeobachteten Einzugsgebieten (Prediction in Ungauged Basins, PUB) simuliert, was als eine der wichtigsten Problemstellungen in der Hydrologie gilt (siehe Einleitung). Eine quantitative Auswertung von de facto unbeobachteten Einzugsgebieten ist natürlich nicht möglich. Unser Ansatz bietet jedoch eine naheliegende Annäherung.

Die Ergebnisse sind in Abb. 7 zu sehen: Dort wird das PUB-Modell mit zwei hydrologischen Modellen sowie dem regionalen LSTM verglichen. Letzteres wurde wie in den vorherigen Kapiteln mit allen Daten trainiert. Die hydrologischen Modelle sind das SAC-SMA-Modell (Burnash et al., 1973, 1995), separat kalibriert für jedes Einzugsgebiet und das aktuelle US National Water Model (WRF-Hydro; Salas et al. 2018). Trotz Einbußen gegenüber dem regionalen LSTM ist das in diesem Experiment aufgesetzte PUB-LSTM besser als die zum Vergleich verwendeten klassischen Modelle.

In diesem Vergleich stellen wir die Performance eines LSTM für unbeobachtete Einzugsgebiete (PUB; orange mit Stern) der Performance von drei anderen Modellen gegenüber: ein physikalisches Modell (US NWM, Cosgrove und Klemmer (NOAA) 2019), ein einzugsgebietsspezifisch kalibriertes konzeptionelles Modell (SAC-SMA) und das zuvor eingeführte regionale LSTM (Abschn. 2.1). Wir haben die ersten beiden Modelle gewählt, da sie das alte (SAC-SMA) sowie aktuell verwendete US National Water Model und somit wichtige Modelle sind, die weit verbreitete Anwendung finden.

Resümee: Das LSTM liefert durchschnittlich bessere Simulationsergebnisse für Einzugsgebiete, für die es nicht trainiert wurde, als etablierte hydrologische Modelle, die für jedes Einzugsgebiet separat kalibriert wurden. Das LSTM lernt eine besser generalisierende Repräsentation der abflussbildenden Prozesse als die von einzugsgebietsspezifisch kalibrierten Modellen erreichte. Eine vertiefende Diskussion bezüglich der vorgestellten Experimente und Ergebnisse kann in Kratzert et al. (2019b) gefunden werden.

Das Mass-Conserving LSTM (MC-LSTM; Hoedt et al. 2021) ist eine vor kurzem entwickelte Adaptierung des LSTM, das durch seine Architektur die Erhaltung von Massen-Inputs garantiert. Hierbei muss die Masse nicht zwangsläufig Wasser sein, sondern kann auch jede andere beliebige Größe repräsentieren (z. B. Energie, Geld, Personen). Das MC-LSTM besitzt nach wie vor explizite Speicher, allerdings werden die Eingabedaten in zwei Gruppen aufgeteilt: Massen-Inputs und Nicht-Massen-Inputs. Letztere werden ausschließlich für die Steuerung innerhalb des Netzwerkes verwendet (wie viel Masse fließt wohin, wie viel Masse verlässt an einem Zeitschritt das System etc.) und die Massen-Inputs sind jene Werte, die in ihrer Gesamtbilanz im System erhalten werden (z. B. Wasser in Form von Niederschlag). In den Speichern des MC-LSTM wird ausschließlich Masse gespeichert (also z. B. Wasser), was eine Interpretation des Modells erleichtert. Für eine technische Beschreibung des MC-LSTM sowie erste Ergebnisse zu dessen Anwendung in der Hydrologie siehe Hoedt et al. (2021).

Für viele Anwendungen genügt es, Prognosen in täglicher Auflösung bereitzustellen. Für bestimmte Aufgabenbereiche, etwa die Flutvorhersage, ist diese Auflösung jedoch nicht ausreichend.

Ein wichtiges Forschungsgebiet der LSTM-basierten Modellierung ist daher die Vorhersage in hoher zeitlicher Auflösung (etwa stündlich). Hierbei ergeben sich sehr lange Zeitreihen der Eingabedaten, was die Anwendung von LSTMs in der Praxis erschwert. Weiterhin müsste man in diesem Ansatz je ein unabhängiges LSTM für jede Zielauflösung trainieren, wobei mit hoher Wahrscheinlichkeit die Vorhersagen der einzelnen Modelle inkonsistent würden.

Multi-Timescale LSTMs (MTS-LSTM, Gauch et al. 2020) bieten eine Lösung für diese Probleme: Es ermöglicht die gemeinsame Vorhersage in verschiedenen zeitlichen Auflösungen durch ein einziges Modell. Zudem bietet es die Möglichkeit, Eingabedaten mit unterschiedlichen Vorhersagehorizonten (lead times) für die verschiedenen Auflösungen zu nutzen. Intuitiv basiert der Ansatz darauf, dass der Wasserkreislauf ein gedämpftes System ist: Für stündliche Vorhersagen sind hochaufgelöste Daten der nahen Vergangenheit wichtig, während für weit zurückliegende Ereignisse eine niedrigere Auflösung genügt. Für eine detaillierte Beschreibung des Ansatzes verweisen wir auf Gauch et al. (2020).

Unsicherheiten sind eine intrinsische Komponente der hydrologischen Modellierung. Jede Vorhersage, jede Messung und jedes Modell ist mit Unsicherheit behaftet. Die Schätzung von Unsicherheiten ist eine zentrale Komponente vieler modellgestützter Anwendungen. Die Bereitstellung einer solchen Schätzung ist jedoch nicht trivial und oft mit facettenreichen Problemstellungen assoziiert (Nearing und Gupta 2015; Beven 2016). Klassische Modelle benötigen in der Regel einen zusätzlichen Mechanismus, um eine solche Schätzung zu ermöglichen (z. B. pre-processing, post-processing, Datenassimilation oder Monte-Carlo-Sampling). DL-basierte Modelle können die Unsicherheiten direkt aus dem Modell ableiten. Grundsätzlich werden dabei entweder modellintrinsische Eigenschaften genutzt oder Architekturen verwendet, die direkte probabilistische Vorhersagen ermöglichen. In Klotz et al. (2021) vergleichen und testen wir eine Reihe von Methoden zur Unsicherheitsschätzung mit DL-basierten Niederschlags-Abfluss-Modellen. Im Test zeichnet sich bereits ab, dass DL-basierte Verfahren sehr gute Unsicherheitsschätzungen ermöglichen.