4. Verwaltungsrechtlicher Rahmen, Verwaltungsentscheidungen und KI-Systeme

Die Grundrechte stellen eine absolute Grenze für den Einsatz eines KI-Systems dar, wenn durch diesen Einsatz ein ungerechtfertigter Eingriff in die Grundrechte erfolgt. Staatliches Handeln darf nicht zu Grundrechtseingriffen führen, die nicht zu rechtfertigen sind. Eine Grundrechtsbetroffenheit kann durch KI-Systeme in der Verwaltung niederschwellig erfolgen. Dies ist immer dann der Fall, wenn die KI-basierte Verwaltungsentscheidung grundrechtsrelevant ist. Ist neben dieser Grundrechtsrelevanz eine Fehlentscheidung festzustellen, für die es keine Rechtfertigung gibt, liegt ein unzulässiger Grundrechtseingriff vor – dahinstehend, ob bewusst oder unbewusst durch die Verwaltung.

Potenziell kann jedes Grundrecht von einem Eingriff durch KI-Systeme betroffen sein. Die mögliche Betroffenheit steht in Abhängigkeit der Sachmaterie, des Einsatzgebietes und des verfahrensmäßigen Einsatzes eines KI-Systems. Bei reduzierter Betrachtung kommt es nicht auf den Einsatz eines KI-Systems für eine Grundrechtsverletzung an, sondern auf die rechtswidrige Verwaltungsentscheidung, die durch das KI-System erlassen wird. Daher kann die Grundrechtsbetroffenheit mannigfaltig sein. Vorliegend soll diese Perspektive nicht eingenommen werden, da daraus keine allgemeingültigen verfassungsrechtlichen Grenzen aufzuzeigen sind. Der Schluss, der hieraus gezogen werden kann, besteht in dem Umstand, dass rechtswidrige Verwaltungsentscheidungen einen unzulässigen Grundrechtseingriff darstellen können. Dabei kann es dahinstehen, ob die Verwaltungsentscheidung durch ein KI-System oder durch einen Verwaltungsbeschäftigten getroffen wurde.

Jedoch stechen zwei Grundrechte bei der Betrachtung von KI-Systemen in der Verwaltung heraus. Sie sind daher von einem höheren Interesse und sollen vorliegend beleuchtet werden. Konkret sind zwei Grundrechte latent von KI-basierten Verwaltungsentscheidungen betroffen oder es besteht zumindest eine höhere Gefahr der Betroffenheit – und dies unabhängig vom Einsatzgebiet.

Neben der Betrachtung des Rechts auf informationelle Selbstbestimmung und des allgemeinen Gleichheitssatzes ist im Rahmen der Vorbemerkung auf die höchstrichterliche Rechtsprechung zu blicken. Das Bundesverfassungsgericht und der Europäische Gerichtshof befassten sich in verschiedenen Entscheidungen bereits mit der fortschreitenden Digitalisierung des Staates, den daraus erwachsenen Möglichkeiten und Grenzen.⁸² Zur Bestimmung der verfassungsrechtlichen Grenze eines Einsatzes von KI-Systemen im Rahmen von Verwaltungsentscheidungen und die daraus erwachsenen Implikationen ist daher auf diese Rechtsprechung zu blicken.

Im Mittelpunkt der Rechtsprechung steht der Polizei- und Sicherheitsbereich, der durch die Nutzung neuer Technologien und die damit verbundenen Möglichkeiten die Positionsbestimmung wesentlich prägt. Insbesondere wurde in den Entscheidungen die Frage ausgehandelt, wann ein Grundrechtseingriff vorliegt, wie erheblich die Eingriffsintensität ist, wie die Eingriffsintensität bemessen werden kann und welche Rechtfertigungsgründe zulässig sind. Ein direkter Bezug zu klassischen Verwaltungsentscheidungen oder den Einsatz von KI-Systemen in der Verwaltung ist in den Entscheidungen nicht vorzufinden.

Die Rechtsprechung des Bundesverfassungsgerichts und die aufgezeigten Grenzen sind in der Wissenschaft eingehend diskutiert worden, sodass aus diesen Entscheidungen mit der vorliegenden Arbeit nur im begrenzten Umfang ein Fortschritt im wissenschaftlichen Diskurs erzielt werden könnte. Der Fokus soll daher auf die jüngste Rechtsprechung von Bundesverfassungsgericht und Europäischem Gerichtshof in Bezug auf die automatisierte Verarbeitung von personenbezogenen Daten liegen.⁸³

Bevor die jüngsten Entscheidungen des Bundesverfassungsgerichts und des Europäischen Gerichtshof betrachtet werden, ist auf eine Entscheidung des Bundesverfassungsgerichts aus dem Jahr 2009 hinzuweisen. Diese Entscheidung ist außerhalb des Polizei- und Sicherheitsbereichs ergangen und behandelt den Einsatz von technischen Hilfsmitteln im Rahmen staatlicher Handlungen. Konkret befasst sich das Bundesverfassungsgericht mit dem Einsatz von Wahlcomputern bei der Bundestagswahl.⁸⁴ Es hebt in der Entscheidung einen Aspekt besonders hervor, der für den Einsatz von KI-Systemen oder allgemein für den Einsatz technischer Hilfsmittel im Bereich des staatlichen Handelns von Interesse sein könnte – die Transparenz, Nachvollziehbarkeit und Überprüfbarkeit von Technik.

Aus dem Grundsatz der Öffentlichkeit der Wahl gemäß Art. 38 i. V. m Art. 20 Abs. 1 und 2 GG leitet das Bundesverfassungsgericht Mindestanforderungen an Transparenz, Nachvollziehbarkeit und Überprüfbarkeit des Wahlvorgangs sowie der anschließenden Auszählung her. Die unmittelbar aus dem Grundsatz der Öffentlichkeit der Wahl hergeleiteten Anforderungen sind aufgrund der unterschiedlichen Sach- und Rechtsmaterien nicht in Gänze auf Verwaltungsverfahren übertragbar. Dennoch können aus dem Kerngehalt der Erwägungen des Bundesverfassungsgerichts Schlüsse für die verwaltungsrechtlichen Anforderungen in Hinblick auf Transparenz, Nachvollziehbarkeit und Überprüfbarkeit von KI-Systemen in der Verwaltung gezogen werden, sofern damit verfassungsrechtliche Schutzziele verfolgt werden. Denn neben dem Grundsatz der Öffentlichkeit der Wahl, wird in der Entscheidung ebenso auf das Rechtsstaatsprinzip abgestellt.⁸⁵ Das Rechtsstaatsprinzip ist dabei von besonderer Bedeutung. Denn es determiniert respektive ist teilweise wesensleitend für diverse verwaltungsrechtliche Normen.⁸⁶

In der vorliegenden Entscheidung des Bundesverfassungsgerichts werden die Anforderungen an technische Hilfsmittel aufgestellt, um die Ordnungsmäßigkeit und Legitimität einer Wahl sicherzustellen. Das Bundesverfassungsgericht lässt erkennen, dass die unzulängliche Öffentlichkeit der Wahl, verursacht durch Intransparenz und Blackbox-Eigenschaft der konkreten Wahlgeräte, für die Ordnungsmäßigkeit und Legitimität einer Wahl problematisch sind. So dient die Öffentlichkeit der Wahl der Transparenz und Kontrollierbarkeit staatlicher Machtausübung.⁸⁷

Ein generelles Verbot von Wahlgeräten hat das Bundesverfassungsgericht hingegen nicht konstatiert, sondern im Wesentlichen die Anforderungen der Transparenz und Nachprüfbarkeit aufgestellt. In diesem Kontext ist zu vergegenwärtigen, dass diverse verwaltungsrechtliche Regelungen einen verfassungsrechtlichen Hintergrund besitzen.⁸⁸ Konkret dienen sie der Einhaltung verfassungsrechtlicher Grundsätze und der Verwirklichung der Grundrechte respektive einem effektiven Grundrechtsschutzes. Voraussetzung für die Zweckerreichung der verschiedentlichen verwaltungsrechtlichen Regelungen ist oftmals ebenfalls ein gewisses Maß an Nachvollziehbarkeit, Transparenz und Dokumentation von Entscheidungen. Zu denken ist beispielsweise an das Begründungserfordernis eines Verwaltungsaktes nach § 39 Abs. 1 S. 1 VwVfG, an das Akteneinsichtsrecht gemäß § 29 Abs. 1 S. 1 VwVfG oder an die Schutzmaßnahmen im Sinne des Art. 22 DSGVO.

Im Kern stellt das Bundesverfassungsgericht in seiner Entscheidung fest, dass der Einsatz technischer Hilfsmittel, hier der Einsatz von Wahlgeräten, nicht von den Anforderungen an die Überprüfbarkeit des Wahlvorgangs entbindet.⁸⁹ Demnach müssen die Wähler selbst, interessierte Bürger und die Wahlorgane ohne nähere computertechnische Kenntnisse nachvollziehen können, ob eine abgegebene Stimme erfasst und gezählt wird.⁹⁰ Dies stellt nicht nur eine Grenze für das praktische Verfahren und die Umsetzung dar, sondern bietet auch dem Gesetzgeber eine verfassungsrechtliche Orientierung. Der Einsatz technischer Hilfsmittel kann keine materiellen Schutzmechanismen, hier der Grundsatz der Öffentlichkeit der Wahl und damit einhergehend insbesondere die Überprüfbarkeit des Wahl- und Zählvorgangs, auflockern oder von ihnen entbinden.

Diese Kernerwägung des Bundesverfassungsgerichts kann mithin als Orientierung für andere Bereiche der staatlichen Machtausübung genutzt werden. Verfassungsrechtlich begründete Anforderungen zur Kontrollierbarkeit staatlichen Handelns bleiben qualitativ auch beim Einsatz technischer Hilfsmittel bestehen. Auf den vorliegenden Untersuchungsgegenstand bezogen, sind dies die verschiedenen Regelungen und Sicherungen zum Zwecke der Überprüfbarkeit einer Verwaltungsentscheidung und damit die Gewährleistung eines effektiven (Grund-)Rechtsschutzes.

Folglich kann für den Bereich der Verwaltung festgestellt werden, dass eine verfassungsrechtliche Grenze dann erreicht sein wird, wenn die Verwaltung KI-Systeme für Verwaltungsentscheidungen einsetzen möchte, qualitativ jedoch verfassungsrechtliche Schutzmechanismen einschränkt. Ebenso wird diese Grenze auch auf den Gesetzgeber einwirken, sofern dieser mit einer Fortentwicklung des Verwaltungsverfahrensrecht gleichfalls die qualitative Einschränkung verfassungsrechtlicher Schutzmechanismen anstrebt.

Gleichwohl sind die Feststellungen des Bundesverfassungsgerichts in Hinblick auf die Überprüfbarkeit des Wahlvorgangs verfassungswesentlicher als die der Überprüfbarkeit einzelner Verwaltungsentscheidungen. Der Grundtenor stellt jedoch einen Indikator für andere Bereiche – außerhalb von Wahlen – dar. Denn letztendlich geht es um die Nachvollziehbarkeit und Kontrollierbarkeit staatlichen Handelns. Die Nachvollziehbarkeit und Kontrollierbarkeit ist bei einem Wahlvorgang in Hinblick auf Art. 38 i. V. m Art. 20 Abs. 1 und 2 GG von überragender Wichtigkeit, aber ebenso für das gesamte staatliche Handeln von Bedeutung.

Aus den Erwägungen des Bundesverfassungsgerichts zu den Anforderungen an Transparenz und Nachprüfbarkeit ist ein weiterer Einzelaspekt interessant. So stellt das Gericht darauf ab, dass jede Wahlhandlung und die Ergebnisermittlung zuverlässig sowie ohne besondere Sachkenntnis überprüfbar sein müssen. Übertragen auf die Verwaltungsentscheidungen und die dazugehörigen Verfahren sind gegenwärtig ähnliche Anforderungen anzunehmen. Diverse Pflichten der Verwaltung implizieren die Berücksichtigung der adressatenbezogenen Perspektive.⁹¹ Simplifiziert sind beispielsweise die Anforderungen an eine Begründung nach der Komplexität eines Sachverhalts, der Schwierigkeit der rechtlichen Fragestellung und der Intensität der Grundrechtsbetroffenheit auszurichten. Die Verwaltung ist demnach dazu angehalten, eine Begründung so zu formulieren, dass sie aus sich heraus verständlich ist und den Adressaten in die Lage versetzt, den Verwaltungsakt nachprüfen zu können. Diese Anforderungen zeigen, dass die Verwaltung in ihrer Begründungspflicht adressatengerecht kommunizieren muss und das adressatenbezogene Vermögen zu berücksichtigen ist.

In Anlehnung an die Entscheidung des Bundesverfassungsgerichts verlangt dies jedoch nicht, dass die Verpflichtung der Verwaltung so weit zu verstehen ist, dass jede Entscheidung ohne besondere Sachkenntnis nachvollziehbar sein muss. So kann in Hinblick auf die Verwaltungsentscheidungen ein Mindestmaß an Sachkenntnis vorausgesetzt werden. Ein sachliches oder technisches Expertenwissen ist jedoch nicht zu verlangen.⁹²

In der weiteren Dimension – der verwaltungsinternen Betrachtung – ist ebenfalls ableitbar, dass die KI-generierte Verwaltungsentscheidung nachvollziehbar und überprüfbar sein muss. Dies ist zwar bereits aus der Natur der Sache heraus anzunehmen, verdichtet sich indessen im Lichte der Entscheidung des Bundesverfassungsgerichts. Demnach müssen die Verwaltungsbeschäftigten in der Lage sein, KI-generierte Verwaltungsentscheidungen und das Entstehen dieser Entscheidungen nachvollziehen zu können. Nur wenn diese Nachvollziehbarkeit gegeben ist, können Verwaltungsbeschäftigte die vorgeschlagene oder getroffene Entscheidung überprüfen und bleiben Herren des Verfahrens. Ohne dieses Wissen oder der Möglichkeit der Nachvollziehbarkeit läuft dem Grunde nach eine menschliche Aufsicht ins Leere.

Ob nun Verwaltungsbeschäftigte in der Lage sein müssen, ohne besondere Sachkenntnis jede Entscheidung eines KI-Systems nachvollziehen zu können, kann indessen bezweifelt werden. Ein Mindestmaß an Kompetenzausbildung erscheint angemessen und wird vorausgesetzt werden können. Allerdings muss die Nachvollziehbarkeit dem Grunde nach herstellbar sein. Insbesondere die mit den Verfahren betrauten Verwaltungsbeschäftigten müssen das KI-System und die konkrete Verwaltungsentscheidung nachvollziehen und überprüfen können. Nur wenn dies gegeben ist, kann eine vom KI-System gelieferte Begründung einer Entscheidung oder eine Entscheidung selbst auf Richtigkeit überprüft und eine Aussage zur Funktionsfähigkeit des KI-Systems getroffen werden.

In einem weiteren Verfahren hat das Bundesverfassungsgericht in Hinblick auf das Akteneinsichtsrecht Betroffener, die nicht dem einzelnen Verwaltungsverfahren zugehörig sind, sondern das zugrundlegende System betreffen, festgestellt, dass zu diesen Informationen ein Zugang eröffnet werden muss. Nach den sachlogischen Erwägungen des Bundesverfassungsgerichts kann nur dann ein rechtsstaatliches und faires Verfahren gewährleistet werden, wenn Betroffene Zugang zu den relevanten Informationen und Systemgrundlagen erhalten.⁹³ Wird dieser Gedanke auf KI-Systeme im Rahmen von Verwaltungsentscheidungen übertragen, erscheint es geboten, Einsichtsrechte zum KI-System und den dazugehörigen relevanten Daten und Informationen in einer transparenten und nachvollziehbaren Art und Weise zu gewähren.⁹⁴ Somit würde eine Überprüfung des Systems ermöglicht werden, was ein rechtsstaatliches und faires Verfahren gewährleistet.

Bevor der verwaltungsrechtliche Rahmen untersucht wird, ist als dritter Punkt in der verfassungsrechtlichen Vorbemerkung der Funktionsvorbehalt nach Art. 33 Abs. 4 GG in den Blick zu nehmen.¹⁵² Gemäß Art. 33 Abs. 4 GG obliegt die Ausübung hoheitsrechtlicher Befugnisse als ständige Aufgabe in der Regel Angehörigen des öffentlichen Dienstes, die in einem öffentlich-rechtlichen Dienst- und Treueverhältnis stehen. Fraglich ist, ob durch diese Verfassungsbestimmung der Einsatz von KI-Systemen für Verwaltungsentscheidungen ausgeschlossen wird. Dies könnte dann der Fall sein, wenn Art. 33 Abs. 4 GG verlangen würde, dass Verwaltungsbeschäftigte stets in der Entscheidung(-sfindung) eingebunden sind respektive ausschließlich Verwaltungsbeschäftigte Verwaltungsentscheidungen treffen dürfen.

Die vorgenannten Ausführungen beziehen sich auf das in Abschnitt 2.​1 ermittelte KI-Verständnis. Daneben ist in Abschnitt 2.​5 eine Vision für die Entwicklung von KI-Systemen grob skizziert. Zur Erinnerung: Es sind vereinfacht zwei Szenarien für die zukünftige Entwicklung von KI-Systemen möglich.

Erstens könnte es zu einer disruptiven Verbesserung der KI-Systeme kommen – insbesondere im Bereich des maschinellen Lernens und insgesamt des technischen Fortschritts. Dadurch könnten leistungsstarke Basis-KI-Modelle entstehen, die eine generalisierte Intelligenz aufweisen und vielseitig einsetzbar sind, anstatt auf eine einzelne Aufgabe beschränkt zu sein. Diese allgemeine KI würde umfassende Fähigkeiten besitzen und sowohl über physische Fähigkeiten als auch über Wissen und Informationen verfügen.²⁰⁰

Zweitens besteht die Idee, ein KI-System zu entwickeln, das über (Selbst-)Bewusstsein, Empathie sowie soziale und emotionale Intelligenz verfügt.²⁰¹ Dies würde bedeuten, dass sich das KI-System seiner eigenen Existenz und seines eigenen Denkens bewusst ist und möglicherweise ein Verständnis für seine eigenen Grenzen und Fähigkeiten entwickeln kann. Dieser Entwicklungsschritt würde das KI-Lernen in Bezug auf die Art und Weise maßgeblich verändern. Es würde eine Art des evolutionären Lernens voraussetzen, bei dem das KI-System nicht auf stochastischem Lernen und Erfahren basiert, sondern auf eigener Wahrnehmung, Bewusstsein und dem Kontext der Umwelt.

Beide Szenarien werden unterschiedliche rechtliche Implikationen besitzen. Beim ersten Szenario ist davon auszugehen, dass die in Abschnitt 2.​4 ermittelten Risiken und Schwächen weitestgehend bestehen bleiben. Denn die dort genannten Nachteile von bestehenden KI-Systemen sind systemimmanent. Werden KI-Systeme im Sinne des ersten Szenarios fortentwickelt, ist davon auszugehen, dass die technische Architektur und die Lernmodelle sich zwar wesentlich fortentwickeln, aber in ihren Grundstrukturen gleichbleiben. Da die Nachteile insbesondere aus den technischen Rahmenbedingungen resultieren und sich die rechtliche Bewertung wiederum an diesen Nachteilen bemisst, wird hier keine maßgebliche Änderung zu erwarten sein.

Unter der Prämisse, dass eine starke KI im Sinne des zweiten Szenarios entwickelt wird, die über ein (Selbst-)Bewusstsein, Empathie sowie soziale und emotionale Intelligenz verfügt, könnten hingegen die vorgenannten rechtlichen Kritikpunkte und insgesamt die rechtliche Bewertung anders lauten. Denn bei einer solchen Entwicklung würde die technische Funktionsweise und insbesondere die Lernmethode grundlegend divergieren, sodass sich gleichwohl andere Nachteile entwickeln beziehungsweise die jetzt bestehenden Risiken und Schwächen nicht mehr oder nicht in diesem Maße und in dieser Ausprägung auftreten könnten.

So könnten die im Abschnitt 4.1.1 genannten rechtlichen Risiken nicht vorhanden oder zumindest divergierend zu bewerten sein. Im Ergebnis bestehen in Hinblick auf das Recht auf informationelle Selbstbestimmung gemäß Art. 2 Abs. 1 i. V. m. Art. 1 Abs. 1 GG und das Gleichheitsgrundrecht gemäß Art. 3 GG eine latente Grundrechtsbetroffenheit durch den Einsatz von KI-Systemen bei Verwaltungsentscheidungen.

Bei dem Recht auf informationelle Selbstbestimmung besteht das Grundproblem in der inhärenten Verarbeitung von personenbezogenen Daten – sowohl in der Anwendungsphase als auch in der Lernphase. Im Kern sind die Selbstbestimmungshoheit und die freie Entfaltung eines Jeden aufgrund einer drohenden totalen Registrierung und Katalogisierung in Gefahr. Damit einhergehend könnte die garantierte Menschenwürde angetastet werden.²⁰²

Daneben besteht durch die Herausbildung und Verwendung diskriminierender Algorithmen in KI-Systemen eine verfassungsrechtliche Gefahr in Hinblick auf den allgemeinen Gleichheitssatz nach Art. 3 Abs. 1 GG. Hierbei sind gegenwärtig zwei Grundproblematiken zu betrachten: Zum einen der materielle Verstoß gegen Art. 3 GG und zum anderen die fehlende Möglichkeit zur Feststellung eines solchen Verstoßes aufgrund der mangelnden Transparenz und Nachvollziehbarkeit. Letzteres zeigt sich im Besonderen in der unzureichenden Kompetenz von KI-Systemen, eine Entscheidung korrekt zu begründen respektive die tatsächlichen entscheidungsrelevanten Parameter eindeutig und zutreffend anzugeben.²⁰³

Sofern bei Vorliegen eines gesetzlichen Tatbestandes nur eine Entscheidungs- und Handlungsmöglichkeit für die Verwaltung vorhanden ist, liegt eine gebundene Verwaltungsentscheidung vor.²¹⁶ In diesem Fall benennt eine Norm eine zwingende Rechtsfolge, wenn die dazugehörigen, gesetzlichen Tatbestände erfüllt sind. Die Verwaltung hat folglich keinen Handlungs- und Entscheidungsspielraum in Hinblick auf die Rechtsfolge.

Neben der gebundenen Verwaltung besteht das Verwaltungsermessen. Ermessensentscheidungen sind dadurch gekennzeichnet, dass der Verwaltung mehrere Handlungs- und Entscheidungsmöglichkeiten auf der Rechtsfolgenseite zur Verfügung stehen,²⁶⁸ wenn der gesetzliche Tatbestand erfüllt ist (Abbildung 4.2).²⁶⁹ Somit erhält die Verwaltung eine Letztentscheidungsbefugnis bei der Wahl ihres Mittels.²⁷⁰

Die verwaltungsrechtliche Ausgestaltung der Ausübung des Ermessens durch die Verwaltung ist in § 40 VwVfG verankert. Diese Vorschrift legt die Grenzen der Ermessensausübung durch die Verwaltung fest.²⁷¹ Die Ermessensausübung ist insofern determiniert, dass das Ermessen pflichtgemäß auszuüben ist. In Abgrenzung dazu ist begrifflich das freie Ermessen zu nennen.²⁷² Letzteres ist nach Art und Begriff abzulehnen, da die Ermessensausübung stets an sachlichen und zweckmäßigen Kriterien zu orientieren ist, die sich aus der Ermächtigungsnorm und der Rechtsordnung ergeben.²⁷³ Folglich handelt die Verwaltung nicht frei, sondern in einem rechtlich vorgegebenen Rahmen.

Die Ermessensausübung besteht originär in der Gewichtung und Abwägung der nach den Zwecken der Ermächtigung maßgebenden Gesichtspunkten unter- und gegeneinander.²⁷⁴ Wesentlich für diesen Gewichtungs- und Abwägungsprozess ist, dass die Verwaltung sich mit dem Sinn und Zweck der Norm auseinandersetzt, da nur so eine sachgerechte Entscheidung zustande kommen kann.²⁷⁵ Damit die Ermessensausübung wie vorgenannt vollzogen werden kann, ist die Sachverhaltsermittlung durch die Verwaltung von besonderer Bedeutung. Nur wenn diese korrekt und umfassend durchgeführt wird, ist eine belastbare Entscheidung möglich.²⁷⁶

Vorteilhaft ist die Übertragung von Handlungs- und Entscheidungsmöglichkeiten auf die Verwaltung auf der Rechtsfolgenseite insbesondere aus Praktikabilitäts- und Effektivitätserwägungen.²⁷⁷ Da mit diesem Normgestaltungsinstrument nicht jeder zukünftige praktisch eintretende Einzelfall gesetzgeberisch in letzter Finalität geregelt werden muss, dämmt das Instrument Verwaltungsermessen quantitativ die gesetzlichen Regelungen ein.²⁷⁸ Darüber hinaus scheint die Vorhersehbarkeit und damit die Regelung aller erdenklichen Einzelfälle durch den Gesetzgeber nicht möglich.²⁷⁹ So verändern sich nicht nur die Lebensverhältnisse kontinuierlich, vielmehr sind menschliche Verhaltensweisen nur schwer vorherzusehen und zu berechnen.²⁸⁰

Korrespondierend mit dem vorgenannten Aspekt kann ein eingeräumtes Ermessen im Einzelfall zur Verwirklichung einer dem Einzelfall gerechteren Entscheidung führen.²⁸¹ Daneben ist unter Berücksichtigung der fachlichen Expertise der Verwaltung zu konstatieren, dass diese aus der Natur der Sache heraus funktional in einer besseren Lage ist als die Legislative oder Judikative, spezielle Sachverhalte fachlich zu beurteilen.²⁸² Zudem ist das Ermessen ein Ausdruck der Gewaltenteilung, in dem es der Exekutiven einen eigenen Entscheidungsspielraum einräumt.²⁸³ Denn die vollziehende Gewalt ist kein Hilfs- und Vollzugsorgan der anderen Gewalten, sondern agiert mit diesen in einem Koordinationsverhältnis.²⁸⁴ Die Gewaltenteilung ist ein tragendes Organisationsprinzip des Grundgesetzes.²⁸⁵ Elementar ist, dass jeder Gewalt ein Kernbereich autonomer Zuständigkeiten und Wirkungsmöglichkeiten zu gewährleisten ist.²⁸⁶

Ein nachteilig wirkender Aspekt von Ermessensnormen ist ein Weniger an Rechtssicherheit, respektive Vorhersehbarkeit staatlichen Handelns.²⁸⁷ Die Grenze der Öffnung von Entscheidungs- und Handlungsspielräumen der Verwaltung auf der Rechtsfolgenseite durch die Normgestaltung ist erreicht, wenn die Verwaltung ohne Einschränkung nach Inhalt, Zweck und Ausmaß zum Erlass belastender Verwaltungsakte ermächtigt wird, die für potenzielle Adressaten nicht mehr vorhersehbar und berechenbar sind.²⁸⁸

Die gerichtlichen Kontrollmöglichkeiten sind – vergleichend mit gebundenen Entscheidungen – beim Verwaltungsermessen eingeschränkt.²⁸⁹ Eingeschränkt ist die gerichtliche Kontrolle hinsichtlich des gesetzlich eingeräumten Einschätzungs- und Auswahlspielraums.²⁹⁰ Die gerichtliche Überprüfung erschöpft sich auf die Grenzen der materiell-rechtlichen Bindung der Verwaltung.²⁹¹ Das Gericht prüft, ob die Verwaltung die rechtlichen Grenzen beachtet und eingehalten hat.²⁹² Dabei darf die Judikative nicht an die Stelle der Verwaltung treten.²⁹³ Dementsprechend bestimmt sich die gerichtliche Kontrolle in rechtlicher und tatsächlicher Hinsicht. Sie kann als Fehlerkontrolle bezeichnet werden.²⁹⁴ Als Rechtsfolge eines festgestellten erheblichen Ermessensfehler steht die Aufhebung des Verwaltungsaktes, nicht aber der unmittelbare – gerichtliche – Erlass eines neuen Verwaltungsaktes.²⁹⁵

In Hinblick auf den Einsatz von KI-Systemen im Bereich des Verwaltungsermessens besteht die Chance, eine gleichförmige Verwaltungspraxis zu gewährleisten. So könnte sichergestellt werden, dass gleiche Sachverhalte gleich entschieden werden und es eine konsistente Ausübung des Ermessens gibt. Von Rationalität geprägte KI-Systeme könnten einen negativen menschlichen Faktor vermeiden.²⁹⁶

Bild vergrößern

Verwaltungsrechtliche Entscheidungen sind vom Grundsatz der Verhältnismäßigkeit geprägt. Der Verhältnismäßigkeitsgrundsatz kennzeichnet und beeinflusst die Rechtmäßigkeit einer Verwaltungsentscheidung wesentlich, da mit ihm die Zweck-Mittel-Relation einer staatlichen Maßnahme bemessen und rechtlich bewertet werden kann.⁴²² Daher ist der Grundsatz der Verhältnismäßigkeit in Bezug auf den Einsatz von KI-Systemen näher zu beleuchten.

Verfassungsrechtlich kann der Grundsatz der Verhältnismäßigkeit aus dem in Art. 20 Abs. 3 GG verankerten Rechtsstaatsprinzip, dem Wesen der Grundrechte selbst und dem im Einzelfall betroffenen Grundrecht abgeleitet werden.⁴²³ Elementar hierbei ist, dass der Grundsatz der Verhältnismäßigkeit zur Verwirklichung der Grundrechte sowie des Rechtsstaatsprinzips eine wesentliche Säule darstellt.⁴²⁴ Er ist als Grundsatz mit Verfassungsrang anerkannt.⁴²⁵ Eine Vernachlässigung dieses Grundsatzes in Folge der Weiterentwicklung von Verwaltungsverfahren in Hinblick auf neue technische Möglichkeiten ist nicht opportun und würde verfassungsrechtliche Schwierigkeiten implizieren. Ebenso würde ein bloßes Weglassen der Verhältnismäßigkeitsprüfung rechtstechnisch nicht dazu führen, dass dieser Abwägungsprozess insgesamt entfällt, dieser würde vielmehr in andere Ebenen verlagert.⁴²⁶

Der Verhältnismäßigkeitsgrundsatz ist immer dann anzuwenden, wenn der Staat in subjektive Rechte eingreift.⁴²⁷ Dabei bezieht sich die Verhältnismäßigkeit auf zwei wesentliche Dimensionen.

Zum einen muss bereits die abstrakt-generelle Regelung, die als Ermächtigungsgrundlage für die Verwaltungsentscheidung im Einzelfall dient, verhältnismäßig sein.⁴²⁸ Diese Dimension soll vorliegend nicht Gegenstand der Untersuchung sein. Sie könnte zwar ein mögliches Problemfeld für KI-Systeme darstellen, jedoch wäre eine Lösung außerhalb von KI-Systemen mit geringem Aufwand herbeiführbar. So könnte die – sich im Zweifel stets wiederholende – Prüfung der materiellen Verfassungsmäßigkeit eines Gesetzes, auf die die Verwaltungsentscheidung basiert, einmalig durch Verwaltungsbeschäftigte durchgeführt werden.⁴²⁹ Zu dieser materiellen Prüfung gehört die oben genannte erste Dimension der Verhältnismäßigkeitsprüfung. Schlussendlich wäre die mögliche Problemlage bei der Etablierung von KI-Systemen zu beachten, sie würde jedoch kein wesentliches praktisches Problem darstellen.

Zum anderen muss die getroffene Verwaltungsentscheidung selbst im Einzelfall verhältnismäßig sein. Folglich wird der Fokus auf die Verhältnismäßigkeit der Verwaltungsentscheidung gelegt und nicht auf die Ermächtigungsgrundlage. In einer Detailausprägung dieser zweiten Dimension des Verhältnismäßigkeitsgrundsatzes kommt es nicht nur auf das Ergebnis – beispielsweise den Verwaltungsakt – an, sondern auch auf die Verwaltungshandlungen in den frühen Phasen des Verwaltungsverfahrens, die das Ergebnis vorbereiten.

Die Verhältnismäßigkeitsprüfung gliedert sich in vier Elemente: Es ist ein legitimer Zweck zu verfolgen und die Maßnahme muss geeignet, erforderlich und angemessen sein.⁴³⁰

Bei dem ersten Element, der legitime Zweck, wird auf die Intention der Maßnahme abgestellt. Hierbei kommt es auf zwei Teilaspekte an. Zum einen müssen die geschützten oder zu schützenden Rechtsgüter und Interessen explizit identifiziert werden können.⁴³¹ Zum anderen ist festzustellen, ob der zuvor identifizierte Zweck legitim ist.⁴³² Dies wird dann zu bejahen sein, wenn der verfolgte Zweck dem Gemeinwohl dient und nicht verfassungsrechtlich auszuschließen ist.⁴³³

Geeignet ist eine Maßnahme, wenn sie der Zielerreichung dienlich ist. Das bedeutet nicht, dass das Ziel zwingend erreicht wird oder erreicht werden muss, sondern dass die Wahrscheinlichkeit der Zielerreichung erhöht wird.⁴³⁴

Die Erforderlichkeit ist gegeben, wenn das mildeste, gleichwirksame Mittel angewendet wird.⁴³⁵ Demnach ist zu ermitteln, welche geeigneten Maßnahmen grundsätzlich zur Verfügung stehen. Unter den im Einzelfall weiter zur Verfügung stehenden Maßnahmen ist sodann zu prüfen, ob eine Maßnahme besteht, die gleichwirksam ist, aber zu einer geringeren Belastung für den Adressaten führt.⁴³⁶

Angemessen ist eine Maßnahme, wenn der Eingriff beziehungsweise die belastende Maßnahme nicht außer Verhältnis zum verfolgten Zweck steht.⁴³⁷ Teilweise wird dies an der Zumutbarkeit in Hinblick auf die Schwere des Eingriffs im Verhältnis zum Gewicht und zur Dringlichkeit der ihn rechtfertigenden Gründe bemessen.⁴³⁸ Es ist demnach der legitime Zweck und das Ziel der Maßnahme mit dem Eingriff, respektive der Belastung, im engeren Sinne abzuwägen. Dabei darf kein (krasses) Missverhältnis entstehen. Umgekehrt formuliert müssen Ziel der Maßnahme und die damit verbundene Belastung in einem angemessenen Verhältnis zueinanderstehen. Das Bundesverfassungsgericht billigt an dieser Stelle der Verwaltung einen Bewertungs- und Entscheidungsspielraum zu.⁴³⁹

Die vorgenannten Aspekte sind gerichtlich überprüfbar, wobei Zweckmäßigkeitserwägungen der Verwaltung unberührt bleiben, solange diese vertretbar und nicht evident sachwidrig sind.⁴⁴⁰

Im Hinblick auf die in Abschnitt 2.​5 dargelegte Vision einer starken KI ist fraglich, ob der Einsatz von KI-Systemen bei Ermessensentscheidungen divergierend zu bewerten wäre. Eine valide Würdigung kann gegenwärtig jedoch nicht vorgenommen werden, da der konkrete technische Fortschritt im Bereich der KI offen ist und die in Abschnitt 2.​5 gezeichnete Vision vagen Annahmen folgt. Daher ist vorliegend lediglich ein nicht belastbarer, grober Ausblick zu geben, anhand dessen die Entwicklungslinien und die damit einhergehenden rechtlichen Bewertungsmöglichkeiten aufgezeigt werden können.⁴⁶²

Zusammengefasst spricht gegen eine Ermessensausübung durch heutige KI-Systeme insbesondere der immanente Vergangenheitsbezug, die nicht durch ein KI-System darstellbare Einzelfallprüfung sowie das fehlende Normverständnis, das für den Gewichtungs- und Abwägungsprozess von Bedeutung ist. Bezogen auf den Gewichtungs- und Abwägungsprozess ist darüber hinaus problematisch, dass KI-Systeme gegenwärtig keine soziale und emotionale Intelligenz aufweisen, nicht zum moralischen Handeln fähig sind und keine Fähigkeit zur umfassenden Kontextualisierung besitzen.

Da beide Entwicklungsvisionen für eine starke KI evident auseinanderliegen, ist auch die rechtliche Beurteilung differenziert vorzunehmen. Im Falle des ersten Szenarios⁴⁶³ ist davon auszugehen, dass es zu keiner wesentlichen Änderung in Hinblick auf die Hauptkritikpunkte kommen wird. Zwar könnte angenommen werden, dass eine starke KI auf fortgeschrittenen Algorithmen und logischen Schlussfolgerungen basieren würde. Sie könnte somit in der Lage sein, komplexe Zusammenhänge und Beziehungen zwischen verschiedenen Fakten und Informationen besser zu erkennen und zu analysieren. Dadurch könnte die Argumentation präziser und logischer strukturiert werden. Jedoch bliebe voraussichtlich die mangelnde Fähigkeit zur Wertung der Einzelfälle unter Berücksichtigung der Anforderungen, die an die pflichtgemäße Ermessensausübung gestellt werden.

Das Ermessen erfordert unter anderem die Berücksichtigung individueller Umstände und Wertungen. Eine starke KI im Sinne des ersten Szenarios könnte Schwierigkeiten haben, den Gewichtungs- und Abwägungsprozess im geforderten Maße auszuüben, wenn zu erwarten ist, dass sie keine soziale und emotionale Intelligenz aufweist und nicht zum moralischen Handeln sowie zur umfassenden Kontextualisierung fähig ist. Eine rein algorithmische Entscheidungsfindung könnte die für die Ermessensausübung erforderliche Kontextualität, die eine gewisse Art der Subjektivität und Feinabstimmung voraussetzt, nicht vollständig abbilden. Insbesondere fehlt es der starken KI im Sinne des ersten Szenarios an menschlicher Empathie. So können zwar Entscheidungen entstehen, die logisch und objektiv erscheinen, aber menschliche Bedürfnisse und besondere Umstände nicht angemessen berücksichtigen.

Eine starke KI im Sinne des zweiten Szenarios⁴⁶⁴ könnte hingegen in der Lage sein, ein Ermessen regelhaft und im Sinne der Intention dieses Rechtsfolgeninstruments umzusetzen. Es wäre anzunehmen, dass das Lernen eines KI-Systems nicht auf Stochastik und Korrelation basiert, sondern auf eigener Wahrnehmung, Bewusstsein und im Kontext der Umwelt. Ein immanenter Vergangenheitsbezug, die Unfähigkeit zur Einzelfallprüfung oder auch das fehlende Normverständnis lägen nicht vor. Ein solches KI-System könnte im Rahmen der Ermessensausübung einen einzelfallbezogenen Gewichtungs- und Abwägungsprozess durchführen – wie ein menschlicher Bearbeiter. Ebenso ist es nicht auszuschließen, dass ein solches KI-System als moralisches Subjekt angesehen werden könnte, was zur Ermessensentscheidung – zur Wertung im Einzelfall – befähigen könnte.

Ebenso könnten die Problematiken in Hinblick auf die Ermessensfehler⁴⁶⁵ ausgeräumt werden. Beispielsweise wäre die zentrale Schwierigkeit des Nichterkennens der Ermessensausübung und der mangelnden Nachvollziehbarkeit und Begründung lösbar. Im Sinne der Vision für eine starke KI kann angenommen werden, dass KI-Systeme in der Lage sein werden, die getroffenen Entscheidungen nachvollziehbar und faktentreu zu begründen – wie menschliche Bearbeiter. Verzerrungen, Halluzinationen oder schlechterdings eine Intransparenz – und sei es nur aus der Komplexität des Systems und der faktischen Unmöglichkeit zur Nachvollziehbarkeit heraus – sind nicht zu erwarten. Die evident unterschiedliche Funktionsweise von KI-Systemen im Sinne des zweiten Szenarios könnten auch dazu führen, dass die übrigen Ermessensfehler – die Ermessensüberschreitung und der Ermessensfehlgebrauch – nicht mehr strukturell anzunehmen wären. So wäre insbesondere nicht mehr zu erwarten, dass systembedingt eine fehlerhafte Tatsachenermittlung, die Berücksichtigung von sachfremden Erwägungen oder immanent logische Begründungs- und Entscheidungsmängel vorliegen dürften.

Die maßgebliche Frage wird jedoch auch hier sein, ob dieses Szenarios mit grundlegenden verfassungsrechtlichen Prinzipien und dem gesellschaftlichen Verständnis übereinzubringen sein wird.⁴⁶⁶ Die primäre rechtliche Frage wird demnach nicht sein, ob die Möglichkeit der regelhaften Ermessensausübung besteht, sondern vielmehr, ob der Einsatz eines solchen KI-Systems mit unveränderlichen Verfassungsprinzipien vereinbar ist.⁴⁶⁷

Um angepasst und individualisiert auf unterschiedliche Sachverhalte eingehen zu können und trotzdem eine verbindliche, konkrete Rechtsfolge vorzusehen, kann auf der Tatbestandsseite einer Norm ein Auslegungsspielraum für die Verwaltung vorgesehen werden. Die Erforderlichkeit von unbestimmten Rechtsbegriffen resultiert aus einer praktischen Notwendigkeit, die der Gesetzgebung unterworfen ist, um nicht-objektivierbare Sachverhalte in einer abstrakten Norm abbilden zu können.⁴⁷⁹

Ist folglich ein Tatbestand nicht legal-definiert oder in einer anderen Art und Weise in Hinblick auf die inhaltliche Bestimmbarkeit objektiviert, liegt ein unbestimmter Rechtsbegriff vor.⁴⁸⁰ Die Verwaltung muss in diesem Fall den unbestimmten Rechtsbegriff auslegen, bevor die Subsumtion erfolgen kann.⁴⁸¹ Die Grenze, ab wann ein Rechtsbegriff als unbestimmt zu bezeichnen ist, ist nicht abstrakt benennbar. Dies hängt zum einen von den einzelnen Rechtsanwendern ab und zum anderen von den sonstigen Umständen.⁴⁸² Ein Rechtsbegriff wird jedenfalls dann unbestimmt sein, wenn er im besonderen Maße unklar ist oder gar einer wertenden Konkretisierung bedarf.⁴⁸³

Regelmäßig haben unbestimmte Rechtsbegriffe keinen Beurteilungsspielraum inne.⁴⁸⁴ Im Sinne eines Regel-Ausnahme-Verhältnisses ist zu konstatieren, dass unbestimmte Rechtsbegriffe mit einem Beurteilungsspielraum die Ausnahme darstellen.

Unbestimmte Rechtsbegriffe ohne Beurteilungsspielraum kennzeichnen sich dadurch, dass es zwar unterschiedliche Inhaltsbestimmungen und Sichtweisen der Verwaltung auf einen Terminus geben kann, aber letztendlich nur eine Feststellung korrekt sein wird.⁴⁸⁵ Demgemäß gibt es keinen rechtlichen Spielraum bei der Auslegung durch die Verwaltung. Eine Lockerung oder Aufweichung der Gesetzesbindung der Verwaltung, begründet durch unbestimmte Rechtsbegriffe, ist nicht festzustellen und dogmatisch abzulehnen.⁴⁸⁶ Die Bindung an Recht und Gesetz bleibt bestehen. So sind unbestimmte Rechtsbegriffe uneingeschränkt durch die Gerichte nachprüfbar.⁴⁸⁷ Im Hinblick auf die gerichtliche Überprüfung ist jedoch auch hier grundsätzlich auf die Funktionsgrenzen der Rechtsprechung bei Auslegung und Konkretisierung zu verweisen.⁴⁸⁸ Denn auch auf der Tatbestandsseite gilt, dass die Judikative nicht an die Stelle der Exekutiven treten kann. Dies ist nicht nur verfassungsmäßig nicht intendiert, sondern berücksichtigt insbesondere die fachliche Expertise der Verwaltung in ihrer jeweiligen Zuständigkeit, die von den Gerichten nicht erreicht werden kann.⁴⁸⁹ Somit ist zwar eine Verwaltungsentscheidung hinsichtlich des unbestimmten Rechtsbegriffs in den vorgenannten Bahnen grundsätzlich in tatsächlicher und rechtlicher Hinsicht gerichtlich überprüfbar, jedoch können die Gerichte nicht an die Stelle der Verwaltung treten.⁴⁹⁰

Unbestimmte Rechtsbegriffe können wie oben dargelegt auch einen Beurteilungsspielraum beziehungsweise eine Beurteilungsermächtigung enthalten.⁴⁹¹ Im Rahmen einer Regel-Ausnahme-Betrachtung stellen unbestimmte Rechtsbegriffe mit Beurteilungsspielraum die Ausnahme dar. Der Beurteilungsspielraum im Rahmen eines unbestimmten Rechtsbegriffs räumt der Verwaltung zwar eine Art der Entfaltungsmöglichkeit – vergleichbar mit dem Ermessen⁴⁹² – ein, dieses befindet sich jedoch auf der Tatbestandsseite.⁴⁹³

Ob der Verwaltung bei einem unbestimmten Rechtsbegriff ein Beurteilungsspielraum eingeräumt wird, ist im Sinne der normativen Ermächtigungslehre⁴⁹⁴ im Wege der Auslegung des jeweiligen Gesetzes zu ermitteln.⁴⁹⁵ Insbesondere sind in den Bereichen des Prüfungsrechts, der Eignungsprognosen und Leistungsbeurteilungen im Beamtenrecht sowie bei Gremienentscheidungen und im Planungsrecht auf den Gebieten des Umwelt- und Wirtschaftsrechts unbestimmte Rechtsbegriffe mit Beurteilungsspielraum zu finden.⁴⁹⁶

Bei Normen, bei denen der Gesetzgeber Spielraum zum Beurteilen und Werten durch die Verwaltung lässt, ist es der Judikativen nicht gegeben, den Beurteilungsspielraum wieder zu schließen.⁴⁹⁷ Maßgeblich ist dies damit zu begründen, dass die Verwaltung über einer dem Gericht überlegenen Beurteilungskompetenz verfügt, was aus den organisatorischen, personellen und sachlichen Ausgangsbedingungen der Verwaltung resultiert.⁴⁹⁸ In Abgrenzung zu den regelmäßig unbestimmten Rechtsbegriffen ohne Beurteilungsspielraum bestehen bei unbestimmten Rechtsbegriffen mit Beurteilungsspielraum mehrere korrekte Auslegungs- und Entscheidungsmöglichkeiten.⁴⁹⁹ Unbestimmte Rechtsbegriffe mit Beurteilungsspielraum unterliegen einer eingeschränkten gerichtlichen Kontrolle, sie sind dieser allerdings nicht gänzlich entzogen.⁵⁰⁰ So wird im Allgemeinen die Verwaltungsauslegung hinsichtlich der vollständigen, umfassenden und methodengerechten Erfassung des Sachverhalts, der Einhaltung von Verfahrensregeln, der Beachtung von rechtlichen Bewertungsgrundsätzen und -maßstäben sowie hinsichtlich des Einflusses sachfremder Erwägungen oder auf das Vorliegen von Willkür überprüft.⁵⁰¹

Die vorgenannte Kurzdarstellung der Struktur auf der Tatbestandsseite einer verwaltungsrechtlichen Norm lässt bereits erkennen, dass der Einsatz von KI-Systemen nicht nur auf der Rechtsfolgenseite mit Herausforderungen und juristischen Implikationen verbunden ist, sondern auch auf der Tatbestandsseite. So entsprechen gesetzliche Regelungen regelmäßig nicht den in Abschnitt 2.​4.​11 angeführten Ansätzen eines Law-Codes oder eines maschinell umsetzbaren Rechts. Rechtsfolgen sind nicht stets ohne Handlungsspielraum determiniert und scheinen im Hinblick auf die Ausübung eines pflichtgemäßen Ermessens kaum erlernbar zu sein.⁵⁰²

Damit einhergehend ist auf der Tatbestandsseite festzustellen, dass die in Abschnitt 2.​4.​11 beschriebenen Anforderungen an ein maschinell umsetzbares Recht hinsichtlich der objektiven Bestimmtheit (unbestimmter) Rechtsbegriffe nicht immer gegeben sind. Vielmehr können Tatbestandsmerkmale von Unbestimmtheit geprägt sein, was eine Auslegung und teilweise die Beurteilung durch die Verwaltung erforderlich macht.

Zunächst drängt sich die Frage auf, ob qualitative Unterschiede in der verwaltungsrechtlichen Anwendung bezogen auf KI-Systeme zwischen unbestimmten Rechtsbegriffen mit Beurteilungsspielraum auf der einen Seite und unbestimmten Rechtsbegriffen ohne Beurteilungsspielraum auf der anderen Seite bestehen. Für die Klärung dieser Frage ist es von Bedeutung, ob eine Auslegung unbestimmter Rechtsbegriffe ohne Beurteilungsspielraum derart diffizil sein kann, dass diese einer Wertung im Rahmen der Auslegung von unbestimmten Rechtsbegriffen mit Beurteilungsspielraum gleichsteht.

Als Beispiel für einen unbestimmten Rechtsbegriff ohne Beurteilungsspielraum, der einer komplexen Auslegung unterliegt, ist ein Einzelaspekt aus einem Baugenehmigungsverfahren anzuführen. In einem solchen Verfahren ist unter anderem gemäß § 34 Abs. 1 BauGB auszulegen, ob sich ein Vorhaben in die nähere Umgebung „einfügt“ – sofern es sich um einen unbeplanten Innenbereich handelt.⁵⁰³ Auch wenn bei dieser Vorschrift kein unbestimmter Rechtsbegriff mit Beurteilungsspielraum anerkannt ist, dürfte die Auslegung des unbestimmten Rechtsbegriffs „einfügen“ einer Art der Wertung unterliegen.⁵⁰⁴ Neben der Frage, was unter der näheren Umgebung zu subsumieren ist, die als Maßstab des „sich Einfügens“ heranzuziehen ist, sind weitere Kriterien zur Auslegung des unbestimmten Rechtsbegriffs einzubeziehen wie die Art und das Maß der baulichen Nutzung, die Bauweise und die überbaute Grundstücksfläche.⁵⁰⁵ Diese Kriterien wiederum sind ebenfalls auslegungsbedürftig. Nach der ständigen Rechtsprechung stellen die Kriterien den zulässigen baurechtlichen Rahmen dar.⁵⁰⁶ Das Dogma der „einzig richtigen Entscheidung“ mag zwar auch hier gelten und ex post im Rahmen einer gerichtlichen Überprüfung feststellbar sein, diese einzig richtige Entscheidung dürfte jedoch in der ex ante Würdigung schwer zu ermitteln sein. Eine generalisierte Objektivierung der Auslegungskriterien und Unterkriterien ist schlicht nicht leistbar, was im Übrigen die gesetzgeberische Anwendung des Instruments unbestimmter Rechtsbegriff begründet.

KI-Systeme dürften bei diesen wertenden, komplexen Entscheidungen, die die Fähigkeit erfordern, die Umgebung und die Lebenswirklichkeit zu erkennen und zu antizipieren, überfordert sein.⁵⁰⁷ So wäre es zwar denkbar, dass KI-Systeme aus vergangenen Sachverhalten und bereits getroffenen Entscheidungen lernen, aufgrund der Spezifikation des Einzelfalls und der anzunehmenden Diversität des zu beurteilenden Rahmens sowie der dazugehörigen unterschiedlichen Umweltumstände dürften gegenwärtige KI-Systeme, die der schwachen KI zuzuordnen sind, an ihre Grenzen kommen. Die Auslegung und Konkretisierung unbestimmter Rechtsbegriffe ohne Beurteilungsspielraum können im Einzelfall folglich derart schwierig und komplex sein, dass die Subsumtion durch KI-Systeme nicht möglich erscheint.

Wie bereits dargestellt⁵⁰⁸, fehlt es KI-Systemen gegenwärtig an der Beherrschung juristischer Methodik und der Möglichkeit der umfassenden Antizipation der Umweltumstände, was auf die technische Funktionsweise zurückzuführen ist, die insbesondere auf Korrelation und – bedingt durch die Trainingsdatenlage – regelmäßig auf einem Vergangenheitsbezug basiert. So würde in dem vorgenannten Beispiel gerade keine prospektive, einzelfallbezogene Auslegung und Konkretisierung des unbestimmten Rechtsbegriffs „einfügen“ stattfinden, sondern vielmehr mithilfe eines auf Korrelation basierenden Modells ein Ausgabewert prognostiziert, der zudem einen definierten Näherungsfehler beinhalten kann. Das Ergebnis könnte zwar übereinstimmend mit dem Ergebnis einer menschlichen Auslegung sein, die Übereinstimmung und Richtigkeit der Auslegung des unbestimmten Rechtsbegriffs ist jedoch nicht gewährleistet. Denn es würden gerade keine juristischen Methoden angewendet, sondern Auslegungsfehler wären immanent. Dies ist nicht nur in der Sache problematisch, sondern auch in verwaltungsrechtlicher Hinsicht. Denn wie in Abschnitt 4.3.1 dargestellt, sind unbestimmte Rechtsbegriffe in tatsächlicher und rechtlicher Hinsicht uneingeschränkt durch die Gerichtsbarkeit nachprüfbar, so dass mitnichten ein Mehr an Rechtssicherheit gewonnen werden würde. Positiv anzuerkennen ist, dass im Umkehrschluss gesetzliche Regelungen mit Rechtsbegriffen, die im weitesten Sinne bestimmt und deren Auslegung nicht mit besonderen Schwierigkeiten verbunden sind, potenziell für KI-Systeme geeignet und prädestiniert sein können.⁵⁰⁹

Daneben ist festzustellen, wenn schon einige unbestimmte Rechtsbegriffe ohne Beurteilungsspielraum nicht alleinig durch KI-Systeme ausgelegt und angewendet werden können, sind erst recht unbestimmte Rechtsbegriffe mit Beurteilungsspielraum der alleinigen Bearbeitung durch KI-Systeme entzogen. Wie oben dargestellt sind unbestimmte Rechtsbegriffe mit Beurteilungsspielraum insbesondere im Prüfungsrecht, bei Eignungsprognosen und Leistungsbeurteilungen im Beamtenrecht sowie bei Gremienentscheidungen und im Planungsrecht auf den Gebieten des Umwelt- und Wirtschaftsrechts vorzufinden.

Diese Entscheidungen sind davon gekennzeichnet, dass der Verwaltung aufgrund ihrer organisatorischen, personellen und sachlichen Ausgangsbedingungen und Kompetenzen ein Wertungs- und Beurteilungsspielraum zusteht, der nur eingeschränkt gerichtlich überprüfbar ist. Überprüfbar ist insbesondere die vollständige, umfassende und methodengerechte Erfassung des Sachverhalts, die Einhaltung von Verfahrensregeln, die Beachtung von rechtlichen Bewertungsgrundsätzen und -maßstäben sowie der Einfluss sachfremder Erwägungen oder das Vorliegen von Willkür.⁵¹⁰ Dahinstehend, ob KI-Systeme in der Lage sind, sachdienliche Entscheidungen in den oben genannten Gebieten unter Berücksichtigung aller Umstände zu treffen, ist auf Abschnitt 2.​4 zu verweisen. Bei gegenwärtigen KI-Systemen sind gerade die oben genannten – gerichtlich überprüfbaren – Aspekte nicht rechtlich und technisch zu gewährleisten. So ist beispielsweise weder das Einbeziehen von sachfremden Erwägungen durch KI-Systeme auszuschließen noch eine getroffene oder vorgeschlagene KI-basierte Entscheidung transparent im Einzelfall nachzuvollziehen.

Nun könnte zur Sicherstellung der Funktionsweise im Sinne eines Law-Codes der Ansatz verfolgt werden,⁵¹¹ dass Gesetze maschinell umsetzbar geschrieben, Vorgaben zur Auslegung durch die Legislative im Gesetzgebungsprozess gemacht oder hybride – teildeterminierte – KI-Systeme durch die Bundesebene, die die Auslegungsvorschriften von unbestimmten Rechtsbegriffen enthalten, vorgegeben werden. Letztere Option hätte daneben den Vorteil, dass Synergieeffekte in der föderalen Verwaltung erschlossen werden und dadurch Effizienzsteigerungen möglich erscheinen.⁵¹² So müsste nur ein KI-System vom Bund beschafft oder entwickelt werden und nicht jedes Land oder gar die Kommunalebene aktiv werden.⁵¹³ Hieraus könnten insbesondere unmittelbare und mittelbare monetäre Vorteile erwachsen, die die öffentlichen Haushalte entlasten würden. Zudem ist der effizienzsteigernde Aspekt ein bei den maßgeblichen Akteuren bestehendes Argument für die Einführung von KI-Systemen oder anderen technischen Hilfsmitteln.⁵¹⁴ Andererseits stehen mit diesem Ansatz verschiedene Problemkreise in Verbindung.

Im Zuge der in Abschnitt 2.​5 skizzierten Vision von KI-Systemen stellt sich die Frage, wie solche Systeme die juristische Beurteilung beeinflussen könnten. Besonders relevant ist die Überlegung in Hinblick auf unbestimmte Rechtsbegriffe, da diese in der Rechtsanwendung der Verwaltung eine zentrale Rolle einnehmen und – wie im vorstehenden Kapitel dargestellt – den Einsatz von KI-Systemen gegenwärtig limitieren.

KI-Systeme nach dem heutigen Stand der Technik stoßen sowohl bei komplexen unbestimmten Rechtsbegriffen als auch bei unbestimmten Rechtsbegriffen mit Beurteilungsspielraum aus einer juristischen Perspektive an ihre Grenzen. Insbesondere dürften sie bei wertenden und komplexen Sachverhalten, die die Erkennung und Antizipation der komplexen Lebenswirklichkeit und der Umweltumstände erfordern, keine rechtlich einwandfreien Ergebnisse liefern. Die Gründe dafür liegen in der technischen Funktionsweise, insbesondere in der Verwendung von vergangenheitsbezogenen Trainingsdaten, die eine prospektive und einzelfallbezogene Auslegung nicht gewährleisten. Gegenwärtige KI-Modelle, die auf der Analyse von Korrelationen basieren, sind nicht in der Lage, eine umfassende Antizipation der Umweltumstände vorzunehmen und eine auf den konkreten Einzelfall bezogene, prospektiv-wertende Entscheidungen zu treffen. Folglich ist nicht auszuschließen, dass strukturell sachfremde Erwägungen in die Entscheidungsfindung einfließen könnten.

Bei KI-Systemen im Sinne des ersten Szenarios⁵⁸⁰ ist keine grundlegende Änderung in der juristischen Beurteilung zu erwarten. Insbesondere dürfte weiterhin eine schwerwiegende Problematik bei unbestimmten Rechtsbegriffen mit Beurteilungsspielraum bestehen. Unter der Annahme des ersten Entwicklungsszenarios, das in Abschnitt 2.​5.​1 skizziert ist, bleibt die grundsätzliche technische Funktionsweise mit den inhärenten Nachteilen der gegenwärtigen KI-Modelle bestehen.

Hingegen könnten KI-Systeme im Sinne des zweiten Szenarios⁵⁸¹ rechtlich anders zu beurteilen sein. Anzuführen ist das angenommene divergente Lernverfahren und damit die unterschiedlichen systemimmanenten Eigenschaften. Es gäbe in diesem Szenario gerade keinen perpetuellen Vergangenheitsbezug oder eine Prägung durch korrelationsbedingtes Lernen. Vielmehr bestünde möglicherweise die Fähigkeit zur Kontextualisierung, Lernen und Agieren auf Basis der eigenen Wahrnehmung und des eigenen Bewusstseins sowie im Kontext der Umwelt.

Ein solches KI-System könnte die jeweilige Norm, die den unbestimmten Rechtsbegriff umgibt, und die wesentlichen Umweltumstände erkennen und verarbeiten. Damit erscheint es möglich, eine prospektive Entscheidung, die auf einer korrekten Normanwendung fußt und den unbestimmten Rechtsbegriff im juristischen Sinne ausfüllt, herbeizuführen. Es wäre dann nicht mehr zwingend davon auszugehen, dass der vom KI-System vorgenommenen Rechtsanwendung sachfremde Erwägungen zugrunde liegen.

Darüber hinaus wäre es gleichwohl denkbar, KI-Systeme bei unbestimmten Rechtsbegriffen mit Beurteilungsspielraum einzusetzen. Die Besonderheit hierbei liegt darin, dass es Sachverhalte zu beurteilen gilt. Dies impliziert wie oben dargestellt eine Wertung, die von der Verwaltung respektive dem KI-System vorzunehmen ist. Für diese Beurteilung kommt der Exekutiven eine Sonderrolle zu, da sie auf besondere Kompetenzen zurückgreifen kann. Sie besitzt zum einen die sachliche Expertise und verfügt zum anderen über die organisatorischen und personellen Kapazitäten. Ein KI-System, das potenziell nicht nur zur Beurteilung im objektiven Sinne fähig ist, sondern darüber hinaus zu einem moralischen Handlungs- oder Verantwortungssubjekt erwachsen könnte, wäre qualifiziert, einen unbestimmten Rechtsbegriff mit Beurteilungsspielraum auszulegen – sprich einen Einzelfall zu bewerten.

Allerdings folgt aus der Annahme eines wertenden KI-Systems die Frage, ob eine wertende Entscheidung durch ein KI-System über einen Menschen oder einen Sachverhalt, der einen Menschen unmittelbar betrifft, mit der Verfassung und dem Gesellschaftsbild übereinzubringen ist.⁵⁸²

Verwaltungsrechtliche Entscheidungen weisen teilweise Spezifika wie eine Drittbetroffenheit beziehungsweise eine Drittwirkung auf. Inhärenter Bestandteil einer möglichen Drittwirkung ist eine Verfahrensausgestaltung, die eine umfassend rechtstaatlich legitimierte Verwaltungsentscheidung gewährleistet. So hält das Verwaltungsverfahrensrecht für diese Art der Verwaltungsentscheidung besondere Regelungen vor. Ausgehend von diesem Aspekt ist zu betrachten, ob und wie das Spezifikum der Drittwirkung respektive die dazugehörige verwaltungsrechtliche Implikation vom Einsatz eines KI-Systems berührt wird.

Das Vorliegen einer Drittwirkung kann aus zwei Vorschriften hergeleitet werden, die nach ihrem Anwendungsbereich eine hohe Schnittmenge besitzen, jedoch in der differenzierten Betrachtung Unterschiede aufweisen. Zum einen liegt eine Drittwirkung im Sinne des § 13 Abs. 2 VwVfG vor, wenn ein Verwaltungsakt die rechtlichen Interessen eines Dritten berührt. Zum anderen ist von einer Drittwirkung eines Verwaltungsaktes auszugehen, wenn im Sinne des § 80a VwGO ein Verwaltungsakt einen Dritten begünstigt oder belastet. Beide Normen haben gemein, dass ein Verwaltungsakt eine unmittelbare und kausale Wirkung über den Adressaten hinaus auf einen Dritten entfaltet. In Hinblick auf die Adressaten sowie Ziel und Zweck der Norm weisen beide Vorschriften Gemeinsamkeiten auf. Werden die grundsätzlichen Regelungen des Verwaltungsverfahrensgesetzes und der Verwaltungsgerichtsordnung zu den Beteiligten eines Verfahrens betrachtet, ist § 63 VwGO i. V. m. § 65 VwGO die Parallelnorm zu § 13 VwVfG. Ausweislich der Gesetzesbegründung zum Verwaltungsverfahrensgesetz intendierte der Gesetzgeber eine Anpassung von § 13 VwVfG auf den Beteiligtenbegriff des § 63 VwGO.⁵⁹¹ Nach § 63 VwGO können Beigeladene – also Dritte – prozessrechtlich an einem Verfahren beteiligt werden. Weitere Ausdifferenzierungen, insbesondere im Bereich des Verwaltungsaktes mit Drittwirkung, enthält § 63 VwGO nicht. Für den Rechtsschutz gegen eine Verwaltungsentscheidung mit einer Drittwirkung ist daher § 80a VwGO als speziellere Regelung in der prozessrechtlichen Ausprägung in den Blick zu nehmen.

Die Unterscheidung der Drittwirkung nach § 13 VwVfG und § 80a VwGO ist an zwei wesentlichen Aspekten festzumachen. Zum einen ist ein Unterschied in der Intention der Normen festzustellen, die bereits aufgrund der Verankerung in unterschiedlichen Gesetzen begründet ist. So ist § 13 VwVfG eine verfahrensrechtliche Norm, die ein rechtsstaatliches Verfahren sicherstellt und damit das Verwaltungsverfahren an sich ausgestaltet und bestimmt. § 80a VwGO hingegen ist eine Norm, die Regelungen über den konkreten Rechtsschutz und dessen Ausgestaltung trifft, die im Anschluss eines Verwaltungsverfahrens wirken. Um § 80a VwGO anwenden zu können, muss demnach bereits ein Verwaltungsakt vorliegen. Die Finalität der Verwaltungsentscheidung ist folglich bereits hergestellt. Wohingegen § 13 VwVfG bereits zu einem früheren Zeitpunkt, konkret bei der Entstehung des Verwaltungsaktes, wirkt. Zum anderen ist ein qualitativer Unterschied in den Tatbestandsmerkmalen festzustellen. Gemäß § 13 Abs. 2 VwVfG müssen die rechtlichen Interessen eines Dritten berührt sein können. Nach § 80a VwGO muss eine konkrete Belastung oder Begünstigung für eine dritte Person entstehen. Eine Belastung oder Begünstigung im Sinne des § 80a VwGO setzt eine definitive rechtliche Wirkung für den Dritten voraus, die eindeutig über eine faktische Betroffenheit rechtlicher Interessen oder einer möglichen rechtlichen Wirkung hinausgeht.⁵⁹² Die Begünstigung oder Belastung darf folglich nicht nur mittelbar-faktisch für den Dritten wirken, sondern muss ein subjektives Recht des Dritten betreffen.⁵⁹³ Ebenso reicht die Möglichkeit einer Betroffenheit nicht aus. Ohne vertiefend auf die Differenzierungen einzugehen, mag überzeugen, dass die Anforderung von § 13 Abs. 2 S. 1 VwVfG niederschwelliger gehalten ist. So ist nach § 13 Abs. 2 S. 1 VwVfG einerseits lediglich die Berührung rechtlicher Interessen gefordert und andererseits wird nicht auf die Finalität der rechtlichen Wirkung abgestellt, sondern auf die Möglichkeit einer Drittwirkung. Daraus folgt, wenn ein Anwendungsfall von § 80a VwGO vorliegt, liegt erst recht ein Fall des § 13 Abs. 2 S. 1 VwVfG vor, da nach § 13 Abs. 2 S. 1 VwVfG lediglich die Möglichkeit einer Berührung rechtlicher Interessen vorliegen muss und eine Belastung oder Begünstigung im Sinne von § 80a VwGO dies impliziert. Im Ergebnis kann bei der vorliegenden verwaltungsverfahrens-rechtlichen Betrachtung § 80a VwGO dahinstehen und lediglich auf § 13 Abs. 2 VwVfG Bezug genommen werden.

§ 13 VwVfG regelt, wer am Verwaltungsverfahren beteiligt ist. Die Feststellung der Beteiligten ist erheblich, da an dieser Rolle Rechte und Pflichten anknüpfen wie beispielsweise die Anhörung der Beteiligten gemäß § 28 VwVfG.⁵⁹⁴ Die Beteiligtenstellung ist ein Ausdruck eines rechtsstaatlichen Verfahrens, da mit ihr gewährleistet wird, dass eine Person nicht nur ein Objekt staatlichen Handelns ist, sondern vielmehr im Verfahren aktiv mitwirken kann.⁵⁹⁵ Die Vorschrift ist ein Ausdruck des Rechtsstaats- und Demokratieprinzips.⁵⁹⁶ Zudem kann durch das aktive Mitwirken im Verfahren die eigene materiell-rechtliche Position geschützt werden.⁵⁹⁷ Die aktive Mitwirkungsmöglichkeit impliziert einen effektiven Schutz der eigenen Grundrechte. Das Bundesverfassungsgericht unterstreicht die Notwendigkeit und Bedeutung eines effektiven Grundrechtsschutzes durch eine Verfahrensbeteiligung respektive durch Ausgestaltung des Verfahrensrechts.⁵⁹⁸ Zuletzt dürfte die Verwaltungsentscheidung selbst nutznießend sein, da durch Einbringen und Berücksichtigung aller relevanten Positionen und Perspektiven die letztendliche Entscheidung reifen und formen kann. Daraus ergibt sich ein verfahrensökonomischer Mehrwert. Wird angenommen, dass durch eine abgewogene und alle Perspektiven sowie rechtliche Interessen berücksichtigende Entscheidung getroffen wird, könnten Rechtsstreitigkeit vermieden werden. So würde eine einheitliche und konsensuale Entscheidung möglicherweise das Verfahren insgesamt schlanker halten.⁵⁹⁹

Der Beteiligtenstatus richtet sich zunächst nach § 13 Abs. 1 VwVfG. Danach sind geborene Beteiligte regelmäßig die Antragssteller oder Adressaten eines Verwaltungsaktes. Darüber hinaus können weitere Personen in die Beteiligtenstellung versetzt werden – die gekorenen Beteiligten. Dies geschieht durch Hinzuziehung gemäß § 13 Abs. 2 S. 1 VwVfG. Die Hinzuziehung entfaltet verwaltungsrechtlich eine konstitutive Wirkung für die Beteiligtenstellung.⁶⁰⁰ Dabei stellt der Hinzuziehungsakt selbst einen eigenen Verwaltungsakt dar.⁶⁰¹ Eine Betroffenheit ohne Hinzuziehung nach § 13 Abs. 2 VwVfG hat hingegen keine konstitutive Wirkung.⁶⁰² Die Beteiligtenstellung ist eine formale Position und wird nicht allein durch eine materiell-rechtliche Betroffenheit erlangt.⁶⁰³

Unrechtmäßiges Handeln der Verwaltung beispielsweise durch eine unterlassene Hinzuziehung oder durch unterlassene Information über die Verfahrenseinleitung und daraus nicht beantragter beziehungsweise realisierter Hinzuziehung eröffnen Rechtsschutzmöglichkeiten. Zum einen besteht die Möglichkeit eines Widerspruchs und einer Verpflichtungsklage mit dem Ziel der Hinzuziehung.⁶⁰⁴ Zum anderen kann sich das unrechtmäßige Handeln im Sinne der Fehlerfolge auf die originäre Verwaltungsentscheidung auswirken. Hier ist zunächst festzustellen, dass eine rechtswidrig unterbliebene Hinzuziehung einen Verfahrensfehler darstellt. Die Wirkung des Fehlers richtet sich nach den allgemeinen Regelungen zu Verfahrens- und Formfehler gemäß § 46 VwVfG. Dabei wird es darauf ankommen, ob die unterbliebene Hinzuziehung offensichtlich die Entscheidung in der Sache nicht beeinflusst hat.⁶⁰⁵ Eine unterbliebene notwendige Hinzuziehung kann einen schweren Verfahrensfehler darstellen.⁶⁰⁶ Folglich ist zu konstatieren, dass eine unrechtmäßig unterbliebene Hinzuziehung eine Rechtsunsicherheit in Hinblick auf die originäre Verwaltungsentscheidung birgt.

§ 13 Abs. 2 VwVfG sieht zwei Konstellationen für die Hinzuziehung im Falle einer möglichen Drittwirkung einer avisierten Verwaltungsentscheidung vor: die einfache Hinzuziehung gemäß § 13 Abs. 2 S. 1 VwVfG und die notwendige Hinzuziehung gemäß § 13 Abs. 2 S. 2 VwVfG.⁶⁰⁷

Einen weiteren, zentralen funktionalen Beitrag innerhalb des Verwaltungsverfahrens zur Verwirklichung des Grundrechtsschutzes leistet der Anhörungsgrundsatz gemäß § 28 Abs. 1 VwVfG. Hiernach sind die Adressaten im Rahmen eines nichtförmlichen Verfahrens mit dem Ziel des Erlasses eines belastenden Verwaltungsaktes anzuhören. Diese verfahrensrechtliche Regelung zeigt das Spannungsfeld zwischen rechtsstaatlichen Erwägungen, die durch Kommunikation und Partizipation Ausdruck finden, einerseits und der Schlankheit und Effizienz eines Verwaltungsverfahrens⁶²⁶ andererseits auf. So führt eine Einbindung der Beteiligten auf der einen Seite zwangsläufig zur Verlängerung eines Verfahrens. Auf der anderen Seite wird der verfassungsimmanente Rechtsschutzgedanke mit Leben gefüllt, da nur durch Einbindung der Beteiligten, diese ihre subjektiven Rechte schützen können.⁶²⁷

Der in § 24 Abs. 1 S. 1 VwVfG verankerte Untersuchungsgrundsatz verpflichtet die Verwaltung im Rahmen des Verwaltungsverfahrens Sachverhaltsermittlungen von Amts wegen vorzunehmen. Dieser verwaltungsrechtliche Grundsatz unterscheidet sich wesentlich von Verfahrensprinzipien in anderen Bereichen.⁶⁷²

Der Gesetzgeber verfolgt mit dem Untersuchungsgrundsatz das Ziel, im öffentlichen Interesse den wahren Sachverhalt durch die Verwaltung festzustellen, um damit die spätere Verwaltungsentscheidung zu bestimmen.⁶⁷³ Art und Umfang der Ermittlungen stehen dabei gemäß § 24 Abs. 1 S. 2 VwVfG im Ermessen der Verwaltung. Für wen die Sachverhaltsermittlung günstig wirkt – also für die Verwaltung oder den Adressaten – ist für den Ermittlungsgrundsatz ohne Bedeutung.⁶⁷⁴

Die Begründungspflicht eines Verwaltungsaktes leistet einen weiteren, zentralen funktionalen Beitrag innerhalb des Verwaltungsverfahrens zur Verwirklichung des Grundrechtsschutzes. Gemäß § 39 Abs. 1 S. 1 VwVfG sind Verwaltungsakte – dahinstehend, ob schriftliche oder elektronische – mit einer Begründung zu versehen. Die allgemeine Begründungspflicht von Verwaltungsakten entspringt der rechtsstaatlichen Überlegung, wonach sich die Bürger gegen Eingriffe in ihre Rechte nur dann sachgerecht wehren können, wenn sie die Gründe für die staatliche Handlung erfahren.⁷³²

Das Verwaltungsverfahrensgesetz regelt in § 25 Abs. 1 VwVfG eine Beratungs- und Auskunftspflicht. Gemäß § 25 Abs. 1 S. 1 VwVfG soll die Behörde die Abgabe von Erklärungen, die Stellung von Anträgen oder die Berichtigung von Erklärungen oder Anträgen anregen, wenn diese offensichtlich nur versehentlich oder aus Unkenntnis unterblieben oder unrichtig abgegeben oder gestellt worden sind. § 25 Abs. 1 S. 2 VwVfG regelt die Auskunftspflicht innerhalb des Verwaltungsverfahrens über die Rechte und Pflichten der Beteiligten. § 25 Abs. 2 S. 1 VwVfG erweitert die vorgenannten behördlichen Verpflichtungen um eine Erörterungspflicht, die bereits vor Verfahrenseröffnung wirksam ist.

Sinn und Zweck der Vorschrift ist, aus rechts- und sozialstaatlichen Erwägungen dafür zu sorgen, dass niemand aus Unkenntnis die eigenen Rechte nicht wahrnimmt oder gar verwirkt.⁷⁸⁹ Unkenntnis, Unerfahrenheit oder Unbeholfenheit der Beteiligten sollen der Verwirklichung der eigenen Rechte nicht entgegenstehen.⁷⁹⁰ Verfassungsrechtlich ist der Sinn und Zweck der Norm aus dem Rechts- und Sozialstaatsprinzip abzuleiten.⁷⁹¹ Eine direkte grundrechtliche Herleitung ist hingegen nicht möglich.⁷⁹² Mehr dient die Norm dem Bestreben einer bürgernahen, kooperativen⁷⁹³ und guten Verwaltung⁷⁹⁴.

Dabei findet die Vorschrift insbesondere dann Anwendung, wenn die Verwaltung erkennt, dass zur Schadensabwendung auf Seiten der Bürger ein Unterstützungsbedarf besteht. Ein solcher erkannter oder erkennbarer Unterstützungsbedarf kann eine Amtspflicht der Beamten begründen,⁷⁹⁵ über die Sach- und Rechtslage aufzuklären.⁷⁹⁶ Diese Aufklärung und Beratung ist begrenzt, sodass keine umfassende Rechtsberatung durch die Verwaltung intendiert ist.⁷⁹⁷ Im Allgemeinen wird keine umfassende, ohne Grenze wirkende Beratungs- und Fürsorgepflicht durch § 25 Abs. 1 VwVfG konstituiert.⁷⁹⁸ Diese bezieht sich vielmehr auf den konkreten Einzelfall und setzt spätestens dann ein, wenn sich der Unterstützungsbedarf der Verwaltung aufdrängen muss.⁷⁹⁹ Ergänzt wird diese Beratungs- und Fürsorgepflicht durch weitere Erörterungspflichten nach § 25 Abs. 2 VwVfG, die sich auf den Zeitpunkt vor der Verfahrenseröffnung beziehen. Die verwaltungsseitige Unterstützung durch Erörterung richtet sich auf die Vorbereitung eines Verwaltungsverfahren mit dem Ziel, unnötige Belastungen und Verzögerungen abzuwenden.⁸⁰⁰

Das Beratungs- und Erörterungsangebot ist von Amts wegen zu initiieren.⁸⁰¹ Die Eigenverantwortlichkeit der Bürger bleibt jedoch bestehen.⁸⁰² So ist die Anwendung der Soll-Vorschrift des § 25 Abs. 1 VwVfG so auszulegen, dass eine Beratungs- und Fürsorgepflicht dahinstehen kann, wenn die Beteiligten ihrer Mitwirkungspflicht respektive den Mitwirkungserfordernissen in einem relevanten Maß nicht nachkommen.⁸⁰³ Die Verwaltung muss sich den Bürgern mit ihren Hinweisen nicht aufdrängen.⁸⁰⁴

Eine Beschränkung auf individuelle, persönliche Beratung durch Verwaltungsbeschäftigte besteht nach § 25 Abs. 1 und 2 VwVfG nicht. So kann je nach den Erfordernissen des Verfahrens auch eine Beratung über Hilfsmittel wie Merkblätter oder andere allgemeine auf den Verfahrensgegenstand bezogene Informationen zulässig sein.⁸⁰⁵ Ein technisches Beratungs- oder Erörterungsangebot über einen Chatbot oder ein anderweitiges IT-gestütztes Verfahren, sofern die Funktionsfähigkeit gegeben ist, scheint daher möglich. Die Zulässigkeit einer möglichen Verlagerung auf eine ausschließliche Beratung über Hilfsmittel – dahinstehend, ob technische oder analoge Hilfsmittel – wird nicht zulässig sein und ist folglich nicht anzuraten.⁸⁰⁶

Ein Verstoß gegen § 25 Abs. 1 oder 2 VwVfG hat regelmäßig keine maßgebliche Auswirkung auf die Rechtmäßigkeit des möglicherweise später entstehenden Verwaltungsaktes. Grundsätzlich ist davon auszugehen, dass ein solcher Verstoß einen Verfahrensfehler implizieren kann, der unter das Fehlerfolgenregime des § 46 VwVfG fällt. Ein in diesem Sinne beachtlicher Fehler wird regelmäßig nicht vorliegen.⁸⁰⁷ Von größerer Bedeutung ist, dass unter bestimmten Voraussetzungen eine Amtspflichtverletzung begründet werden kann, die staatshaftungsrechtlich relevant sein könnte.⁸⁰⁸

Für den Einsatz von KI-Systemen ist festzustellen, dass die Beratungs- und Fürsorgepflicht gemäß § 25 Abs. 1 VwVfG sowie die Erörterungspflicht gemäß § 25 Abs. 2 VwVfG Anwendung finden. Auch wenn ein technisches Verfahren im respektive vor dem Verwaltungsverfahren genutzt wird, sind die Vorschriften des § 25 Abs. 1 und 2 VwVfG zu beachten.⁸⁰⁹ Der Fokus muss auf der Sicherstellung der gesetzgeberischen Intention der Vorschrift liegen.

Im Sinne der rechts- und sozialstaatlichen Erwägungen ist darauf hinzuwirken, dass die Bürger zur Wahrnehmung ihrer Rechte befähigt werden respektive die Wahrnehmung ihrer Rechte nicht aus Unkenntnis unterlassen. Ist dies zu befürchten, hat die Verwaltung Maßnahmen zu ergreifen, die die Wahrnehmung der Rechte der Bürger fördern. Vorliegend ist es denkbar, dass neben technischen Hilfsmittel wie eine Verfahrensbegleitung oder Erstberatung durch einen KI-basierten Chatbot,⁸¹⁰ eine menschliche Aufsicht und Ansprechbarkeit von Verwaltungsbeschäftigten etabliert und gewährleistet wird.⁸¹¹ Letzteres würde zugleich die berechtigte Forderung erfüllen, die Bürger zu befähigen, sich gegenüber der eingesetzten Informationsapparatur behaupten zu können.⁸¹² Teilweise wird davon ausgegangen, dass der Beratungsbedarf durch vermehrtem Einsatz vollautomatisierter Verwaltungsverfahren eher steigen wird.⁸¹³

Aus § 25 Abs. 1 und 2 VwVfG folgt auch, dass eine Begrenzung bei der Neugestaltung und Etablierung von fortentwickelten Verfahren anzunehmen ist. So wird es unzulässig sein, durch den flächendeckenden Einsatz automatisierter Verwaltungsentscheidungen die Belastungen der Bürger unverhältnismäßig stark zu erhöhen. Dies könnte etwa dann gegeben sein, wenn die Kompetenzen beziehungsweise die Kompetenzanforderungen von der Verwaltung zu den Bürgern verschoben werden. Die Verwaltung und ihre Beamten sind und bleiben aus staatsrechtlicher Perspektive Helfer der Staatsbürger.⁸¹⁴ Das Wissen und die Kompetenz über Verwaltung und das jeweilige Rechtsgebiet ist bei der spezialisierten Bürokratie verortet, nicht bei den einzelnen Bürgern. Die Verwaltung kann sich nicht aus der Verantwortung ziehen, sondern muss ihrem verfassungsrechtlichen Auftrag gerecht werden. Ein Abwälzen von Verantwortung und Risiko hin zu den Bürgern ist aus staatsrechtlichen Überlegungen heraus nicht anzustreben.⁸¹⁵

Darüber hinaus ist es denkbar, einem erhöhten Beratungs-, Fürsorge- und Erörterungsbedarf durch Digitalisierung und einem Umdenken in Gesetzgebung und Administration zu erreichen. Die Antragsabhängigkeit und komplex gestaltete bürokratische Verfahren zur Wahrnehmung bestimmter Rechte, zum Erhalt bestimmter staatlicher Leistungen oder zum Erwirken von staatlichen Handlungen könnte mit dem Ziel der Fortentwicklung und Entschlackung der Verfahren geprüft werden. Der Staat könnte proaktiv staatliche Leistungen, auf die ein Anspruch der Bürger besteht, gewähren, sobald ihm alle Informationen über eine Anspruchsberechtigung vorliegen. Die Abhängigkeit von Anträgen oder das Erbringen redundanter Informationen oder Erklärungen durch die Bürger könnte entfallen. So scheint es beispielsweise im Bereich des – rechtlich und praktisch – Möglichen, Kindergeld nicht erst auf Antrag zu gewähren, sondern mit staatlicher Kenntnis einer Geburt das entsprechende Verfahren proaktiv einzuleiten. Dies würde neben einer bürgerfreundlichen Verwaltung auch die Chance bieten, die Verwaltungseffizienz zu fördern und den Einsatz staatlicher Ressourcen auf ein erforderliches Maß zu reduzieren.

§ 29 VwVfG regelt das Akteneinsichtsrecht. Gemäß § 29 Abs. 1 S. 1 VwVfG ist einem Beteiligten Einsicht in die das Verfahren betreffenden Akten zu gestatten, soweit deren Kenntnis zur Geltendmachung oder Verteidigung seiner rechtlichen Interessen erforderlich ist. Das Akteneinsichtsrecht nach § 29 VwVfG bezieht sich auf das laufende Verwaltungsverfahren.⁸¹⁶ Eine genaue Definition des laufenden Verwaltungsverfahrens kann dahinstehen, da im Zweifel nach Abschluss des Verwaltungsverfahrens andere Anspruchsgrundlagen zur Akteneinsicht herangezogen werden können. Als niederschwellige Anspruchs- und Rechtsgrundlagen sind die spezifischen Akteneinsichtsgesetze des Bundes und der Länder oder das datenschutzrechtliche Auskunftsrecht gemäß Art. 15 DSGVO respektive § 34 BDSG zu nennen.⁸¹⁷ Diese Regelungen komplementieren und stärken aus einer verwaltungsverfahrensrechtlichen Sicht das Akteneinsichtsrecht nach § 29 VwVfG.

Die Norm hat ihre verfassungsrechtlichen Wurzeln im Rechtsstaats- und Demokratieprinzip.⁸¹⁸ Daneben ist in Hinblick auf das Rechtsstaatsprinzip insbesondere die nach Art. 19 Abs. 4 GG garantierte Rechtsschutzstellung von Bedeutung.⁸¹⁹ Der Gesetzgeber intendierte bei Verabschiedung des Gesetzes, die Bürger nicht nur als bloße Objekte im Verfahren anzusehen, sondern sie im Sinne eines modernen Staates mit Rechten im Verfahren auszustatten.⁸²⁰

Der Gesetzgeber richtet das Akteneinsichtsrecht im Sinne der verfassungsrechtlichen Notwendigkeit aus und beschränkt nach § 29 Abs. 1 S. 1 Hs. 2 VwVfG das Einsichtsrecht auf die Akten, deren Kenntnis zur Geltendmachung oder Verteidigung der rechtlichen Interessen der Beteiligten erforderlich sind. Hierbei dient das Akteneinsichtsrecht nicht nur der unmittelbaren Verteidigung der eigenen rechtlichen Interessen, sondern trägt auch mittelbar dazu bei. So kann eine Einsichtnahme in die Akten eine sachangemessene und präzise Stellungnahme im Rahmen einer Anhörung nach § 28 VwVfG fördern.⁸²¹

Im Hinblick der Fortentwicklung des Verwaltungsverfahrensgesetzes, insbesondere bei bisherigen Änderungen des Verwaltungsverfahrensgesetzes mit dem Ziel der Ermöglichung automatisierter Verwaltungsentscheidungen, fällt auf, dass § 29 VwVfG und das damit begründete Akteneinsichtsrecht gesetzgeberisch nicht verändert wurde. Dadurch kommt zum Ausdruck, dass der Gesetzgeber bewusst keine Änderung am Akteneinsichtsrecht vorgenommen hat und weiterhin dieses Recht zur Verwirklichung der Normintention für erforderlich hält – auch bei automatisierten Verwaltungsentscheidungen. So überzeugt die Feststellung, dass die Wahl des Mittels – hier die Nutzung eines technischen Systems – nicht das Akteneinsichtsrecht aussetzen kann.⁸²² Gleichfalls ist zuzustimmen, dass wenn die Etablierung von automatisierten Entscheidungsverfahren ein Mehr an Gleichbehandlung und Transparenz bringen soll, die Transparenzrechte nicht im selben Schritt eingeschränkt werden dürfen.⁸²³

Das Akteneinsichtsrecht gemäß § 29 VwVfG kann seine Wirkung nur entfalten, wenn eine ordnungsgemäße Aktenführung besteht. Ein zentraler Grundsatz des Akteneinsichtsrechts ist das Gebot der Vollständigkeit und Nachvollziehbarkeit, wonach alle wesentlichen Verfahrenshandlungen vollständig und nachvollziehbar zu dokumentieren sind.⁸²⁴

Auf KI-Systeme bezogen impliziert dies einen gewissen Grad an Transparenz, Nachvollziehbarkeit und Dokumentation.⁸²⁵ Dies muss sich konsequenterweise sowohl auf das System und seine Funktionsweise an sich als auch auf den konkreten Einzelfall beziehen.⁸²⁶ Anderer Ansicht nach, erfüllt die Dokumentation und Offenlegung informationstechnischer Systeme und deren Funktionsweise keine Zwecke des Rechtsschutzes.⁸²⁷ Dieser Ansicht ist nicht zu folgen. Ohne Einsichtsrecht in das System respektive die Funktionsweise des Systems könnten Fehler, die den Einzelfall wesentlich determinieren, nicht entdeckt werden und würden somit einen effektiven Rechtsschutz erschweren.⁸²⁸ Wenn sich Betroffene einen Überblick über die Rechtmäßigkeit einer Entscheidung verschaffen möchten, ist es ein elementarer Baustein, nachzuvollziehen, wie die Entscheidung zustande gekommen ist. In Hinblick auf ein eingesetztes KI-System ist demnach der technische Aufbau, die Funktionsweise und alle weiteren technischen Zusammenhänge wie die Trainingsdatenlage von besonderem Interesse.

Da die Funktionsfähigkeit und die Angemessenheit der Trainingsdaten durch einzelne Beteiligte nur schwer zu beurteilen sein wird, spricht dies einmal mehr für einen rekurrierenden Zertifizierungsprozess, der eine rechtliche Konformitäts- und Funktionsbewertung beinhalten muss.⁸²⁹ Daneben erkennt auch die Rechtsprechung die Notwendigkeit der Nachvollziehbarkeit von informationstechnischen Systemen an. So muss es den Bürgern möglich sein, eine belastende Maßnahme auf ihre Richtigkeit überprüfen zu können, was im Einzelfall die technische Nachvollziehbarkeit notwendigerweise einschließt.⁸³⁰

Auf den Einzelfall bezogen, ist zwingend nachvollziehbar zu machen, unter welchen Gesichtspunkten eine Entscheidung durch das KI-System getroffen wurde respektive welche Parameter welchen Einfluss auf die Entscheidung gehabt haben. Dies entspricht dem Vollständigkeitsgebot, das dazu verpflichtet, sämtliche wesentliche Vorgänge zu dokumentieren – auch in automatisierten Verfahren.⁸³¹ Der Einsatz eines automatisierten Verfahrens entbindet nicht von der Pflicht einer ordnungsgemäßen, vollständigen Aktenführung.⁸³² Die Anforderungen an ein KI-System beziehungsweise die praktischen Schwierigkeiten sind hier ähnlich gelagert wie in den Anforderungen in Hinblick auf die allgemeine Begründungspflicht gemäß § 39 VwVfG.⁸³³ Angesichts der enormen Komplexität von leistungsfähigen KI-Modellen⁸³⁴ dürfte eine detaillierte, belastbare Nachvollziehbarkeit von im Einzelfall entscheidungsrelevanten Parametern eine äußerst große Herausforderung darstellen.

In diesem Zusammenhang ist an die vom Gesetzgeber als Einschränkung des Akteneinsichtsrechts gedachte Regelung zu erinnern. So ist nach § 29 Abs. 1 S. 1 Hs. 2 VwVfG das Einsichtsrecht auf die Akten beschränkt, deren Kenntnis zur Geltendmachung oder Verteidigung der rechtlichen Interessen der Beteiligten erforderlich sind. Auf die vorgenannten Ausführungen zu den entscheidungsrelevanten Parametern bezogen, ist festzustellen, dass die als Einschränkung konzipierte Regelung in Hinblick auf KI-basierte Verfahren vielmehr eine Anforderung darstellt.

So setzt § 29 Abs. 1 S. 1 Hs. 2 VwVfG voraus, dass sich in den Akten diejenigen Informationen befinden, die zur Geltendmachung oder Verteidigung der rechtlichen Interessen der Beteiligten dienlich sein können. Folglich sind die entscheidungsrelevanten Gründe – auch in automatisierten Verfahren – nachvollziehbar zu halten und zu dokumentieren, damit die Beteiligten überhaupt in die Lage versetzt werden können, ihre rechtlichen Interessen geltend zu machen oder zu verteidigen. Diese Anforderung an eine vollständige Aktenführung unterstreicht, dass im Übrigen, also im Falle einer unzureichenden Aktenführung, Sinn und Zweck der Norm ins Leere laufen würde. Wäre eine Nachvollziehbarkeit der Entstehung und der entscheidungsrelevanten Gründe bei KI-basierten Verwaltungsverfahren strukturell nicht gegeben, bräuchte es kein Akteneinsichtsrecht, da damit die avisierte Wirkung – Beteiligte dazu befähigen, ihre rechtlichen Interessen geltend zu machen oder zu schützen – a priori nicht erreicht werden könnte. Somit würde auch grundsätzlich die verfassungsrechtliche Intention der Norm wirkungslos bleiben.

Ein Verstoß gegen das Akteneinsichtsrecht stellt einen Verfahrensfehler dar, der unter das Fehlerfolgenregime des § 46 VwVfG fällt. Ein in diesem Sinne beachtlicher Fehler wird in Hinblick auf KI-basierte Verfahren regelmäßig nicht vorliegen. Grund hierfür wird vor allem der zeitliche Aspekt sein. So kann davon ausgegangen werden, dass durch KI-Systeme betriebene Verfahren äußerst zügig vollzogen werden. Dadurch wird schlichtweg kaum Zeit bleiben, während des laufenden, konkreten Verwaltungsverfahrens Einsicht in die Akte zu nehmen und die Erforderlichkeit der Akteneinsicht darzulegen. Erforderlich ist eine Akteneinsicht dann, wenn sie der Wahrung der rechtlichen Interessen dient. Dies kann faktisch nur dann sein, wenn der Verfahrensausgang noch ungewiss ist.⁸³⁵ Ein ungewisser Verfahrensausgang impliziert eine bestimmte Dauer des Verfahrens, die bei vollautomatisierter Abwicklung eines Verfahrens nicht zwingend gegeben sein muss. Dies ist auf die erwartete Beschleunigung des Verfahrens durch den Einsatz von KI-Systemen zurückzuführen.⁸³⁶ Folglich ist davon auszugehen, dass sich die Akteneinsichtnahme mit dem Ziel den eigenen Rechtsschutzbedarf zu eruieren, auf den Zeitpunkt nach Abschluss des Verfahrens verschiebt. Dies spricht im Übrigen dafür, die Regelung zum Akteneinsichtsrecht zu modifizieren.⁸³⁷

Ein aus Art. 20 Abs. 2 GG i. V. m. Art. 83 ff. GG hergeleitetes Prinzip ist der Grundsatz der Verwaltungseffizienz.⁸³⁸ Der Effizienzgrundsatz besitzt eine verfahrensrechtliche Dimension. So ist im Sinne des Grundsatzes der Verwaltungseffizienz eine angemessene Zweck-Mittel-Relation zu beachten.⁸³⁹ Die Verwaltung hat mit ihren personellen, sächlichen und finanziellen Ressourcen möglichst schonend umzugehen.⁸⁴⁰ In Hinblick auf das Verwaltungsverfahren hat der Gesetzgeber den Grundsatz der Verwaltungseffizienz einfachgesetzlich verankert. Gemäß § 10 S. 2 VwVfG sind Verwaltungsverfahren einfach, zweckmäßig und zügig durchzuführen. Der Gesetzgeber intendiert mit dieser Regelung eine maßstabbildende Wirkung auf die Verwaltung.⁸⁴¹

Der Grundsatz der Verwaltungseffizienz darf auf das Verwaltungsverfahren bezogen, nicht auf die Zügigkeit des Verfahrens allein reduziert werden,⁸⁴² sondern ist vielmehr als eine Umschreibung verfahrensbezogener Verhältnismäßigkeit mit verwaltungspolitischen und ökonomischen Implikationen zu verstehen.⁸⁴³ Verwaltungsökonomische Erwägungen stellen keinen Grund zur Aussetzung anderweitiger Pflichten oder zur Reduzierung verwaltungsmäßiger Aufgaben in einem unzulässigen Maß dar.⁸⁴⁴ Effizienz kann und darf kein Selbstzweck sein.⁸⁴⁵

Es ist anerkannt, dass die Rechte der Bürger sowie die Pflichten der Verwaltung auf der einen Seite und der Grundsatz der Verwaltungseffizienz auf der anderen Seite ein Spannungsfeld zwischen den verschiedenen Interessen implizieren kann – wie zum einen der Rechtsschutz der Bürger und zum anderen das Gebot effizienter Verwaltung. Der Ausgleich dieses Spannungsfeldes muss in einer angemessenen Art und Weise erfolgen und kann nicht per se vom Grundrechtsschutz dispensieren.⁸⁴⁶ Der Ausgleich des Spannungsfeldes erfolgt regelmäßig über gesetzliche Ausnahmeregelungen, wie sie oben dargestellt sind.⁸⁴⁷ Mit diesem Ausgleich der Interessen und Anforderungen soll die Verwaltung vor einer Überforderung geschützt werden.⁸⁴⁸

Neben dem begrenzenden Charakter kann mit dem Grundsatz der Verwaltungseffizienz aber auch der Einsatz neuer Verfahren und Technologien begründet werden.⁸⁴⁹ Der Einsatz von KI-Systemen könnte mit Blick auf die Rechtssicherheit, die Effizienz und die Ressourcen der Verwaltung vorteilhaft sein und daher im Sinne des Grundsatzes der Verwaltungseffizienz nicht nur gerechtfertigt, sondern auch erforderlich sein. So ist – wie in Abschnitt 2.​3.​5 dargestellt – neben den rechtlichen Risiken auch eine punktuelle Erhöhung der Rechtssicherheit möglich.

Das Mehr an Rechtssicherheit kann dadurch freigesetzt werden, dass durch KI-Systeme getroffene Entscheidungen eine höhere Gleichförmigkeit und Verlässlichkeit aufweisen könnten. Insbesondere die Berücksichtigung vorangegangener Entscheidungen auf Grundlage qualitativ gut trainierter Systeme haben das Potenzial eine positive Wirkung zu entfalten. Daneben könnten insbesondere menschliche Fehlentscheidungen und ungleiche Entscheidungen vergleichbarer Sachverhalte vermieden werden. Dies entspräche einer Verwirklichung des Grundsatzes der Selbstbindung der Verwaltung und der Rechtsanwendungsgleichheit nach Art. 3 Abs. 1 GG.⁸⁵⁰

Unter dem Aspekt der höheren Effizienz, die KI-Systeme mit sich bringen können, ist zu verstehen, dass beispielsweise die für die Bearbeitung von Verwaltungsvorgängen relevanten Daten automatisiert ermittelt und bereitgestellt werden oder ein KI-System mithilfe einer Vorselektion Verwaltungsverfahren einleiten oder es den Verwaltungsbeschäftigten zur Bearbeitung vorschlagen könnte. Zeit- und personalaufwändige Routinearbeiten könnten somit vermieden und zugleich qualitätsgesicherte Entscheidungen mithilfe datengestützter Evidenzen gewährleistet werden. Die Datenbezogenheit kann sich auf alle Bereiche wie Beobachtung, Analyse, Vorhersage oder die Entscheidungen selbst beziehen.⁸⁵¹

Eng mit dem vorherigen Bereich verknüpft ist das allgemeine Potenzial, verwaltungsseitige Ressourcen zu schonen und gezielter einzusetzen. Insbesondere ist der Abbau von Routinearbeiten bei den Verwaltungsbeschäftigten zu nennen. Dadurch könnten möglicherweise Personalressourcen erschlossen werden, die zum einen für kreative und fachlich anspruchsvolle Tätigkeiten genutzt werden und zum anderen den prognostizierten Fachkräftemangel im öffentlichen Dienst abmildern könnten.⁸⁵²

Sofern die vorgenannten positiven Effekte in der praktischen Anwendung und Etablierung von KI-Systemen zu verwirklichen sind, ist dieses Mehr an rechtmäßigen Entscheidungen durch KI-Systeme im Sinne der Verwaltungseffizienz einzubeziehen. Hierdurch würde schlussendlich der Grundsatz der Gesetzmäßigkeit der Verwaltung gefördert und Verfahren, die durch rechtswidrige Entscheidungen entstehen, vermieden.

In Hinblick auf die in Abschnitt 2.​5 skizzierte Vision einer starken KI ist fraglich, ob die oben vorgenommene Bewertung des verfahrensrechtlichen Rahmens weiterhin Bestand hat. Bei KI-Systemen im Sinne des ersten Szenarios⁸⁵³ ist keine grundlegende Änderung in der juristischen Beurteilung zu erwarten. Denn in diesem Entwicklungsszenario würde die grundlegende technische Funktionsweise gleichbleiben. Die systemimmanenten Nachteile und Schwächen, die in Abschnitt 2.​4 herausgearbeitet sind, würden daher ebenso bestehen bleiben.

Anders könnte die juristische Bewertung in Hinblick auf die einzelnen Verfahrensregelungen sein, wenn eine KI im Sinne des zweiten Szenarios⁸⁵⁴ entwickelt würde. In diesem Szenario würde eine KI nicht nur zum Handlungs- und Verantwortungssubjekt erwachsen, sondern auch weitergehende Fähigkeiten besitzen. Dies könnte dazu führen, dass die Risiken und Schwächen gegenwärtiger KI-Systeme nicht auftreten würden – beispielsweise die mangelnde Fähigkeit zur Kontextualisierung. Da die Entwicklung einer solchen KI bloßen Annahmen folgt und auf keiner belastbaren Grundlage beruht, ist vorliegend eine differenzierte Auseinandersetzung mit den verfahrensrechtlichen Regelungen nicht angezeigt. Denn es kommt auf die konkreten Risiken, Nachteile und Schwächen eines Systems an, um eine Bewertung vornehmen zu können.

Ein Problem wird jedoch bestehen bleiben: das Antasten von Art. 1 Abs. 1 GG. Hier läge die primäre Schwierigkeit nicht darin, dass ein Abbau von verfahrensrechtlichen Regelungen oder eine Missachtung dieser Regelungen eine Gefahr des Antastens von Art. 1 Abs. 1 GG darstellen würde.⁸⁵⁵ Vielmehr bestünde das verfassungsrechtliche Problem in dem Beibehalten dieser Verfahrensgarantien unter gleichzeitiger Anwendung einer starke KI im Sinne des zweiten Szenarios. Es steht sodann in Rede, ob der Adressat einer Verwaltungsentscheidung, die von einer starken KI getroffen wird, nicht doch nur zu einem bloßen Objekt staatlichen Handelns wird.⁸⁵⁶

Im Rahmen gebundener Entscheidungen, in denen Minusmaßnahmen aufgrund der Verhältnismäßigkeit angezeigt sind, stellt der Einsatz von KI-Systemen ein strukturelles Risiko dar. Werden obligatorische Minusmaßnahmen durch ein KI-System nicht erkannt und getroffen, dürfte das Ergebnis staatlichen Handelns eine rechtswidrige Entscheidung sein. Folglich muss die Aussteuerung oder das Antizipieren einer Minusmaßnahme durch das KI-System möglich sein, wobei Letzteres wegen der technischen Funktionsweise schwierig umzusetzen ist.⁸⁶⁰ Wird ein KI-System ungeachtet möglicher Minusmaßnahmen eingesetzt und sind keine Maßnahmen getroffen, die rechtmäßige Entscheidungen gewährleisten, dürfte dieser Aspekt dazu führen, dass strukturell ein Verstoß gegen den Vorrang des Gesetzes vorliegt.

Bei gebundenen Verwaltungsentscheidungen beeinflusst der Grundsatz der Verhältnismäßigkeit staatlichen Handelns in erheblichem Maße den Einsatz eines KI-Systems. Es ist erforderlich, dass die betreffende Norm auf ihre Eignung für den KI-Einsatz überprüft wird, auch wenn es sich um eine gebundene Rechtsfolge handelt. Diese Überprüfung betrifft sowohl Rechtsfolge als auch das Verwaltungsverfahren, das ihr vorausgeht. So besteht zum einen das Problem verhältnismäßige Entscheidungen auch bei gebundenen Rechtsfolgen beim Einsatz eines KI-Systems sicherzustellen und zum anderen die Verhältnismäßigkeit im Verwaltungsverfahren bei gebundenen Entscheidungen einzuhalten.

Die alleinige Feststellung einer Norm, die eine gebundene Verwaltungsentscheidung vorgibt, ist kein ausreichendes Kriterium für den Einsatz eines KI-Systems. Eine solch angenommene Pauschalität birgt die Gefahr von rechtswidrigen Entscheidungen, die durch KI-Systeme getroffen werden, und impliziert somit ein gewisses Maß an Rechtsunsicherheit respektive einen Verstoß gegen den Grundsatz Vorrang des Gesetzes.⁸⁶¹

Weiter besteht bei dem Einsatz eines KI-Systems im Rahmen von gebundenen Entscheidungen die Frage der hinreichenden und ausreichenden Bestimmtheit der (unbestimmten) Rechtsbegriffe. Wenn eine inhaltliche Objektivierbarkeit des Rechtsbegriffs oder allgemein des Tatbestands nicht gegeben ist, ist zu prüfen, wie hoch der Grad der Unbestimmtheit ist. Daraus wäre sodann abzuleiten, ob beziehungsweise wie eine Auslegung der Rechtsbegriffe durch ein KI-System erfolgen kann.

Besonders zu berücksichtigen wäre, dass die gerichtliche Überprüfung der Auslegung auf die Funktionsgrenzen der Rechtsprechung begrenzt ist. An dieser Stelle darf kein Vakuum zwischen Fehlentscheidungen der KI-Systeme durch schlicht fehlerhafte respektive unterlassener Auslegung der unbestimmten Rechtsbegriffe und Funktionsgrenzen der Judikativen entstehen. Wäre dies der Fall, läge ein systemimmanenter Verstoß gegen die Gesetzmäßigkeit der Verwaltung vor, der möglicherweise zudem das Postulat der Unterwerfung des Menschen durch Maschinen erfüllen könnte.⁸⁶²

Unter Berücksichtigung der Ermessensfehlerlehre und dem Grundsatz der fehlerfreien Ausübung des pflichtgemäßen Ermessens ist festzustellen, dass KI-Systeme nicht in der Lage sind, das Ermessen gemäß den anerkannten rechtlichen Maßstäben auszuüben. KI-Systeme würden im Ergebnis eher ein freies Ermessen ausüben, das sich nicht ausschließlich an sachlichen, zweckmäßigen und rechtlichen Kriterien orientiert. Stattdessen sind für ein KI-System Statistik, Korrelation und Trainingsdatenlage für die (Verwaltungs-)Entscheidung maßgeblicher als die Würdigung des Einzelfalls.

Der Einsatz eines KI-Systems bei Ermessensentscheidungen birgt im Besonderen Schwierigkeiten in Bezug auf die Verhältnismäßigkeitsprüfung – und zwar auf allen Ebenen: die Feststellung des legitimen Zwecks, die Geeignetheitsprüfung, die Erforderlichkeitsprüfung und die Angemessenheitsprüfung.⁸⁶³

Die latente Rechtswidrigkeit von KI-basierten Ermessensentscheidungen dürfte die verfassungsrechtliche Grenze überschreiten.

Eine weitere verfassungsrechtliche Grenze im Sinne der Gesetzmäßigkeit der Verwaltung nach Art. 20 Abs. 3 GG stellt der Grundsatz eines effektiven Rechtsschutzes durch eine entsprechende Ausgestaltung des Verwaltungsverfahrens dar. Das Verwaltungsverfahren darf insbesondere – und möglicherweise in der Gegenrichtung wirkend – nicht so angelegt sein, dass die Rechtsschutzgarantie nach Art. 19 Abs. 4 GG vereitelt oder unzumutbar erschwert wird.⁸⁶⁴ So dürfen weder die Bürger in ihren Rechtsschutzmöglichkeiten noch die Nachprüfmöglichkeiten der Gerichte beschränkt werden.⁸⁶⁵ Denn die Ausgestaltung des Verfahrens bewirkt einen effektiven und materiellen Grundrechtsschutz.⁸⁶⁶ Das Bundesverfassungsgericht sieht in dem jeweiligen Verfahrensrecht die Verwirklichung eines Schutzauftrags. So hält das Bundesverfassungsgericht das Verfahrensrecht mit dem Grundrecht, dessen Schutz es bewirken soll, unvereinbar, wenn das Verfahrensrecht seine Aufgabe – den effektiven Grundrechtsschutz – nicht erfüllt oder es der Rechtsausübung so hohe Hindernisse entgegensetzt, dass die Gefahr einer Entwertung der materiellen Grundrechtsposition entsteht.⁸⁶⁷

Dies stellt nicht nur eine Grenze für die Verwaltung dar, die den Einsatz eines KI-Systems avisiert und die Disponibilität einzelner Verfahrensschritte in Erwägung zieht, sondern auch für den Gesetzgeber, der möglicherweise das Verfahrensrecht modifizieren oder an technische Erfordernisse anpassen möchte. Die Grenze für den Gesetzgeber wird dann erreicht sein, wenn der verfassungsrechtlich hergeleitete Rechtsschutzzweck der einzelnen Verfahrensregelung nicht mehr wirkt und keine adäquate Ersatzmaßnahme vorgesehen ist. Das Recht kann zwar an Neuerungen und weiterentwickelte Umweltumstände angepasst werden, es sollte aber keine technischen Unzulänglichkeiten unbilligerweise ausgleichen. Dies läge etwa in dem Umstand, dass KI-Systeme nicht transparent und nachvollziehbar sind, die Forschung zur explainable AI keine signifikanten Änderungen hervorbringt, aber trotzdem KI-Systeme unter Schwächung der Verfahrensrechte genutzt werden sollen. Dies ist aus verfassungsrechtlicher Perspektive mit Blick auf Art. 20 Abs. 3 GG kein zulässiges Vorgehen.

Die verfassungsrechtliche Grenze aus den einzelnen Verfahrensvorschriften ergeben sich aus dem Abschnitt 4.4 und umfassen insbesondere das Anhörungsrecht gemäß § 28 Abs. 1 VwVfG, den Untersuchungsgrundsatz nach § 24 Abs. 1 S. 1 VwVfG, das Akteneinsichtsrecht nach § 29 Abs. 1 S. 1 VwVfG respektive die datenschutzrechtlichen Auskunftsansprüche in Verbindung mit den entsprechenden Dokumentationserfordernissen und der Begründungspflicht nach § 39 Abs. 1 S. 1 VwVfG. Besonders relevant sind diese Vorschriften, da sie teilweise aus Art. 19 Abs. 4 GG herzuleiten sind.⁸⁶⁸ Die Erwägung hierzu ist, dass wenn Verfahrensrechte nicht eingehalten werden, das Ergreifen effektiver Rechtsschutzmaßnahmen durch die Bürger erheblich erschwert oder gar unmöglich gemacht wird, da sie im Zweifel keinen Ansatzpunkt haben, sich rechtlich zur Wehr zu setzen oder den Gerichten schlicht eine Überprüfung der Verwaltungsmaßnahme erschwert wird. Werden Verfahrensvorschriften so ausgestaltet, dass sie die Vorwirkung des Art. 19 Abs. 4 GG mit Blick auf den vorgelagerten Rechtschutz oder den gerichtlichen Rechtsschutz vereiteln oder unzumutbar erschweren, ist eine solche Ausgestaltung des Verfahrensrechts nicht mit Art. 19 Abs. 4 GG vereinbar und damit verfassungswidrig.⁸⁶⁹

Bezogen auf den automatisierten Erlass von Verwaltungsakten hat der Gesetzgeber bereits mit Normen wie § 35a VwVfG, § 31a SGB X und § 115 Abs. 4 S. 1 AO gesetzliche Regelungen geschaffen. Diese betreffen sowohl die Rechtsfolgenseite als auch die Tatbestandsseite. Dabei besitzen die Normen Gemeinsamkeiten sowie Differenzierungen. Für das allgemeine und technologiezentrierte Verwaltungsrecht ist § 35a VwVfG von zentraler Bedeutung.⁸⁷¹ Die Einführung von § 35a VwVfG ist eng mit der Einführung von § 155 Abs. 4 S. 1 AO verknüpft.⁸⁷² Konkret schlug der Finanzausschuss des Bundestags im Gesetzgebungsprozess zur Modernisierung des Besteuerungsverfahrens, bei dem auch § 155 Abs. 4 S. 1 AO Gegenstand war, eine einheitliche Fortentwicklung der drei Verfahrensordnungen – AO, VwVfG sowie SGB X – vor.⁸⁷³

Das supranationale Recht beinhaltet mit Art. 22 DSGVO eine zentrale datenschutzrechtliche Vorschrift, die die Verwendung von Systemen zur automatisierten Entscheidungsfindung respektive die Verwendung der gebildeten Entscheidung regelt. Die vorliegende Arbeit befasst sich nicht mit der grundsätzlichen datenschutzrechtlichen Zulässigkeit von KI-Systemen, sondern mit der Frage, welche Regelungen den Einsatz solcher Systeme in der Verwaltung substanziell bestimmen. Zur Beantwortung dieser Frage ist Art. 22 DSGVO mit dem Fokus auf Verwaltungsentscheidungen zu betrachten. Die datenschutzrechtliche Prüfung eines avisierten Einsatzes von KI-Systemen in der Verwaltung ist dennoch von herausragender Bedeutung und sollte dringend im Einzelfall vor der Etablierung eines KI-Systems untersucht werden.⁹²⁹

Zunächst ist zu anzumerken, dass die Datenschutzgrundverordnung für die Verwaltung Anwendung findet. Die DSGVO entfaltet aufgrund des supranationalen Rechtsaktes Verordnung gemäß Art. 288 AEUV eine unmittelbare Wirkung in den Mitgliedsstaaten. Hiervon ausgenommen sind beispielsweise diejenigen Behörden respektive Tätigkeitsbereiche von Behörden, die sich mit Verarbeitungsvorgängen nach den Zwecken des Art. 2 Abs. 2 lit. d DSGVO beschäftigen.⁹³⁰ Dies sind diejenigen Verarbeitungsvorgänge, die zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung, einschließlich des Schutzes vor und der Abwehr von Gefahren für die öffentliche Sicherheit vorgenommen werden.

Das Bundesdatenschutzgesetz regelt in zwei Normen die automatisierte Entscheidungsfindung – in den §§ 37 und 54 BDSG. Beide Vorschriften wirken sich nicht originär auf den Einsatz von KI-Systemen in der Verwaltung aus, sollen jedoch der Vollständigkeit halber nachfolgend skizziert werden.

Mit § 37 BDSG wird der Ausnahmetatbestand gemäß Art. 22 Abs. 2 lit. b DSGVO genutzt und eine automatisierte Entscheidungsfindung explizit per Rechtsvorschrift zugelassen. Diese nationale Ausnahmevorschrift adressiert Versicherungsverträge, Versicherungsleistungen und in Hinblick auf Art. 22 Abs. 4 DSGVO die Zulässigkeit der Verarbeitung von Gesundheitsdaten. Die mit § 37 BDSG geschaffene spezifische Rechtsvorschrift nach Art. 22 Abs. 2 lit. b DSGVO ist für die Verwaltung nicht von besonderer Relevanz.

Daneben sieht das Bundesdatenschutzgesetz mit § 54 BDSG eine weitere Norm vor, die eine Regelung zur automatisierten Entscheidungsfindung trifft. Bei dieser Norm, die im zweiten Teil des BDSG verankert ist, handelt es sich um die nationale Umsetzung einer unionsrechtlichen Vorschrift. Mit ihr wird Art. 11 der Richtlinie (EU) 2016/680 in nationales Recht umgesetzt. Sie gilt für diejenigen Behörden respektive Tätigkeitsbereiche von Behörden, die sich mit Verarbeitungsvorgängen nach den Zwecken des Art. 2 Abs. 2 lit. d DSGVO beschäftigen und damit in den Anwendungsbereich der Richtlinie (EU) 2016/680 fallen. Dies sind solche Verarbeitungsvorgänge, die zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von Straftaten oder der Strafvollstreckung, einschließlich des Schutzes vor und der Abwehr von Gefahren für die öffentliche Sicherheit vorgenommen werden. Für die Breite der Verwaltung findet § 54 BDSG somit keine Anwendung. Nichtsdestotrotz soll die Norm kurz skizziert werden.

Gemäß § 54 Abs. 1 BDSG ist eine ausschließlich auf einer automatischen Verarbeitung beruhende Entscheidung, die mit einer nachteiligen Rechtsfolge für die betroffene Person verbunden ist oder sie erheblich beeinträchtigt, nur zulässig, wenn sie in einer Rechtsvorschrift vorgesehen ist. § 54 Abs. 1 BDSG stellt demnach keine Rechtsgrundlage für eine automatisierte Entscheidungsfindung dar, sondern trifft allgemeine Regelungen. In einem Vergleich zu Art. 22 Abs. 1 DSGVO fällt auf, dass eine weitgehend inhaltsgleiche Regelung besteht. Daher sind die oben genannten Anforderungen und Auslegungen in Hinblick auf Art. 22 Abs. 1 DSGVO auf § 54 Abs. 1 BDSG zu übertragen. Dies betrifft insbesondere die Ausführungen und Überlegungen zum Merkmal der Ausschließlichkeit. Ein offenkundiger Unterschied zu den Tatbestandsmerkmalen des Art. 22 Abs. 1 DSGVO besteht im Hinblick auf die rechtliche Wirkung. So wird nach § 54 Abs. 1 BDSG keine rechtliche Wirkung im Sinne des Art. 22 Abs. 1 DSGVO vorausgesetzt, sondern es muss eine nachteilige Rechtsfolge bestehen.

Bezogen auf Art. 22 Abs. 1 DSGVO besteht ein Meinungsstreit in der Literatur, ob die dort vorgesehene rechtliche Wirkung ebenfalls einen nachteiligen, belastenden Charakter aufweisen muss. Mit § 54 Abs. 1 BDSG hat sich der Gesetzgeber eindeutig artikuliert, in dem er auf eine nachteilige Rechtsfolge abstellt. Hierbei übernimmt der nationale Gesetzgeber den Wortlaut des supranationalen Richtliniengebers. Gemäß Art. 11 Abs. 1 der Richtlinie (EU) 2016/680 wird gleichermaßen der Terminus nachteilige Rechtsfolge verwendet.

Der Ausgangspunkt für das Merkmal nachteilige Rechtsfolge ist aufgrund der Regelungsfunktion der Verwaltungsakt.⁹⁸⁷ Dieser muss zudem nachteilig sein. Folglich hat der Verwaltungsakt eine nachteilige, belastende Wirkung auf den Adressaten zu entfalten.⁹⁸⁸ Bei klassischen belastenden Verwaltungsakten ist eine nachteilige Rechtsfolge unstrittig. Darüber hinaus wird fraglich und im Einzelfall zu beurteilen sein, wie Verwaltungsakte einzuordnen sind, die lediglich partiell nachteilig wirken oder einer beantragten Begünstigung nicht voll nachkommen. Letztere werden im Polizei- und Sicherheitsbereich nicht maßgeblich sein oder zumindest eine untergeordnete Rolle einnehmen.

Die erhebliche Beeinträchtigung ist hingegen äquivalent zur erheblichen Beeinträchtigung des Art. 22 Abs. 1 DSGVO auszulegen. In den von § 54 Abs. 1 BDSG erfassten Fällen könnten beispielsweise Vorladungen⁹⁸⁹ oder das Führen einer Person auf einer schwarzen Liste, womit faktisch kein Flugzeug benutzt werden kann,⁹⁹⁰ erhebliche Beeinträchtigungen darstellen.

Im Ergebnis bedarf es, sofern ein KI-System die Tatbestandsmerkmale des § 54 Abs. 1 BDSG erfüllt, einer Ermächtigungsgrundlage. § 54 Abs. 1 BDSG stellt selbst keine Rechtsgrundlage für eine automatisierte Entscheidungsfindung dar.⁹⁹¹ Nur mit einer expliziten Rechtsvorschrift ist gemäß § 54 Abs. 1 BDSG eine automatisiert getroffene Entscheidung zulässig. Allgemeine polizei- und sicherheitsrechtliche Ermächtigungsgrundlagen zur Verarbeitung personenbezogener Daten sind nicht als Ermächtigungsgrundlage im Sinne des § 54 Abs. 1 BDSG heranzuziehen.⁹⁹²

Die spezifische Rechtsgrundlage muss nach unionsrechtlicher Auslegung von § 54 Abs. 1 BDSG angemessene Schutzmaßnahmen für die Rechte und Freiheiten der betroffenen Personen vorsehen.⁹⁹³ Diese können komplementär durch bestehende, nationale verfahrensrechtliche Schutzvorschriften umgesetzt werden – analog zu den Überlegungen zu Art. 22 DSGVO.⁹⁹⁴

Von besonderer Bedeutung für den Sicherheitsbereich ist das Verbot des diskriminierenden Profilings. Der Terminus Profiling ist in § 46 Nr. 4 BDSG legal definiert. So ist ausdrücklich verboten, auf Grundlage von besonderen Kategorien personenbezogener Daten, Betroffene im Rahmen eines Profilings zu diskriminieren.⁹⁹⁵

Schlussendlich enthält das BDSG keine gesonderten Vorschriften für die breite Verwaltung, die den Einsatz von KI-Systemen erheblich bestimmen.

Neben den Regelungen auf bundesgesetzlicher und supranationaler Ebene sind auch Normen auf Länderebene möglich, die den Einsatz von KI-Systemen in der eigenen Verwaltung adressieren. Gegenwärtig bestehen in zwei Ländern ausdrückliche verwaltungsrechtliche Regelungen über den Einsatz von KI-Systemen in der Verwaltung – Bayern und Schleswig-Holstein.

Die übrigen Länder halten keine spezifischen Regelungen vor. So haben sie entweder eine Parallelvorschrift zu § 35a VwVfG in ihren Landesverwaltungsgesetzen, verweisen dynamisch auf § 35a VwVfG oder treffen gar keine Regelung.⁹⁹⁶

§ 114 BBG hält spezielle Regelungen für die automatisierte Verarbeitung von Personalaktendaten vor. Nach dieser Vorschrift werden verschiedene Bereiche definiert, in denen eine automatisierte Verarbeitung zulässig oder unzulässig ist.

Die Vorschrift ist technikoffen formuliert, umfasst demnach deterministische Systeme und KI-Systeme. Neben der Regelung über Zulässigkeit und Unzulässigkeit der automatisierten Verarbeitung von Daten werden teilweise allgemeine datenschutzrechtliche Grundsätze konkretisiert. Beispielsweise wird mit § 114 Abs. 2 BBG der Grundsatz der Zweckbestimmung verdeutlicht. So wird gemäß § 114 Abs. 2 BBG explizit geregelt, dass Daten zu medizinischen Angelegenheiten der Beamten lediglich technisch und organisatorisch getrennt von anderen Daten automatisiert verarbeitet werden dürfen.

Zur Verhinderung von Fehlentscheidungen dürfen gemäß § 114 Abs. 4 BBG beamtenrechtliche Entscheidungen nicht ausschließlich auf eine automatisierte Verarbeitung personenbezogener Daten gestützt werden, die der Bewertung einzelner Persönlichkeitsmerkmale dienen.¹⁰²⁶

In einer Gesamtschau sind für den Einsatz von KI-Systemen in der Verwaltung § 114 BBG spezielle Vorgaben zu entnehmen, die für einzelne Verfahren von Bedeutung sein können, jedoch keine gesonderten Anforderungen darstellen, die eine überragende Strahlkraft oder Auswirkungen haben.

Im Jahr 2021 hat die Europäische Kommission einen Entwurf für eine Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz vorgelegt – das Gesetz über Künstliche Intelligenz (KI-VO-E)¹⁰²⁷. Das Europäische Parlament hat sich mit Beschluss vom 14.06.2023 zum Gesetzesentwurf verhalten und somit das Trilog-Verfahren eröffnet, das im Dezember 2023 abgeschlossen wurde.¹⁰²⁸ Durch Beschluss des Parlaments vom 13.06.2024 und der Veröffentlichung am 12.07.2024 im Amtsblatt der Europäischen Union trat die KI-VO am 01.08.2024 in Kraft¹⁰²⁹.¹⁰³⁰ Mit dieser Gesetzesinitiative verleiht die Europäische Union dem Feld der Künstlichen Intelligenz einen gesetzlichen Rahmen.

Ergänzend zur KI-VO hat die Europäische Kommission im Jahr 2022 die Entwürfe einer Produkthaftungsrichtlinie¹⁰³¹ und einer KI-Haftungs-Richtlinie¹⁰³² in das europäische Gesetzgebungsverfahren eingebracht.¹⁰³³ Die beiden Richtlinienentwürfe sollten neben der KI-VO beschlossen werden und komplementär wirken. Mit Beschluss vom 23.10.2024 und Veröffentlichung am 18.11.2024 im Amtsblatt der Europäischen Union trat die Produkthaftungsrichtlinie in Kraft.¹⁰³⁴ Die KI-Haftungs-Richtlinie befindet sich weiter im Gesetzgebungsprozess. Vorliegend wird im Hinblick auf die Forschungsfrage ausschließlich die KI-VO betrachtet.

Die Europäische Union sieht in der KI-Verordnung einen Treiber für Innovationen, in dem sie mit ihr einen verlässlichen Rahmen für die Entwicklung und Nutzung von KI-Systemen in der Europäischen Union vorgibt.¹⁰³⁵ Das Innovationspotenzial könnte dadurch gehoben werden, dass sich die Anbieter von KI-Systemen mit den Anforderungen der KI-VO auseinandersetzen und sich nach ihnen richten müssen, wenn sie ihre Produkte in den europäischen Markt einbringen wollen – sprich Innovation durch neue gesetzliche Rahmenbedingungen.¹⁰³⁶ Die Regulation bietet eine Möglichkeit der Gestaltung und Steuerung der neuen Technik.¹⁰³⁷ Aufgrund der spezifischen Vorgaben – insbesondere in Hinblick auf Verlässlichkeit, Transparenz und Nachvollziehbarkeit – sind bei der Entwicklung der KI-Produkte besondere Herausforderungen zu bewältigen.

Nach Art. 1 KI-VO ist es die Prämisse der KI-Verordnung, die Rechtssicherheit für KI-Systeme in der Europäischen Union zu erhöhen und die Grundrechte sowie Werte der Union zu schützen und zu wahren.¹⁰³⁸

In Hinblick auf die Zulässigkeit von KI-Systemen in der Verwaltung hat die Bundesregierung den Entwurf eines Gesetzes zur Stärkung der risikobasierten Arbeitsweise der Zentralstelle für Finanztransaktionsuntersuchungen vorgelegt.¹⁰⁹³ Der Gesetzesentwurf zielt nicht auf die grundsätzliche Regulierung des KI-Einsatzes in der Verwaltung ab. Vielmehr werden verschiedene gesetzliche Handlungserfordernisse in Hinblick auf die Geldwäschebekämpfung gesehen, wie beispielsweise die rechtliche Absicherung des risikobasierten Prüfansatzes der Zentralstelle für Finanztransaktionsuntersuchungen.

In diesem Kontext und zur Sicherstellung einer rechtmäßigen und effektiven Aufgabenwahrnehmung durch die Zentralstelle für Finanztransaktionsuntersuchungen strebt die Bundesregierung an, eine gesetzliche Grundlage für den Einsatz eines automatisierten Verfahrens zu schaffen. Konkret soll normiert werden, dass die Zentralstelle für Finanztransaktionsuntersuchungen befugt ist, automatisierte Verfahren zur Risikobewertung sowie zur operativen und strategischen Analyse unter Verwendung personenbezogener Daten einzusetzen.¹⁰⁹⁴ Hierbei sollen auch selbstlernende Systeme zulässig sein. Dies zeigt sich darin, dass in Art. 1 Nr. 3 lit. b des Gesetzesentwurfs der Bundesregierung zur Stärkung der risikobasierten Arbeitsweise der Zentralstelle für Finanztransaktionsuntersuchungen ausdrücklich selbstlernende Systeme benannt werden. Ebenso unterstreicht die Bundesregierung in ihrer Begründung zum Gesetzesentwurf, dass sowohl regelbasierte als auch selbstlernende Systeme eingesetzt werden können.¹⁰⁹⁵

Mit Blick auf die Handlungsinstrumente der Verwaltung ist das vorliegend geplante Verfahren dem internen Verwaltungshandeln zuzuordnen. Eine unmittelbare Außenwirkung – beispielsweise wie bei einem Verwaltungsakt – wird durch den Einsatz eines KI-Systems im Sinne des Gesetzesentwurfs zur Stärkung der risikobasierten Arbeitsweise der Zentralstelle für Finanztransaktionsuntersuchungen weder angestrebt noch erreicht. In der Perspektive der Klassifizierung eines solchen Systems – beispielsweise nach dem schleswig-holsteinischen Ansatz aus dem IT-Einsatz-Gesetz SH – wäre von einem System der Stufe 1, ein Assistenzsystem, auszugehen. In der Begründung zum Gesetzesentwurf stellt die Bundesregierung explizit auf den vorbereitenden Charakter des automatisierten Verfahrens ab.¹⁰⁹⁶

Neben dem originären Einsatz zu Analysezwecken soll zugleich eine Erlaubnisnorm für das Training von selbstlernenden Systemen geschaffen werden. Nach Art. 1 Nr. 3 lit. c des Gesetzesentwurfs der Bundesregierung zur Stärkung der risikobasierten Arbeitsweise der Zentralstelle für Finanztransaktionsuntersuchungen soll die Verarbeitung von personenbezogenen Daten für das Training von später einzusetzenden Systemen zulässig sein. Die Bundesregierung geht davon aus, dass mit anonymisierten oder pseudonymisierten Daten kein erfolgreiches Trainieren der Systeme möglich ist und daher die Verwendung von personenbezogen Daten erforderlich wird. Der Gesetzesentwurf greift an dieser Stelle einen relevanten Punkt auf. Auch wenn in der vorliegenden Untersuchung die datenschutzrechtlichen Rahmenbedingungen nicht untersucht werden, drängt sich die Frage nach der Erlaubnisnorm für die Verarbeitung personenbezogener Daten durch staatliche Stellen zum Zwecke des KI-Systemtrainings auf. Die Bundesregierung löst dieses rechtliche Spannungsfeld, in dem sie mit dem Gesetzesentwurf eine explizite formell-gesetzliche Erlaubnisnorm schaffen möchte.

Mit Art. 1 Nr. 3 lit. b des Gesetzesentwurfs der Bundesregierung zur Stärkung der risikobasierten Arbeitsweise der Zentralstelle für Finanztransaktionsuntersuchungen soll ausgeschlossen werden, dass personenbezogene Daten aus allgemein zugänglichen Quellen vollständig automatisiert verarbeitet werden. Damit ist ein Webcrawling oder ähnliche Verfahren zur Informationsgewinnung und -verarbeitung innerhalb des automatisierten Verfahrens nicht zulässig. Die Regelung schließt hingegen das manuelle Einbeziehen personenbezogener Daten aus allgemein zugänglichen Quellen nicht aus. Art. 1 Nr. 4 lit. b des Gesetzesentwurfs der Bundesregierung zur Stärkung der risikobasierten Arbeitsweise der Zentralstelle für Finanztransaktionsuntersuchungen sieht daneben vor, dass eine Übermittlung von auffälligen Sachverhalten an Strafverfolgungsbehörden nach § 32 Abs. 2 S. 1 GwG nur durch einen Amtswalter veranlasst werden darf.

Die beiden vorgenannten Regelungen begrenzen die technische Funktionsweise eines automatisierten Verfahrens. Das Verwaltungsverfahren an sich wird mit dieser Norm nicht limitiert oder eingeschränkt. Es wird jedoch sichergestellt, dass an diesen Verfahrensstellen menschliche Bearbeiter agieren müssen. Damit soll den Entscheidungen des Bundesverfassungsgerichts zur automatisierten Datenzusammenführung und -analyse Rechnung getragen werden.¹⁰⁹⁷ Insbesondere in der Entscheidung des Bundesverfassungsgerichts zu § 25a HSOG HE und § 49 PolDVG HH vom 16.02.2023¹⁰⁹⁸ wird festgestellt, dass eine neue, eigenständige Grundrechtsverletzung durch das Zusammenführen von Daten entstehen kann. Durch eine systembedingte Zusammenführung von Daten können neue Erkenntnisse zu persönlichkeitsrelevanten Informationen entstehen, die ohne automatisierte Auswertung nicht erlangt worden wären.¹⁰⁹⁹ Insbesondere die Niederschwelligkeit der Datenverarbeitung in dem vorliegenden Bereich, der an der Anlasslosigkeit grenzt,¹¹⁰⁰ verlangt eine gesetzliche Rechtfertigung.¹¹⁰¹ Mit dieser gesetzlich vorgesehenen Begrenzung wird die Informationsverfügbarkeit auf staatlicher Seite rechtlich begrenzt, was günstig für die Bewertung einer möglichen Grundrechtsbelastung wirkt.

Nähere KI-spezifische Vorschriften über Schutzmaßnahmen in Hinblick auf den Einsatz von selbstlernenden Systemen sieht die Bundesregierung nicht vor. So ist alleinig mit Art. 1 Nr. 6 des Gesetzesentwurfs zur Stärkung der risikobasierten Arbeitsweise der Zentralstelle für Finanztransaktionsuntersuchungen vorgesehen, dass bestimmte Angaben über die geplante Verarbeitung personenbezogener Daten mithilfe eines automatisierten Systems dokumentiert werden müssen. Dieses Dokumentation- und Transparenzerfordernis erinnert in seinem Wesen an Art. 30 DSGVO.

Weitergehende Schutzmaßnahmen – wie sie beispielsweise Art. 22 DSGVO¹¹⁰² verlangen würde – sind nicht vorgesehen.¹¹⁰³ Solche dürften de lege lata auch nicht erforderlich sein. Ein mit dem Gesetzesentwurf angedachtes automatisiertes Verfahren, das auf selbstlernenden Algorithmen beruhen könnte, wird ein internes Verfahren darstellen, das keine unmittelbare Außenwirkung entfaltet. Demnach dürfte Art. 22 DSGVO nicht einschlägig sein, da keine Person einer auf einer ausschließlich automatisierten Verarbeitung beruhenden Entscheidung unterworfen sein wird, die eine rechtliche Wirkung entfaltet oder in ähnlicher Weise erheblich beeinträchtigt. So besteht im Sinne des Art. 22 DSGVO folglich kein zwingendes Erfordernis weitere Schutzmaßnahmen zu ergreifen.

Da mit dem Gesetzesentwurf der Bundesregierung zur Stärkung der risikobasierten Arbeitsweise der Zentralstelle für Finanztransaktionsuntersuchungen – bis auf die Erklärung der Zulässigkeit des KI-Einsatzes – kein regulatorischer Rahmen für KI-Systeme gesetzt wird, kann diese Gesetzesinitiative vorliegend vernachlässigt werden. Unter der Prämisse der Verarbeitung personenbezogener Daten unter Anwendung leistungsfähiger KI-Modelle und in Hinblick auf die oben skizzierte Rechtsprechung des Bundesverfassungsgerichts erscheint eine formell-gesetzliche Grundlage als sachgerecht und angezeigt.

Wann im konkreten Fall eine formell-gesetzliche Ermächtigungsgrundlage erforderlich ist, kann anhand zweier, nicht kumulativer Merkmale bestimmt werden, die beide unter der Überschrift der Wesentlichkeit gefasst werden können.

Zum einen wird ein formelles Gesetz immer dann erforderlich sein, wenn der Staat in die Grundrechte eingreift.¹¹⁰⁸ Ebenso können staatliche Maßnahmen, die die Eingriffsschwelle nicht überschritten haben, aber eine gewisse Grundrechtsrelevanz besitzen, das Erfordernis einer formell-gesetzlichen Ermächtigungsgrundlage auslösen.¹¹⁰⁹ Welche Anforderungen an ein Gesetz gestellt werden, das unter dieses Merkmal subsumiert wird, kann vorliegend aufgrund des Untersuchungsgegenstands dahinstehen.¹¹¹⁰ Relevant ist, dass als Mindestanforderung jedenfalls der Grundrechtseingriff in seinen wesentlichen Grundzügen durch ein Parlamentsgesetz determiniert sein muss.¹¹¹¹

Zum anderen ist ein formelles Gesetz unabdingbar, wenn in grundlegenden normativen Bereichen wesentliche Entscheidungen im engeren Sinne zu treffen sind.¹¹¹² Bei diesem Merkmal sind wiederum die Grundrechte respektive die potenzielle Verwirklichung der Grundrechtsausübung zur Beurteilung der Wesentlichkeit der Materie heranzuziehen.¹¹¹³ Die Grundrechtswesentlichkeit stellt einen Orientierungspunkt zur Beurteilung dar, ob eine Materie im Sinne der Wesentlichkeitstheorie betroffen ist.¹¹¹⁴

Daneben sind zur Bestimmung der Wesentlichkeit weitere Verfassungsprinzipien und die Staatszielbestimmungen zu berücksichtigen, sofern sie von der jeweiligen Materie berührt sein könnten.¹¹¹⁵ Im Übrigen kann die Wesentlichkeit gegeben sein, wenn eine Materie vorliegt, die für Staat und Gesellschaft von erheblicher Bedeutung ist.¹¹¹⁶ Die Wesentlichkeit ist im Ergebnis nach der Bedeutung der in Rede stehenden Rechtsgüter und dem Grad der Betroffenheit dieser Rechtsgüter zu beurteilen.¹¹¹⁷

Wie aus den Merkmalen zur Bestimmung der Erforderlichkeit eines Parlamentsgesetzes ersichtlich ist, besteht kein Totalvorbehalt formeller Gesetze.¹¹¹⁸ Ein Totalvorbehalt wäre allein deshalb nicht im Einklang mit der Verfassung, weil dies eine Kompetenz- und Machtverschiebung zwischen den Gewalten zur Folge hätte.¹¹¹⁹ So ist auch der umgekehrte Fall – die Delegation der Regelung der wesentlichen Fragen im Sinne des Grundsatzes des Vorbehalts des Gesetzes – auf die Gubernative oder die Exekutive verfassungsrechtlich nicht zulässig.¹¹²⁰ Hingegen wird es – je nach konkretem Regelungsgegenstand und Fallkonstellation – zulässig sein, bestimmte noch zu treffende Ausformungen zu delegieren, die nicht einem Kernbereich im Sinne der Wesentlichkeitstheorie zuzuordnen sind.

Die Reichweite und Bestimmbarkeit des Regelungsgebots beziehungsweise des Delegationsverbots wird ebenfalls über die Erwägungen der Wesentlichkeitstheorie zu lösen sein.¹¹²¹ Je grundrechtsintensiver ein Eingriff anzunehmen ist, desto höher muss die Regelungsdichte sein, damit eine höhere Legitimität erreicht wird.¹¹²² Denn insbesondere dann gilt, dass über den Parlamentsvorbehalt sichergestellt werden soll, dass der Öffentlichkeit die Tragweite der Regelung bewusst wird, sie dazu Stellung beziehen kann und das Parlament gezwungen ist, die Notwendigkeit und das Ausmaß der potenziellen Grundrechtseingriffe in einer öffentlichen Debatte zu klären.¹¹²³ Ferner eröffnet der Gang durch das parlamentarische Verfahren einen höheren Grad an Publizität.¹¹²⁴ Ist eine spezifische Regelung durch das Parlament nicht erforderlich, sondern wird eine untergesetzliche Rechtsgrundlage verfassungsrechtlich ausreichend sein, muss diese zumindest auf eine parlamentarische Ermächtigung zurückzuführen sein.¹¹²⁵

In Hinblick auf stark technisch geprägte Sachverhalte darf sich der Gesetzgeber nach Auffassung des Bundesverfassungsgerichts im Grundsatz darauf beschränken, hinreichend genaue Zielvorgaben zu machen.¹¹²⁶ Die Sichtweise ist sachgerecht, da mit ihr die vorhandenen Kompetenzen der Verwaltung adäquat genutzt werden und die Legislative ihrem Auftrag nachkommt, eine Regelung über das Wesentliche zu treffen. Zu erwarten ist, dass das Parlament einen klar kontinuierten Rahmen vorgibt, in dem sich die Verwaltung aus fachlich-technischer Perspektive entfalten kann, aber gleichwohl die demokratische und rechtsstaatliche Intention des Parlamentsvorbehalts gewahrt bleibt.

Wann die Grenze der Wesentlichkeit einer potenziell zu regelnden Materie erreicht wird und wie weit das Regelungsgebot respektive das Delegationsverbot reicht, ist nicht trennscharf definierbar.¹¹²⁷

Die Folge einer Nicht-Beachtung des Grundsatzes des Vorbehalts des Gesetzes ist in Ermangelung einer Ermächtigungsgrundlage die Rechtswidrigkeit der Verwaltungsmaßnahme.¹¹²⁸

In Abschnitt 4.6.1.3 ist in Hinblick auf § 35a VwVfG herausgearbeitet worden, dass dieser Norm eine Kompetenzfunktion zuzuschreiben ist. Demnach obliegt es nicht der Verwaltung über den Einsatz vollständig automatisierter Verwaltungsakte zu entscheiden, sondern dem zuständigen Fachgesetz-, Verordnungs- oder Satzungsgeber. Denn § 35a VwVfG regelt explizit, dass vollautomatisierte Verwaltungsakte nur zulässig sind, wenn sie ausdrücklich durch fachspezifische Gesetze erlaubt werden. § 35a VwVfG kann daher nicht als Ermächtigungsgrundlage für den Einsatz automatisierter Entscheidungen herangezogen werden, sofern der Vorbehalt des Gesetzes dies erfordert.

In diesem Zusammenhang ist aus § 35a VwVfG der Wille des Gesetzgebers zu erkennen, dass zumindest eine materiell-gesetzliche Grundlage für den Einsatz von automatisierten Entscheidungssystemen notwendig sein soll. Damit zeichnet sich in Hinblick auf die vorstehenden Ausführungen zum Gesetzesvorbehalt bereits eine Abstufung ab. So läge im Zweifel keine formell-gesetzliche Ermächtigungsgrundlage vor. Ob ein parlamentarisches Gesetz beim Einsatz eines KI-Systems im Rahmen von Verwaltungsentscheidungen erforderlich ist, ist im Einzelfall zu prüfen.

Die abschließende Beurteilung wird vom konkreten KI-System, von den Umständen des (Regelungs-)Gegenstands, den mit dem KI-System und den Umweltumständen einhergehenden rechtlichen und faktischen Risiken und Gefahren sowie der verfahrenstechnischen Ausgestaltung abhängen.¹¹²⁹ Insbesondere die Zuordnung zu bestimmten Bereichen der Exekutiven könnte besondere Wesentlichkeitserwägungen auslösen. Zu denken ist an den Polizei- und Sicherheitsbereich, der aus sich heraus mit einer relevanten Eingriffsintensität belegt ist. Vorliegend können lediglich vom Einzelfall losgelöst, Indizien gesammelt und gewürdigt werden, die eine Tendenz zur Bedeutsamkeit des Grundsatzes des Vorbehalts des Gesetzes in Bezug auf den Einsatz von KI-Systemen für Verwaltungsentscheidungen erkennen lassen. Hierbei sind fünf Bereiche zu nennen, die sich teilweise überschneiden und gegenseitig bedingen, jedoch einzeln und sodann kumuliert betrachtet, den Schluss über eine Tendenz mit dem Umgang des Vorbehalts des Gesetzes zulassen.