2. KI-Systeme

Zunächst ist der technische Aufbau, respektive die Methode, zu betrachten. Der Aufbau bei KI-Technologien ist weit diversifiziert, kann aber bei einer groben Betrachtung auf zwei wesentliche Säulen reduziert werden: das maschinelle Lernen als technische Funktionsweise und künstliche neuronale Netze, sprich Deep Learning, als besonderer technischer Aufbau. Daneben ist eine Sonderform des maschinellen Lernens aus der rechtswissenschaftlichen Perspektive erwähnenswert: das föderale Lernen.

Neben der Annäherung an eine Definition von KI über die technische Architektur ist eine andere, komplementäre Herangehensweise möglich – die Betrachtung der Art der Lernmethode beziehungsweise das technische Lernverfahren. Die Art der Lernmethode ist deshalb komplementär zum technischen Aufbau, weil diese auch als Lernaufgabe des maschinellen Lernens bezeichnet wird.⁶⁰ Es werden insbesondere drei technische Lernverfahren unterschieden: das überwachte Lernen (supervised machine learning), das unüberwachte Lernen (unsupervised machine learning) und das verstärkende Lernen (reinforcement machine learning).⁶¹ Alle Lernmethoden können sowohl für klassische Verfahren des maschinellen Lernens verwendet werden als auch für künstliche neuronale Netze (Abbildung 2.1).⁶²

Bild vergrößern

Neben der technischen Architektur und dem Lernverfahren ist eine weitere Betrachtungsweise zur Annäherung an eine Definition von KI-Systemen die Fokussierung des Ergebnisses. Der Vorteil könnte darin bestehen, dass die technisch geprägten Fragestellungen der KI-Wissenschaft ausgeklammert werden. Denn eine vertiefte Auseinandersetzung mit den Funktionsweisen von technischen Systemen dürfte für andere Wissenschaftsdisziplinen – wie beispielsweise der Rechtswissenschaft – zur Beantwortung einer disziplineigenen Forschungsfrage nicht zwingend notwendig sein.

So liefert der Branchenverband bitkom eine auf Einsatzzwecke gerichtete Einteilung von KI-Systemen – das Periodensystem der Künstlichen Intelligenz.⁸¹ Mit dieser Einteilung kann nicht nur eine Kategorisierung von KI-Anwendungen in die Gruppen assess-, infer- oder respond-Systeme⁸² vorgenommen werden, sondern es kann vielmehr auch eine Negativabgrenzung vollzogen werden, um zu bestimmen, welche technischen Systeme nicht der KI zuzuordnen sind. Demnach wäre ein System nicht als Künstliche Intelligent zu klassifizieren, wenn es keiner der im Periodensystem genannten Gruppen zuordenbar ist (Abbildung 2.2).

Bild vergrößern

In dem Periodensystem der KI werden 28 KI-Elemente determiniert und nach den Gruppen asses, infer und respond kategorisiert. In die Kategorie asses fallen alle KI-Systeme, die der Erkennung oder Analyse dienen wie beispielsweise Sprach-, Emotions- oder Texterkennung. Die infer-Gruppe umfasst insbesondere Vorhersage- und Repräsentationssysteme. Unter der dritten Kategorie, die respond-Systeme, wird primär die autonome Steuerung von Fahrzeugen, Maschinen oder Robotern subsumiert.

Der Grundgedanke des Periodensystems der KI ist auch in anderen Ansätzen wiederzufinden. So ist an anderer Stelle eine vergleichbare, ergebnisorientierte Kategorisierung zu finden.⁸³ Losgelöst von dieser Kategorisierung kann eine Einteilung nach den konkreten Anwendungsfelder erfolgen wie beispielsweise Systeme zur Sprachverarbeitung, Bildverarbeitung, Expertensysteme oder Roboter.⁸⁴ Diese können wiederum erheblich divergieren. So können unter dem Begriff Sprachverarbeitung einfachere Systeme wie die Verarbeitung von Sprache in Text verstanden werden, aber auch Hochleistungs-Chatbots wie das autonome Debattiersystem von IBM.⁸⁵ Dahinstehend welcher Kategorisierung die Anwendungen zugeordnet sind, haben diese gemein, dass sie in ihrem Teilbereich eigenständig kognitive Aufgaben – vergleichbar mit dem Menschen – lösen.⁸⁶ Diese Fähigkeit ist zugleich die Schwelle zur Klassifizierung als System der Künstlichen Intelligenz in dem nach Einsatzwecke definierten Sinne.

Neben den Einsatzzwecken und Anwendungsfeldern ist die Art und Weise des Einsatzes bezogen auf die Rolle des Systems eine weitere Betrachtungsweise. Die Differenzierung ergibt sich aus der Rolle des Systems und dem Zusammenspiel mit dem Menschen. Als oberstes Merkmal kann danach unterschieden werden, ob ein KI-System als entscheidungsunterstützendes oder entscheidendes System eingesetzt wird. Innerhalb dieser beiden Kategorien können Abstufungen des Autonomiegrads vorgenommen werden.⁸⁷ Die höchste Stufe repräsentiert Systeme, die autonom Aufgaben erledigen und selbstständig ohne menschliches Zutun entscheiden.⁸⁸

Eine weitere Näherungsmöglichkeit an einen Definitionsansatz von Künstlicher Intelligenz ist die Klassifizierung– respektive der Grad oder die Ausprägung – der Intelligenz des jeweiligen Systems.

Wie oben beschrieben ist die Begrifflichkeit Intelligenz in diesem Sinne enggeführt und nicht unmittelbar mit dem Intelligenzbegriff anderer Wissenschaftsdisziplinen vergleichbar. Die grundsätzliche Determination des Begriffs Intelligenz im Sinne der Künstlichen Intelligenz bezieht sich auf eine möglichst schnelle und effiziente Lösung von Aufgaben.⁸⁹ Maßgeblich für die Intelligenz von Systemen nach dem gegenwärtigen Verständnis ist insbesondere die Selbstständigkeit und die Effizienz des Problemlösungsverfahrens.⁹⁰ Darüber hinaus wird einem System dann Künstliche Intelligenz in einer stärkeren Ausprägung zugeschrieben, wenn menschliche Intelligenz und menschliche, universelle Fähigkeiten nachgebildet werden.⁹¹ Es wird zwischen schwacher KI und starker KI unterschieden.⁹²

Im Umkehrschluss wird ein System, dass die Merkmale der untersten Ebene von Künstlicher Intelligenz unterschreitet, also der schwachen KI, nicht als KI-System klassifiziert.

Von besonderem Interesse ist die Frage, wie die Rechtswissenschaft auf den Terminus Künstliche Intelligenz blickt. Denn für einen fachlichen Diskurs, bei dem Argument und Gegenargument ausgetauscht sowie unterschiedliche Perspektiven eingebracht werden, muss eine weitestgehende Einigkeit über die Determination des Begriffs bestehen. Das bedeutet nicht, dass die Rechtswissenschaft eine disziplineigene, technische Begriffsbestimmung für eine Forschungsthematik entwickelt, die maßgeblich durch andere Wissenschaftsdisziplinen geprägt und dominiert ist. Vielmehr erscheint es zweckdienlich zu sein, die für die Beantwortung rechtlicher Fragestellungen entscheidenden Kennzeichen eines KI-Systems zu ermitteln. Obgleich der fortschreitenden Entwicklung technischer Lösungen, die die Betrachtungsweise von KI-Systemen stetig verändern dürfte, ist ein gegenwärtiger Blick auf einen Definitionsansatz zu werfen.¹¹⁰

Auch wenn es zur Thematik diverse Publikationen gibt, scheint eine einheitliche, anerkannte Definition des Begriffs Künstliche Intelligenz aus einer rechtswissenschaftlichen Perspektive nicht eindeutig erkennbar zu sein. Vielmehr stößt die These der Nicht-Definierbarkeit von Künstlicher Intelligenz teilweise auf Zustimmung, was mit der technischen Komplexität und Diversität der Materie verbunden sein könnte.¹¹¹

Dennoch gibt es zahlreiche Ansätze, die die technische Funktionsweise zugrunde legen und sich an dieser orientieren, ohne die Undefinierbarkeit zu bemühen.¹¹² Daneben existieren auffallend tiefe Auseinandersetzungen mit dem Begriff Künstliche Intelligenz, die insbesondere den technischen Hintergrund adressieren.¹¹³

Neben der rechtswissenschaftlichen Sichtweise auf KI-Systeme ist die Betrachtungsweise anderer Akteure wie die Exekutive, Legislative und dazugehörige Expertengremien von besonderem Interesse.

Dieser Bereich ist auf zwei Ebenen bedeutend. Einerseits werden durch diese Akteure die gesetzlichen Grundlagen geschaffen oder mitgestaltet. Andererseits sind sie maßgeblich für die Ausführung der gesetzlichen Vorgaben zuständig. Zu konstatieren ist hierbei, dass bei der Ausführung gesetzlicher Vorgaben der Verwaltung eigene Gestaltungsspielräume obliegen.¹³⁷ Der Exekutiven ist daneben zuzurechnen, dass sie unter bestimmten Bedingungen für nicht gesetzlich statuierte Bereiche, Raum für Innovationen in der Verwaltungspraxis durch reales Handeln hat.¹³⁸ Dies zeigt sich insbesondere in den Aktivitäten der Behörden und Regierungen. Ein besonderes Feld sind hier die Strategien der Regierungen im Umgang mit KI-Systemen in der eigenen Verwaltung.¹³⁹

Künstliche Intelligenz stellt einen Forschungsbereich dar, der sich im Wesentlichen auf die Informatik bezieht, aber dennoch auf viele weitere Disziplinen erstreckt und dadurch stark interdisziplinär geprägt ist. Daneben ist zu konstatieren, dass die Thematik Künstliche Intelligenz zum einen aus unterschiedlichen Blickwinkeln wie beispielsweise der Informatik, Philosophie, Linguistik oder der Rechtswissenschaft betrachtet werden kann, zum anderen innerhalb dieser Disziplinen wiederum divergierende Ansätze und Verständnisse von Künstlicher Intelligenz bestehen.

Zunächst ist die grundsätzliche Frage zu stellen, ob eine eigene Definition für die Rechts- und Verwaltungswissenschaften zur Bearbeitung von Fragestellungen im Zusammenhang mit KI-Systemen erforderlich ist. Diese Frage ist differenziert zu betrachten. Auf der einen Seite dürfte es dahinstehen können, ob die Rechts- und Verwaltungswissenschaften in der Diskussion um die technische Beurteilung und Definition eine führende Rolle einnehmen und Standards setzen. Dies kann aus der Natur der Sache heraus nicht zu einem befriedigenden Ergebnis führen. Auf der anderen Seite ist es sowohl für die Rechts- und Verwaltungswissenschaften als auch für die vorliegende Arbeit wichtig, einen im rechtlichen Sinne arbeitsfähigen Definitionsansatz und damit einen Grundkonsens für den Diskurs zu finden. Nur wenn dies gelingt und damit ein gemeinsames Verständnis über die Termini innerhalb dieser Disziplinen erzeugt wird, kann auch eine Fachdiskussion sachgerecht geführt werden. Denn wie sollte andererseits eine fachliche Auseinandersetzung aussehen, wenn die Diskutanten von unterschiedlichen Determinationen ausgehen.

Eine wesentliche Grundlage für die Arbeit einer Verwaltung im demokratischen Rechtsstaat ist das Vertrauen und die Akzeptanz der Bürger.²⁴¹ KI-Systeme können dazu führen, dass Verwaltungshandeln und insbesondere Verwaltungsentscheidungen eine höhere Akzeptanz erfahren. Dies könnte dann der Fall sein, wenn ein System, das auf Künstlicher Intelligenz beruht, vom Adressaten – dahinstehend ob verwaltungsintern oder -extern – als Expertensystem angesehen wird. Die Wahrnehmung eines KI-Systems als Expertensystem ist ein wesentlicher Zugewinn für eine höhere Entscheidungsakzeptanz. Denn bei der Zuschreibung von bestimmten Eigenschaften wie eine erhöhte Glaubwürdigkeit und Kompetenz von Experten kommt es nicht allein auf die kognitiven Fähigkeiten und das Fachwissen der Experten an, sondern es sind daneben soziale Aspekte von Bedeutung. Letztendlich ist die allgemeine Anerkennung als Experte ausschlaggebend für eine höhere Glaubwürdigkeit und ein gesteigertes Vertrauen.²⁴² Das entscheidende Phänomen ist die erhöhte Glaubwürdigkeit und die Kompetenzzuschreibung, die mit einem Expertenstatus einhergeht. Bei entscheidungsunterstützenden Systemen ist jedenfalls zu beobachten, dass eine Tendenz besteht, die systemgenerierte Entscheidung ungeprüft zu übernehmen.²⁴³ Nun ist dies zunächst eine Korrelation. Denn das Übernehmen einer KI-Empfehlung muss nicht zwingend auf ein absolutes Vertrauen gegenüber einem KI-System oder eine dahingehende höhere Glaubwürdigkeit zurückzuführen sein, sondern kann ebenso durch eine Passivität der handelnden Person begründet werden. So beschreibt Hoffmann-Riem ein Korrelationsargument, wonach eine menschliche Kontrolle etwa durch einen Verwaltungsbeschäftigten aufgrund der Undurchschaubarkeit und Komplexität des Systems faktisch nicht möglich ist.²⁴⁴ Das ungeprüfte Übernehmen des KI-Entscheidungsvorschlags wäre demnach durch die Nicht-Nachvollziehbarkeit des Zustandekommens der KI-Entscheidung bedingt und nicht durch einen vermeintlichen Expertenstatus, das dem KI-System zugeschrieben wird.

Auf der anderen Seite gibt es Ansätze, die für eine Kausalität sprechen. Die Leistungsfähigkeit eines KI-Systems dürfte sich hier aufdrängen. So ist es schon bei schlichten algorithmischen Systemen zur Durchführung von mathematischen Operationen nicht von der Hand zu weisen, dass die dort gelieferten Ergebnisse zum einen regelmäßig schneller produziert werden als vom Menschen und zudem zuverlässiger sind. Wird dieser Gedanke auf ein KI-System übertragen, das beispielsweise tausende vorangegangene Verwaltungsentscheidungen analysieren kann und seine Prognose auf diesen Datenbestand stützt, könnte dies dazu führen, dass das Ergebnis nicht angezweifelt wird, sondern vielmehr eine bedeutsame, individuelle Legitimation erfährt.²⁴⁵

Grundsätzlich ist die individuelle Wahrnehmung einer KI-generierten Entscheidung von diversen Faktoren wie unter anderem von der Kontrollierbarkeit und Transparenz eines Systems sowie von der spezifischen Technologieakzeptanz des Einzelnen abhängig.²⁴⁶ Neben der Erklärbarkeit und Transparenz ist es für die Akzeptanz bei KI-Systemen förderlich, wenn diese nicht den Ansatz der generellen Intelligenz wie die der starken KI verfolgen, sondern auf bestimmte Aufgabenbereiche fokussiert sind und einem klaren Anwendungsfall unterliegen.²⁴⁷ In dieser Art und Weise könnten KI-Systeme für bestimmte Einsatzfelder in der Verwaltung konzipiert werden. Die entstehenden Expertensysteme könnten zu einer höheren Akzeptanz in der Verwaltungsentscheidung führen als bei klassischen, menschlichen Entscheidungen.

Servicequalität und Dienstleistungsorientierung²⁴⁸ der Verwaltung sowie das Qualitätsmanagement sind Güter, die durch das New Public Management in den Verwaltungswissenschaften und in der Verwaltungspraxis besonders auflebten.²⁴⁹ Dienstleistungsorientierung und -qualität lassen sich an diversen Aspekten festmachen wie beispielsweise der Kundenorientierung, Warte- und Reaktionszeiten, Verbindlichkeit der Kommunikation und des Verwaltungshandelns, Hilfsbereitschaft oder auch die Freundlichkeit der Verwaltungsbeschäftigten.²⁵⁰

KI-Systeme können bei der Umsetzung des adressierten Komplexes der Servicequalität förderlich sein. So können KI-Systeme ein Hilfsmittel sein, um Wartezeiten zu reduzieren. Dies kann zum einen durch ein intelligentes Terminmanagement geschehen, aber auch durch systemtechnische Unterstützung bei verwaltungsinternen Prozessen, die zu langen Bearbeitungs- und Wartezeiten führen.²⁵¹

Neben der Prozessoptimierung für bestehende Abläufe, können mithilfe von KI-Systeme auch neue Prozesse und Abläufe initiiert werden, die wiederum zu einer höheren Servicequalität führen. So könnte eine einheitliche, digitale und KI-basierte Anlaufstelle für die Bürger geschaffen werden.²⁵² Diese Anlaufstelle würde sich nicht an der zuständigkeitsgeprägten Verwaltung und der Informations-Holschuld der Bürger orientieren müssen, sondern durch ein KI-basiertes, leistungsfähiges System vielmehr den Bürgern einen einheitlichen Eingang in das jeweilige Verwaltungsverfahren ermöglichen und dies im Idealfall vollumfänglich autonom durchführen.²⁵³ Somit würde eine verstärkte Orientierung an den Bürgern erreicht und ein nutzungszentriertes Angebot geschaffen werden.²⁵⁴

In ähnlicher Art und Weise ist der Einsatz von KI-basierten Chatbots denkbar. Dieser würde eine Kommunikation mit den Bürgern zu allen Themenbereichen der Verwaltung rund um die Uhr und prinzipiell in jeder Sprache und auf verschiedenen Sprachlevel wie der Leichten Sprache möglich machen.²⁵⁵ Ein solches Angebot wäre für die Steigerung der Servicequalität äußerst bedeutsam, da es neben der abschließenden Beantwortung von Fragen auch in der dazugehörigen Vorstufe bereits eine wesentliche Orientierungshilfe für die Bürger darstellen könnte.²⁵⁶ Letztlich werden somit Sprach- und Kommunikationsbarrieren abgebaut und staatliches Handeln zugänglicher. Daneben könnte ein KI-System nicht nur Bürger adressieren, sondern auch die Verwaltungsbeschäftigten bei der Beantwortung von Anfragen unterstützen und damit sowohl effizienzsteigernd wirken als auch die Antwortqualität steigern.²⁵⁷

Der Abbau von Redundanzen und die Beschleunigung von Arbeitsabläufen im Sinne des Once-Only-Prinzips könnte sowohl effizienzsteigernd für die Verwaltung wirken als auch für die Bürger einen geringeren Aufwand bei einer Antragsstellung bedeuten. Ein einheitliches Datenmanagement, übergreifende Register und KI-basierte Antragsbearbeitung oder -vorbereitung können den Bürgern weniger Aufwand bei einer Antragsstellung und schnellere Bearbeitungszeiten bieten.²⁵⁸

Die vorgenannten Aspekte könnten daneben zu einer Entlastung der Verwaltungsbeschäftigten führen. Darüber hinaus hat der effizienz- und automatisierungsorientierte Einsatz von KI-Systemen das Potenzial Personalressourcen freizulegen. Verwaltungsbeschäftigte könnten sich statt mit automatisierbaren Routinebeschäftigungen oder beispielsweise der Zuständigkeitsprüfung sowie Auskünften in Zusammenhang mit Anfragen von Bürgern anderen Tätigkeiten widmen. Der gewonnene Freiraum kann für schwierige Sachverhalte oder kreative Arbeiten genutzt werden.²⁵⁹ Ebenso bekämen die Verwaltungsbeschäftigten die Gelegenheit den Kontakt und die Beratung in schwierigen Fällen gegenüber den Bürgern zu intensivieren.²⁶⁰

Anknüpfend an den nach außen gerichteten Aspekten der Servicequalität profitiert wie oben genannt auch die Verwaltung selbst von zielgerichteten und passgenauen Informationen und Leistungen.²⁶¹ Nicht erforderliche Abläufe, können durch KI-basierte, leistungsfähige Informations- und Kommunikationssysteme abgebaut werden. So ist es vorstellbar, dass das zielgerichtete, effiziente Verwaltungshandeln durch KI-Unterstützungssysteme umgesetzt werden kann. Beispielsweise könnten die für die Bearbeitung von Verwaltungsvorgängen relevanten Daten automatisiert von einem KI-System bereitgestellt werden oder das KI-System könnte im Rahmen der Opportunität und mithilfe einer Vorselektion oder eines Frühwarnsystems Verwaltungsverfahren einleiten und dieses dem Verwaltungsbeschäftigten zur Bearbeitung vorschlagen.²⁶² Auch beim letztgenannten Punkt ist die Steigerung der Effizienz durch den Wegfall von Routinetätigkeiten von erheblicher Bedeutung, da im Ergebnis mehr Ressourcen für die originäre Bearbeitung von Vorgängen bereitstehen.²⁶³ Die KI-basierte Bearbeitung mit dem Zwecke der Effizienz- und Effektivitätssteigerung ist auf nahezu alle Einsatzzwecke und Anwendungsfelder der Künstlichen Intelligenz anwendbar. So sind der verwaltungsmäßigen Bearbeitung von Vorgängen auch Anwendungen im Zusammenhang mit Sprach-, Bild- und Texterkennung vorstellbar.²⁶⁴

Zur Steigerung der Effizienz ist die Vereinfachung von Kommunikations- und Antragsprozessen auf Basis von KI-Technologien von besonderem Interesse.²⁶⁵ Daneben kann in der Phase der Entscheidungen Potenzial ausgemacht werden. So ist es möglich, Entscheidungen – sei es im Einzelfall oder Entscheidungen von allgemeiner Bedeutung – datengestützt zu treffen.²⁶⁶ Die Datenbezogenheit kann sich auf alle Bereiche wie Beobachtung, Analyse, Vorhersage oder die Entscheidungen selbst beziehen.²⁶⁷ KI-Systeme und Big Data bieten hier Möglichkeiten, die von menschlicher Seite in puncto Effektivität, Effizienz und Geschwindigkeit nur schwer zu erbringen sind. Über die Vorbereitung von Verwaltungshandeln hinaus besteht das Potenzial das Verwaltungshandeln selbst zu automatisieren, so dass kein menschliches Zutun erforderlich ist.²⁶⁸

Durch die KI-basierte Bearbeitung von Vorgängen und Automatisierung von (Routine-)Tätigkeiten kann den begrenzten Personalressourcen²⁶⁹ in der Verwaltung begegnet werden.²⁷⁰ Neben der reinen Abmilderungen von Personalengpässen in der Verwaltung bieten KI-Systeme die Möglichkeit, die Aktivitäten der Verwaltungsbeschäftigten auf kreative und fachliche Tätigkeiten zu konzentrieren anstatt einfache Routinetätigkeiten in den Vordergrund der Beschäftigten zu stellen.²⁷¹ Dies ist zum einen zur Begegnung des Fachkräftemangels sinnvoll und kann zum anderen positive Effekte auf die Motivation der Verwaltungsbeschäftigten haben, da diese anspruchsvollere und abwechslungsreichere Tätigkeiten nachgehen können. Zudem scheinen Verwaltungsbeschäftigte einen besonderen Fokus auf gewissenhaftes Arbeiten zu legen, was durch den Wegfall von einfacheren Tätigkeiten intensiviert werden könnte.²⁷² Ebenfalls wird das Freisetzen von finanziellen Ressourcen angenommen, die für andere Bereiche des staatlichen Handelns wie erhöhte Investitionen verwendet werden können.²⁷³

Neben der Abmilderung von zukünftig geringeren zur Verfügung stehenden Personalressourcen könnte zudem ein bereits jetzt wirkendender Effekt aufgefangen werden. Bei Massenverwaltungsverfahren oder Sachverhalten, die jedenfalls in der Breite vorkommen, liegt es in der Natur der Sache, dass nicht alle Vorgänge gleichermaßen oder überhaupt bearbeitet werden können. Mit KI-Systemen, damit einhergehende Automatisierungen und Predictive-Analytics-Modelle könnte dies geändert werden. So wäre es beispielsweise im Bereich des Forderungsmanagements der Verwaltung möglich, alle offenen Forderungen in einer gleichen Intensität einzutreiben, ohne priorisieren zu müssen. Auch Wertgrenzen für verwaltungsinterne Niederschlagungen könnten überprüft und heruntergesetzt werden,²⁷⁴ was zur Erhöhung der Einnahmeverwirklichung, respektive den Gesamteinnahmen der Verwaltung und damit des Staates führt. Dies wird dadurch begründet sein, dass die Niederschlagungsintention beim Einsatz von KI-Systemen neu bewertet werden muss. Konkret wird gegenwärtig angenommen, dass die Wirtschaftlichkeit der Verfolgung von Forderungen erst ab einem bestimmten Betrag gegeben ist. Maßgeblich für diese Annahme sind insbesondere die einzusetzenden Personalressourcen und die damit verbundenen Kosten. Durch automatisierte Eingangsbearbeitung, dem automatisierten Verfolgen von Forderungen und die dazugehörige automatisierte, KI-basierte Kommunikation mit den Schuldnern könnten derart gelagerte Verwaltungsvorgänge vollumfänglich bearbeitet werden.²⁷⁵ Die hier wirkendende Kostenminimierung im Verwaltungsverfahren lässt sich im Theoretischen ebenso auf andere Verfahren und Bereiche projizieren.²⁷⁶ Damit liegt im Einsatz von KI-Systemen grundsätzlich das Potenzial, die monetären Ressourcen zu schonen, wobei eine verlässliche Aussage hierzu mangels belastbarer Untersuchungen schwer zu treffen ist. Jedoch ist zu konstatieren, dass optimierte Workflows und Verwaltungsabläufe Auswirkungen auf die Ressourcen entfalten können.²⁷⁷

Ein anderer, aber ähnlicher Wirkbereich ist die Disposition von knappen Personalressourcen. Bereits in der gegenwärtigen Praxis werden statistische Modelle zur Personal- und Einsatzplanung angewendet. Allgemein bekannt sind die Beispiele des Predictive Policing und der kriminalitätsorientierten Heatmaps. Aber auch in anderen Bereichen kann die datenbasierte Personaleinsatzplanung hilfreich sein wie beispielsweise in der Finanzverwaltung gemäß § 88 Abs. 5 AO zur Identifizierung schwieriger oder risikobehafteter Fälle, die eine menschliche Bearbeitung erfordern.²⁷⁸ Zusammengefasst werden statistische Prognosen erstellt, die Hinweise auf mögliche zukünftige Einsatzfelder – beispielsweise im Bereich der Gefahrenabwehr – geben und dadurch die Personaldisposition maßgeblich bestimmen. KI-Systeme bieten die Möglichkeit zum einen die bestehenden Systeme zu verbessern und zum anderen auf andere Anwendungsgebiete auszuweiten.²⁷⁹

KI-Systeme sind aufgrund ihrer Eigenart und der Ausprägung der schwachen KI dem Grunde nach als Expertensysteme anzusehen. Dies bietet die Möglichkeit eine höhere Verlässlichkeit und Rechtssicherheit von Verwaltungshandeln zu erreichen.²⁸⁰ Ein wesentlicher Baustein hierfür ist die Sicherstellung der Nachvollziehbarkeit und Transparenz des Verfahrens sowie der Verwaltungsentscheidung.²⁸¹ Darüber hinaus könnten Entscheidungen durch Expertensysteme in der Breite evidenzbasiert getroffen werden. Dies wäre nicht nur bei autonom agierenden Systemen denkbar, sondern auch bei solchen Verfahren, bei denen Verwaltungsbeschäftigte die finale Entscheidung treffen. Vorstellbar wären Dashboards oder grundsätzlich die Nutzung von Datenpotenzialen und die Aufbereitung von Informationen für die entscheidenden Personen.²⁸² Aber auch Modellierungen von verschiedenen Szenarien oder unterschiedlichen Entscheidungskonsequenzen könnten die Entscheidungsqualität steigern.²⁸³

Neben der Modellierung können Big Data-Verfahren beziehungsweise allgemein KI-basierte Datenanalysen oder Entscheidungsanalysen des vorangegangenen Verwaltungshandelns eine Steigerung der Qualität und Rechtssicherheit mit sich bringen.²⁸⁴ Die Rechtssicherheit bezieht sich insbesondere auf die Maßgaben von Art. 3 Abs. 1 GG – der allgemeine Gleichheitssatz. Die Gleichbehandlung und die Gleichförmigkeit von Verwaltungshandeln bei gleichgelagerten Sachverhalten könnten durch KI-Systeme gefördert werden. Dies würde der Verwirklichung des Grundsatzes der Selbstbindung der Verwaltung und der Rechtsanwendungsgleichheit nach Art. 3 Abs. 1 GG dienen.²⁸⁵

Das Gebot der Rechtsanwendungsgleichheit umfasst neben der Judikativen auch die Exekutive.²⁸⁶ Die Verpflichtung der Verwaltung – über das Diskriminierungsverbot hinaus – zur gleichen Anwendung von Normen im Gesetzesvollzug entfaltet sowohl Wirkung auf gebundene Entscheidungen als auch auf Ermessensentscheidungen der Verwaltung.²⁸⁷ Die Selbstbindung der Verwaltung ist im Wesentlichen eine Ableitung des Gleichheitsgrundsatzes, respektive des Grundsatzes der Rechtsanwendungsgleichheit.²⁸⁸

Die Selbstbindung der Verwaltung fordert eine einheitliche und stringente Verwaltungspraxis. Insbesondere bezieht sich die Selbstbindung der Verwaltung auf Ermessensentscheidungen und determiniert mit der geübten Entscheidungspraxis nachgehende Entscheidungen für gleiche Sachverhalte, bei denen es keine sachlichen Gründe für eine Abweichung gibt.²⁸⁹ Die Entscheidungspraxis ist jedoch nicht für die Ewigkeit zementiert, sondern kann und muss vielmehr bei veränderten Bedingungen angepasst werden, da ansonsten eine Verkrustung droht.²⁹⁰ Ebenso können Maßstäbe und Entscheidungskriterien sachlich begründet geändert werden.²⁹¹

Diesem kurzen Überblick sind zwei Annahmen für die Verwaltungspraxis zu entnehmen. Zum einen darf es bei gebundenen Entscheidungen keine wesentlichen Unterschiede in den Verwaltungsentscheidungen geben, da es keinen Entscheidungsspielraum gibt.²⁹² Dies ist für die KI-basierte Entscheidungsfindung günstig. Zum anderen kann es bei Ermessensentscheidungen und teilweise auch bei gebundenen Entscheidungen, wenn diese einem Beurteilungsspielraum unterliegen beziehungsweise auf der Tatbestandsseite mit unbestimmten Rechtsbegriffen verfasst sind, in der Verwaltungspraxis zu ungleichen Entscheidungen bei gleichen Sachverhalten kommen. Dies würde ab einem bestimmten Maß nicht mehr mit Art. 3 Abs. 1 GG und den daraus abgeleiteten Grundsätzen in Einklang stehen. Eine nicht beabsichtigte und fachlich nicht gerechtfertigte Ungleichbehandlung durch Verwaltungsbeschäftigte kann auf diverse Parameter zurückgeführt werden. So können divergierende Entscheidungen durch Rahmenbedingungen und Organisationsgefüge der jeweiligen Verwaltung oder der Organisationseinheit, Prämissen der entscheidenden Personen gegenüber den Adressaten, sozio-ökonomische Merkmale der Adressaten oder in der entscheidenden Person selbst begründet sein. Gründe, die in der entscheidenden Person verortet sind und zu unterschiedlichen Entscheidungen führen, können beispielsweise durch unterschiedliches Fachwissen oder einer anderen Sozialisation entstehen.²⁹³ Aber auch die persönliche Verfasstheit wie der tagesaktuelle emotionale Zustand einer Person kann zu unterschiedlichen Entscheidungen führen.²⁹⁴ Wesentlich ist hier, dass es sich nicht zwingend um Ermessensfehlentscheidungen handeln muss, sondern um Ermessenentscheidungen, die unterschiedlich getroffen werden und sogar noch frei von überprüfbaren Ermessensfehlern sind.

Das Potenzial eines KI-System läge hier in der Analyse von vorangegangen Entscheidungen gleichgelagerter Fälle über die eigene Verwaltung hinaus und in der Objektivierung des Entscheidungsprozesses.²⁹⁵ Damit könnte ein KI-System für mehr Rechtssicherheit sorgen und die Grundsätze des Art. 3 Abs. 1 GG fördern.

Neben dem Wirkbereich von Art. 3 Abs. 1 GG können KI-Systeme für die Einhaltung und Überwachung von gesetzlichen Vorgaben eingesetzt werden. So kann beispielsweise mithilfe einer automatisierten, laufenden Kassenprüfung oder -überwachung alle Transaktionen der öffentlichen Hand überwacht werden und fehlerhafte Buchungen oder Verstöße detektiert werden.²⁹⁶

Der Terminus Bias wird von verschiedenen Disziplinen verwendet. Vorliegend sind insbesondere zwei Begriffsverständnisse interessant. Zum einen die statistische Verwendung des Begriffs, mit dem ein (systematischer) Schätzfehler gemeint ist und zum anderen die Bedeutung als kognitive und systematische Verzerrung.²⁹⁷ Auf künstliche Intelligenz bezogen kann ein Bias der Hypothesenbildung im maschinellen Lernen dienen und ist daher für den technischen Prozess hilfreich und zudem nicht immer zu vermeiden.²⁹⁸ Allerdings kann das technisch legitime Hilfsinstrument zu einem unerwünschten und unzulässigen Ergebnis führen, da das Resultat diskriminierend wirken kann.

Verständlichkeit, Transparenz und Nachvollziehbarkeit eines KI-Systems und insbesondere der daraus abgeleiteten Entscheidungen und Wissensrepräsentationen sind gegenwärtig elementare Schwächen von KI-Systemen – selbst, wenn diese auf verhältnismäßig einfachen Methoden basieren.³²¹ Wie oben dargestellt ist es grundsätzlich nur schwer nachvollziehbar auf welchen Annahmen und unter welchen Prämissen eine Entscheidung zustande kommt. Dies stellt neben der negativen Auswirkung auf die Akzeptanz solcher Entscheidungen auch ein Problem für die rechtliche Überprüfbarkeit von Entscheidungen dar. Die Verständlichkeit, Transparenz und Nachvollziehbarkeit ist nicht nur für die Adressaten von Entscheidungen eine Herausforderung, sondern ebenso für die direkten Anwender. Bezogen auf diese Gruppe liegt hier das Defizit in der Interpretierbarkeit von gelernten KI-Modellen und den Informationen zum Hintergrundwissen des KI-Systems.³²²

KI-Modelle können im Hinblick auf Verständlichkeit, Transparenz und Nachvollziehbarkeit in Blackbox-, Greybox- und Whitebox-Modelle gruppiert werden.³²³

Whitebox-Modelle sind solche Systeme, die so konzipiert sind, dass die Systemarchitektur beziehungsweise die entscheidungsrelevanten Gründe mit einem geringen Aufwand nachvollzogen werden können.³²⁴ Dies ist insbesondere bei rein regelbasierten Systemen gegeben,³²⁵ die jedoch nach dem vorliegenden Verständnis nicht unter KI-Systeme zu subsumieren sind. Rein regelbasierte Systeme sind unter anderem Systeme, die auf Basis von Entscheidungsbäumen programmiert sind. Hier sind die Prämissen und die entscheidungsrelevanten Kriterien eindeutig zu erkennen. Entscheidungen können damit mit einem verhältnismäßig geringen Aufwand nachvollzogen werden, was als transparent und verständlich bewertet werden kann.

KI-Systeme, die als Blackbox-Modelle kategorisiert werden, sind hingegen intransparent und die Ergebnisse, respektive die entscheidungsrelevanten Gründe, sind nicht oder nur unter einem erheblichen Aufwand nachvollziehbar.³²⁶ Insbesondere künstliche neuronale Netze sind aufgrund ihrer inhärenten Eigenschaften als Blackbox-Modelle anzusehen.³²⁷ Im Wesentlichen ist dies durch die Systemarchitektur und die selbstlernenden Algorithmen bedingt. Durch die beliebige Anzahl an Neuronen, den enormen Datensätzen und die schwer bis gar nicht nachvollziehbare Verarbeitung der Daten – insbesondere durch die einzelne Gewichtung von Signalen und den damit einhergehenden Aktivierungswerten für einzelne Neuronen – wächst die Anzahl an möglichen Parametern, die eine Entscheidung beeinflussen können, exponentiell an.³²⁸ Hinzu kommt, dass auch die Ein- und Ausgabeparameter höchst komplex sein können, was für die Verständlichkeit und Nachvollziehbarkeit nicht zuträglich ist.³²⁹ Grundsätzlich kann festgestellt werden, dass je komplexer die technische Architektur und das angewendete Lernverfahren ist, desto bessere Ergebnisse können erzielt werden, was jedoch mit einer geringeren Nachvollziehbarkeit und Erklärbarkeit einhergeht.³³⁰

Ein Ansatz zur Auflösung der Blackbox-Problematik mit dem Ziel einer höheren Transparenz, Erklärbarkeit und Nachvollziehbarkeit ist die wiederum algorithmische Überprüfung eines KI-Systems, respektive dessen Entscheidung. Allerdings ist dieser Ansatz nicht in der Form verfügbar, dass eine Analyse eines Blackbox-Systems eine Nachvollziehbarkeit und höhere Transparenz gewährleistet.³³¹ Eine solche Analyse kann beispielsweise mit einem leistungsschwächeren Surrogat-Whitebox-Modell geschehen, mit dem versucht wird, das entsprechende leistungsfähige Blackbox-Modell zu interpretieren.³³² Neben den beschränkten Erfolgsaussichten und dem aufwändigen Verfahren ist zu konstatieren, dass damit lediglich Anhaltspunkte für eine Entscheidungsbegründung geliefert werden können und eine vollständige Rekonstruktion des Zustandekommens einer Entscheidung nicht realisierbar ist.³³³ Speziell der damit verbundene Aufwand und die erforderlichen Kapazitäten lassen nicht erwarten, dass eine solche algorithmische Überprüfung in der Praxis stattfindet, wenn von einem flächendeckenden und diversen Einsatz von KI-Systemen ausgegangen wird.

Greybox-Modelle adressieren nicht ein gesamtes KI-System, sondern sollen eine partielle Transparenz und Nachvollziehbarkeit schaffen, die lediglich auf einzelne Teilbereiche fokussiert ist wie die Transparenz der Daten, die Transparenz der Algorithmen oder die Transparenz der Ausgabewerte.³³⁴ Die Offenlegung der Algorithmen, respektive des Programmiercodes, und der Trainingsdaten könnte Menschen in die Lage versetzen, die Architektur des Systems nachzuvollziehen. Dies würde dem Prinzip der Greybox entsprechen, da somit der jeweilige Teilbereich transparent und grundsätzlich nachvollziehbar wäre. Neben möglicherweise aufkommenden Divergenzen über die Schutzwürdigkeit des Programmcodes und auch der Trainingsdaten dürfte dies bei komplexen künstlichen neuronalen Netzen jedoch nicht zur Nachvollziehbarkeit von einzelnen Entscheidungen führen. Das Problem dürfte in der Komplexität des KI-Systems liegen und dazu führen, dass höchstens KI-Experten die offengelegten Informationen zu bewerten wüssten.³³⁵ Vielmehr sollten jedoch die Anwender in die Lage versetzt werden, KI-basierte Entscheidungen zu verstehen und nachvollziehen zu können. Ein Anknüpfungspunkt hier ist die Transparenz und Nachvollziehbarkeit der Ausgabewerte. Aufgrund der technischen Eigenschaften ist zwar das konkrete Zustandekommen eines Ergebnisses schwer bis nicht nachzuvollziehen, jedoch könnte es erklärt werden. So könnten KI-Systeme so konzipiert werden, dass sie bei Entscheidungen angeben, welcher Parameter ausschlaggebend für die Entscheidung ist oder die Entscheidung hätte ändern können.³³⁶ Dies ist insbesondere dann wichtig, wenn gegen die getroffene Entscheidung vorgegangen werden soll.³³⁷ Wie ambitioniert ein solches Vorhaben ist, kann dadurch verdeutlicht werden, wenn der Stand der Wissenschaft konstatiert wird. So verwendet beispielsweise das Natural Language Processing-Modell namens GPT-3 rund 175 Milliarden Parameter³³⁸ oder das Sprachmodell von Google PaLM rund 540 Milliarden Parameter³³⁹. Zentral an diesem Ansatz ist, dass nicht der Algorithmus, respektive das KI-System, an sich bekannt sein und verstanden werden muss, sondern vielmehr eine leicht verständliche Transparenz der Entscheidungsgründe hergestellt werden. Nichtsdestotrotz ist festzustellen, dass neben den technischen Voraussetzungen auch die Anwender selbst ihren Beitrag zur Transparenz und Nachvollziehbarkeit leisten müssen. Denn die Verständlichkeit und Nachvollziehbarkeit von KI-Systemen könnte durch die individuelle Technologieakzeptanz, dem Technologieverständnis und der digitalen Affinität der Anwender beeinflusst werden.

Als weitere Schwäche von KI-Systemen wird die fehlende soziale und emotionale Intelligenz benannt.³⁴⁰ Künstliche Intelligenz ist zwar gegenwärtig in der Lage, Emotionen abschätzen zu können, es ist jedoch kurzfristig nicht zu erwarten, dass KI-Systeme eigene Emotionen und ein eigenes soziales Wesen entwickeln werden. Gegenwärtig findet eine Klassifizierung von Emotionen auf der Ebene der maschinell gelernten Mustererkennung statt. Damit kann davon ausgegangen werden, dass die Wahrnehmungsfähigkeit, die unzweifelhaft zur emotionalen Intelligenz gehört, von KI-Systemen partiell geleistet werden kann, aber die wesentliche Unzulänglichkeit in dem darauf aufbauenden common sense liegt.³⁴¹ KI-Systeme sind somit in der Lage, Emotionen und Gefühle von Menschen zu erkennen, respektive Wahrscheinlichkeiten über das Vorliegen von Emotionen und Gefühlen zu berechnen, und diese im weiteren Prozess zu verarbeiten, ihnen fehlt indes eine menschliche Empathie. Unbestritten dürfte für die Empathie hilfreich sein, eigene Gefühle zu haben, sich in andere hineinversetzen und die Gefühle nachempfinden zu können. Den Mittelpunkt der Unzulänglichkeiten von KI-Systemen in diesem Bereich dürften das fehlende eigene Bewusstsein und die Intentionalität von KI-Systemen bilden.³⁴²

Unter Bewusstsein ist zunächst das Selbstbewusstsein im Sinne der Theory of Mind, also der Reflektion des Ichs und damit die Selbstwahrnehmung und -beobachtung insbesondere des eigenen Zustands und der Gefühle zu verstehen.³⁴³ Darüber hinaus ist ein konstituierendes Merkmal des Bewusstseins das Übereinbringen der vorgenannten Selbstreflektion mit der Umwelt und der damit verbundenen Verortung des Ichs in Raum und Zeit.³⁴⁴ KI-Systemen fehlt diese Kompetenz. Es ist zwar möglich, das Bewusstsein oder Gefühle ansatzweise zu simulieren,³⁴⁵ aber es bleibt die Frage, ob diese Simulation mit den menschlichen und tierischen Gefühlen und Bewusstsein gleichzusetzen ist.³⁴⁶ Denn insbesondere die Vernetzung von Denken, Fühlen, Handeln und die Selbstreflexion ist gerade kennzeichnend für menschliche Entscheidungen.³⁴⁷ Eine Erkennung oder die Simulation von singulären Gefühlen oder eines Bewusstseins dürfte jedenfalls nicht damit gleichzusetzen sein.

Ein Beispiel für eine fortgeschrittene Erkennung von Gefühlen ist der KI-basierte Chatbot XiaoIce, der sowohl die intellektuellen als auch emotionalen Bedürfnisse der Benutzer erkennt und in der Kommunikation verwerten kann.³⁴⁸ Nichtsdestotrotz hat auch dieser Social-Chatbot kein eigenes Bewusstsein, sondern verfügt vielmehr über die Fähigkeit, emotionale Aspekte der Nutzer in den Prozessen zu verwenden.³⁴⁹ Folglich ist zwingend eine Abgrenzung von emotional agierenden oder erfassenden KI-Systemen und tatsächlichen Emotionen, Gefühlen und Bewusstsein vorzunehmen, da letzteres nicht von einem KI-System geleistet werden kann.³⁵⁰

Ob diese Eigenschaften nun als Schwächen oder mehr als Stärken eines KI-Systems zu bezeichnen sind, kommt auf die gesellschaftlich konsensual geschaffene Perspektive und den konkreten Einsatz eines KI-Systems an. So dürfte ein rein objektiviertes KI-System, das in der industriellen Robotik eingesetzt wird, von Vorteil sein. Anders könnte der Fall gelagert sein, wenn ein KI-System für Entscheidungen über menschliche Belange wie im verwaltungsrechtlichen Kontext oder im Sozialbereich eingesetzt wird.

Einhergehend mit der fehlenden sozialen und emotionalen Intelligenz ist die Fähigkeit von KI-Systemen zum moralischen Handeln zu betrachten. Konkret ist fraglich, ob KI-Systeme zum moralischen Handeln fähig sein können.

Zunächst ist zu klären, was unter dem Begriff Moral zu verstehen ist. Neben dem Begriff Moral werden regelmäßig die Termini Ethik oder ethisches Verhalten in den Diskursen gebraucht. Daher sind auch diese Begrifflichkeiten zu klären. Unter Moral ist das jeweilige Normensystem zu verstehen, dass das menschliche Verhalten bestimmt und von gruppenbezogenen oder personenspezifischen Wertüberzeugungen geprägt ist.³⁵¹ Es geht explizit nicht nur um die gesetzlichen Regelungen, sondern vielmehr um die Ge- und Verbote sowie Normen und Vorschriften innerhalb einer Handlungsgemeinschaft.³⁵² Bei der Frage, ob eine Handlung moralisch ist, wird demnach die konkrete Handlung mit dem vorgenannten Normensystem übereingebracht und bewertet.³⁵³ Jedoch ist festzustellen, dass die moralischen Vorstellungen innerhalb einer Handlungsgemeinschaft über gewisse Grundwerte hinaus divergieren und pluralistisch ausgerichtet sind.³⁵⁴ Ethik³⁵⁵ hingegen ist die Wissenschaft von der Moral.³⁵⁶ Ein elementarer Unterschied besteht darin, dass die ethische Reflexion einer Moral oder die dazugehörige ethische Überlegung nicht stets mit der konkreten (moralischen) Handlung übereinstimmen muss.³⁵⁷ Ein besonderer Teil der Ethik sind die Bereichsethiken, die sich mit gesonderten Handlungsfeldern befassen.

Vorliegend ist die Maschinenethik von besonderem Interesse, bei der unter anderem die Künstliche Intelligenz betrachtet wird.³⁵⁸ Zu unterscheiden bei dieser Betrachtung ist, ob ein System der Künstlichen Intelligenz oder auch ein Roboter als „moral agent“ oder „moral patient“ zu verstehen ist. Sprich, ob sie moralische Handlungssubjekte sind (moral agents) oder ihnen ein moralischer Wert zugeschrieben wird (moral patients).³⁵⁹ Die Fähigkeit als moral agent, also als moralisches Handlungs- oder Verantwortungssubjekt zu agieren, steht für die vorliegende Arbeit im Vordergrund. Die Frage ist demnach, ob ein KI-System ein Subjekt der Ethik ist und damit moralisch handeln kann.

Nach Bendel gestalten Maschinenethiker die Wirklichkeit und gehen damit über das reine – moralphilosophische – Reflektieren hinaus.³⁶⁰ Daraus ist zu schließen, dass nach Bendel ‘ scher Auffassung Ethik in Moral umsetzbar ist und sich darüber hinaus auf Maschinen übertragen lässt. Im nächsten logischen Schritt käme eine Maschine dem Grunde nach als moral agent in Betracht. Bezogen auf KI-Systeme wäre moralisches Handeln demnach programmier- oder erlernbar.³⁶¹ Diese Grundannahme kann auf zwei Bereiche reduziert werden. Zum einen müssten KI-Systeme – gegenwärtig – in der Lage sein, präferierte Entscheidungen, Entscheidungsvorschläge oder Wissensrepräsentationen in Hinblick auf Moral zu reflektieren sowie die Entscheidung im Sinne eines common sense abzuwägen. Dies ist nicht der Fall.³⁶² Selbst wenn KI-Systemen eine funktionale Fähigkeit zum moralischen Handeln zugeschrieben wird, so wird gleichwohl konstatiert, dass diese Fähigkeit keine vollumfängliche moralische – menschliche – Handlungsfähigkeit darstellt.³⁶³

Zum anderen müsste dem Grunde nach Moral programmierbar oder maschinell erlernbar sein. Zwar könnten Gesetze grundsätzlich programmierbar sein – ebenso wie unstreitig zutreffende moralische Handlungsweisen. Aber die Frage ist, ob die Moral einer Handlungsgemeinschaft immer eindeutig und abstrakt bestimmbar ist.³⁶⁴ Eine solch abstrakt-generelle Moral dürfte es nicht geben, da davon auszugehen ist, dass lediglich eine Übereinstimmung bei Grundwerten vorhanden ist. Darüber hinaus jedoch pluralistische Moralen bestehen. Erschwerend kommt hinzu, dass eine Moral einer natürlichen Veränderung unterliegt, da der gesamte Regelkanon einer Handlungsgemeinschaft einer stetigen Veränderung unterzogen wird.³⁶⁵ Dies hat die Folge, dass Moralen allein aus der Unvorhersehbarkeit der Veränderung heraus nicht programmierbar sind. Ebenso ist nicht ersichtlich, wie eine einheitliche Moral, die programmiert werden soll, gefunden werden kann beziehungsweise in wessen Dispositionsbefugnis diese Entscheidungsfindung steht. Denn selbst innerhalb einer Handlungsgemeinschaft divergieren die Moralen. Darüber hinaus bleibt ein sowohl moralphilosophisches als auch praktisch relevantes Problem bestehen – Dilemmata.³⁶⁶ Also Situationen, bei denen es keine einwandfreie, argumentativ konsistente moralische Handlung gibt. Dilemmata bleiben aus der Natur der Sache heraus unlösbar – sei es für den Menschen oder für KI-Systeme.³⁶⁷ Dies dürfte eine moralische Programmierung überfordern.³⁶⁸

Ein anderer Ansatz wäre das maschinelle Erlernen von Moralen oder von moralischen Einsichten. KI-Systeme könnten vergangene moralische Entscheidungen erlernen und diese nachbilden.³⁶⁹ Dabei ist davon auszugehen, dass bei dieser Nachbildung die individuelle moralische Einsicht der handelnden Person nicht von einem KI-System nachvollzogen werden kann. Daraus folgt, dass eine eigene, KI-basierte moralische Wertung oder das Antizipieren von erlernten – vergangenen, moralischen – Handlungsweisen auf neue Konstellationen nicht möglich ist – jedenfalls nicht in dem Sinne einer Moral im herkömmlichen Sinne. Denn auf die Frage, warum der Mensch moralisch handelt, könnte ein wesentlicher Aspekt sein, dass er dies nicht nur in der Pflicht anderen gegenüber tut, sondern aus einer Pflicht sich selbst gegenüber.³⁷⁰ Da KI-Systeme keine Selbstwahrnehmung und -bewusstsein haben, kann diese Pflicht gegen sich selbst nicht der moralische Ausgangpunkt oder Motivator für ein moralisches Handeln sein – wie auch immer dies in einer bestimmten Situation aussieht. Die Reproduktion einer moralischen oder unmoralischen Verhaltensweise ist kein Ausweis für das Bestehen eines moralischen Subjekts. Es könnten einzig absolute Grundwerte einer Gesellschaft oder Handlungsgemeinschaft von KI-Systemen erlernt werden, die allerdings zum einen nur einen kleinen Teil einer Moral abbilden und zudem ohne das Verspüren einer inneren Pflicht ausgeführt werden.

Schlussendlich ist zu bemerken, dass KI-Systeme nicht zum moralischen Handeln – im umfassenden und herkömmlichen Sinne – fähig sind. Wie auch bei der sozialen und emotionalen Intelligenz festgestellt, ist die Wertung, also ist dies eine Stärke oder Schwäche von KI-Systemen, abhängig von den Erwartungen an solche Systeme und den avisierten Einsatzszenarien. Der Ansatz der Maschinenethik, die Moral bei der Etablierung von KI-Systemen zu berücksichtigen, ist dabei zu würdigen – wenngleich eine Programmierung oder ein Erlernen einer menschenähnlichen Moral nicht möglich erscheint.

Die Kombination von Sensorik, Motorik und Intelligenz ist für die simpelsten Tätigkeiten elementar. Nahezu jeder Prozessschritt erfordert eine Kombination dieser Fähigkeiten.³⁷¹ KI-Systeme können auf einzelne Aufgaben und Tätigkeiten den Menschen bei weitem überlegen sein, die kombinierten Fähigkeiten besitzen sie regelmäßig jedoch nicht oder sind nur bei höchst komplexen Systemen vorhanden.³⁷² Bezogen auf den Einsatz in der Verwaltung könnte dies in Hinblick auf humanoide Roboter nachteilig sein. Werden allerdings andere Bereiche betrachtet wie ein Einsatz zur Entscheidungsfindung im verwaltungsrechtlichen Verfahren dürften Sensorik und Motorik nicht von überragender Bedeutung sein.

Die KI-basierte Aufgabenerledigung³⁷³ erfolgt im Wesentlichen auf Grundlage von Korrelation, also dem Einhergehen oder dem Zusammenhang zwischen verschiedenen Variablen ohne zwingendes Vorliegen einer Ursächlichkeit oder einer kausalen Wechselwirkung.³⁷⁴ Es werden einzig Gruppenmerkmale aufgezeigt,³⁷⁵ jedoch keine Kausalitäten.³⁷⁶ Insbesondere das überwachte und unüberwachte Lernen fußen auf Korrelation und nicht auf Kausalität. Ebenso bedingt das verstärkende Lernen, das simplifiziert ein Trial-and-Error-Prinzip als Optimierungsverfahren anwendet, keiner Kausalität. Daher ist anzuerkennen, dass Prognoseentscheidungen oder Wissensrepräsentationen im Wesentlichen auf Korrelationen beruhen und keine Kausalitäten aufzeigen, was im Einzelfall entscheidend sein kann.³⁷⁷

Korrelationen sind an sich weder eine Schwäche noch ein Risiko. Vielmehr können sie vorteilhaft sein, um mögliche Zusammenhänge in großen Datenbeständen aufzuzeigen, die dann wiederum validiert werden können. Sie sind aber als Risiko einzustufen, wenn ein Vermischen von Korrelation und Kausalität droht. Dies könnte im Verwaltungsverfahren von Bedeutung sein. Ist beispielsweise einem Verwaltungsbeschäftigten nicht bewusst, dass eine Prognose oder ein Entscheidungsvorschlag eines KI-Systems auf Korrelationen im Datenbestand beruht und gerade nicht zwingend auf Kausalzusammenhänge und logische Schlussfolgerungen, kann dies für die letztendliche verwaltungsrechtliche Entscheidung gravierende Auswirkungen haben. So kann die menschlich getroffene Entscheidung auf Grundlage fehlerhafter Annahmen getroffen werden, ohne dass dieser Fehlschluss bekannt ist.³⁷⁸ Daneben verstärken KI-basierte Entscheidungen, insbesondere bezogen auf Korrelationen durch das angewendete Lernverfahren, das Diskriminierungspotenzial.³⁷⁹

Eine Sensibilität und ein Bewusstsein sowie ein technologisches Basiswissen der Verwaltungsbeschäftigten in Hinblick auf Korrelation und Kausalität ist angezeigt, um Entscheidungsvorschläge von KI-Systemen adäquat beurteilen und die grundsätzlichen Einsatzmöglichkeiten von KI-Systemen bestimmen zu können. Bleibt dieser Aspekt unberücksichtigt, so geht ein nicht unwesentliches Risiko von KI-Systemen aus.

Divergentes Denken in der Form wie es Menschen beherrschen³⁸⁰ ist für KI-Systeme gegenwärtig nicht möglich.³⁸¹ Menschliches Denken, das auch von Emotionen, Spontanität und im Zweifel von einer Inkonsistenz geprägt ist, ist nicht mit der Funktionsweise von Algorithmen gleichzusetzen.³⁸² Wie bereits konstatiert, sind von KI-Systemen vorgeschlagene oder getroffene Entscheidungen in der Regel vergangenheitsbezogen und basieren regelmäßig auf Erfahrungswerten, Analysen und Mustererkennung.³⁸³ Das Risiko und die Schwäche hinsichtlich eines verwaltungsrechtlichen Einsatzes liegt darin, dass im Zweifel keine tatsächliche Prognoseentscheidung für den Einzelnen getroffen oder ein Einzelfall gewürdigt werden kann, sondern lediglich eine historisch bezogene Wahrscheinlichkeitsberechnung erfolgt.³⁸⁴ Bei leistungsstarken Natural Language Processing-Modellen zeigt sich dies beispielsweise dadurch, dass gerade keine Texte mit einer kohärenten Bedeutung durch ein KI-System geschrieben werden, sondern vielmehr – auch bei flüssigen, qualitativ hochwertig wirkenden Texten – eine Art der Aneinanderreihung von Sequenzen sprachlicher Formen vorliegt.³⁸⁵ Bender et al. bezeichnen daher leistungsstarke Natural Language Processing-Modelle als stochastische Papageien. Eine Ausnahme zu vergangenheitsbezogenen Entscheidungen könnten KI-Systeme sein, die mit der Lernmethode verstärkendes Lernen konzipiert sind. Allerdings wird die Anwendung solcher Systeme für die Entscheidungsfindung im verwaltungsrechtlichen Kontext eingeschränkt sein. Darüber hinaus sind KI-Systeme durch die eingeschränkte Kreativität nur bedingt in der Lage auf neue, unvorhergesehene Situationen zu reagieren.³⁸⁶

Eng verbunden mit der Kreativität ist die Fähigkeit zu kontextualisieren. Unter Kontextualisierung ist zu verstehen, Entscheidungen oder vorgesehene Handlungen mit den Rahmenbedingungen und der Lebenswirklichkeit übereinzubringen, zu reflektieren, abzuwägen und bei Bedarf die avisierte Handlung oder Entscheidung anzupassen. KI-Systeme verfügen nicht über die Fähigkeit zur umfassenden Kontextualisierung.³⁸⁷ Dies begründet sich im Wesentlichen durch die mehrheitlich fehlenden oder begrenzten Eigenschaften von KI-Systemen wie der sozialen und emotionalen Intelligenz, der Kreativität, dem Erkennen von Kausalitäten, dem systeminhärenten Vergangenheitsbezug oder der regelmäßig rein singulären Spezialisierung von KI-Systemen.

Ein Risiko für den erfolgreichen Einsatz von KI-Systemen in der Verwaltung kann im mangelnden Vertrauen liegen. Sofern ein flächendeckender Einsatz von KI-Systemen in der Verwaltung avisiert ist, ist der Erfolg vom Vertrauen zum einen von den Verwaltungsbeschäftigten und zum anderen von den Adressaten der jeweiligen Verwaltungsleistung abhängig. Wird nicht in die KI-basierte Entscheidung oder Aufgabenerledigung vertraut, könnte dies zu einem signifikanten Ausweicheffekt weg von der KI-basierten Bearbeitung hin zur Inanspruchnahme von menschlichen Bearbeitungsmöglichkeiten führen. Zudem könnte ein geringes Vertrauen in die Rechtmäßigkeit KI-basierter Entscheidungen zu einem Anstieg der rechtlichen Überprüfungen von Verwaltungsentscheidungen führen. Beides hätte verwaltungsökonomische Auswirkungen und könnte potenziell die Chancen und Stärken eines Einsatzes von KI-Systemen in der Verwaltung egalisieren.

Das Vertrauen in KI-basierte Entscheidungen ist von verschiedenen Faktoren geprägt. Insbesondere können hier zwei Dimensionen zum Tragen kommen. Einerseits könnten Faktoren relevant sein, die in der nutzenden Person liegen. Dies ist zum einen der Expertenstatus in Bezug auf Künstliche Intelligenz und zum anderen die digitale Affinität. Nichtexperten und digital affine Personen haben ein verhältnismäßig höheres Vertrauen als Experten und nicht digital affine Personen in Entscheidungen, die von einem KI-System getroffen werden.³⁸⁸ Dies wird gestützt durch die Annahme, dass ein wesentlicher Baustein für Vertrauen in KI-Systeme die Akzeptanz von KI-Systemen ist.³⁸⁹ Andererseits sind die wahrgenommenen Eigenschaften des KI-Systems wie die Fähigkeiten, die dem KI-System zugeschrieben werden, und die Nachvollziehbarkeit für das Vertrauen von Bedeutung.³⁹⁰ Neben der Nachvollziehbarkeit, die subjektiv geprägt ist, ist eine höhere Transparenz eines KI-Systems ebenfalls ein vertrauensbildender Faktor.³⁹¹

Zusammenhängend mit dem Vertrauen ist die Glaubwürdigkeit, die KI-Systemen und KI-basierten Entscheidungen zugeschrieben wird, ein weiterer Risikofaktor. Zunächst ist festzustellen, dass die Glaubwürdigkeit, die von Expertensystemen geschaffenen Produkten zugeschrieben wird, höher bewertet werden dürfte als bei menschlich geschaffenen Produkten. Konkret wurde im Bereich des Journalismus computergenerierten Nachrichten eine höhere Glaubwürdigkeit zugeordnet als von Menschen verfassten Artikeln.³⁹² Fraglich ist hier, ob die erhöhte Glaubwürdigkeit zurecht angenommen wird oder ob es sich um eine überschätzte, zugeschriebene Glaubwürdigkeit handelt. Dies kann jedoch vorliegend dahinstehen. Im Ergebnis verdeutlicht diese Gegebenheit ein Potenzial für KI-basierte Entscheidungen. Denn wenn diesen Entscheidungen und Produkten dem Grunde nach eine höhere Glaubwürdigkeit zugeschrieben wird als menschlichen Handlungen, könnte dies zu einer höheren Akzeptanz von KI-basierten Entscheidungen führen. Gleichzeitig exemplifiziert dieser Mechanismus eine Kernproblematik. Der maßgeblich wirkende Effekt ist auf eine Wahrnehmungs- beziehungsweise Kognitionsverzerrung zurückzuführen. Die Verzerrung wird durch die quellen- und kontextorientierte Glaubwürdigkeitsbeurteilung verursacht.³⁹³ Demnach wird einer Person per se eine gewisse Glaubwürdigkeit zugeschrieben, wenn diese Kompetenz und Vertrauenswürdigkeit verkörpert.³⁹⁴ Gelingt es der Verwaltung in der breiten Öffentlichkeit den eingesetzten KI-Systemen diese Attribute zuzuschreiben, so wäre es möglich, dass eine analoge Wahrnehmungsverzerrung ebenso im verwaltungsrechtlichen Umfeld bezogen auf KI-basierte Entscheidungen auftritt.

Mit diesem aus Verwaltungsperspektive wünschenswerten Effekt geht jedoch ein Risiko einher. So kann zwar einerseits eine vom KI-System getroffene oder vorgeschlagene Maßnahme zur Erhöhung der Akzeptanz der verwaltungsrechtlichen Entscheidung oder Maßnahme führen und damit eine positive Wirkung entfalten. Anderseits besteht die Gefahr, dass die Wahrnehmungsverzerrung auch bei den Verwaltungsbeschäftigten auftritt. Dies könnte dazu führen, dass vom KI-System vorgeschlagene oder getroffene Entscheidungen nicht von den Verwaltungsbeschäftigten hinterfragt, sondern aufgrund der hohen, zugeschriebenen Glaubwürdigkeit hingenommen werden.³⁹⁵ Enders beschreibt diesen Aspekt mit einem „hohen Vertrauen in die Unfehlbarkeit der KI“.³⁹⁶ Somit besteht die Gefahr eines Automation Bias, mit dem KI-basierte Ergebnisse ohne Prüfung und Reflektion übernommen werden.³⁹⁷ Mit der Wahrnehmungsverzerrung verbunden, könnte die technische Affinität von Personen sein. Bauberger et al. benennen den Umstand, dass die Nutzer KI-Ergebnisse nicht einordnen und die Funktionsweise der Systeme nicht nachvollziehen können, den kognitiven Bias.³⁹⁸ Diese Kompetenz ist von nicht zu unterschätzender Bedeutung, da auch leistungsstarke KI-Modelle fehlerhafte Ergebnisse liefern, die als solches – aufgrund einer überzeugenden Darstellung – nicht offensichtlich sind.³⁹⁹ In der alltäglichen Praxis dürften nicht die vorgenannten Schwächen und Risiken omnipräsent sein, was dazu führt, dass angenommen werden könnte, dass das Ergebnis umfassend korrekt ist.⁴⁰⁰ Dies könnte darauf zurückzuführen sein, dass KI-Systemen als Vorteil zugeschrieben werden könnte, dass sie auf eine schier unendliche Datenmenge und Informationen zurückgreifen können, was bei einer menschlich getroffenen Entscheidung unwahrscheinlicher ist.

Das Vertrauen und die Glaubwürdigkeit in KI-Systeme können folglich positive Effekte haben, jedoch bei einer unreflektierten Verwendung der Systeme zu Risiken führen.

Die Verwendung von KI-Systemen in kritischen Bereichen und die kaum abschätzbaren Fehlermöglichkeiten führen zu einem hohen abstrakten Risiko, das von Künstlicher Intelligenz ausgeht.⁴⁰¹ In Kombination mit einer zugeschriebenen hohen Glaubwürdigkeit und Vertrauen in KI-Systeme können fehlerhafte, KI-basierte Entscheidungen enorme Auswirkungen auf einzelne Personen oder die Gesellschaft haben.⁴⁰² Dem kann grundsätzlich entgegengehalten werden, dass menschlich getroffene Verwaltungsentscheidungen und -maßnahmen ebenso fehlerhaft sein könnten. Vielmehr besteht das Potenzial beim Einsatz von KI-Systemen, durch Menschen verursachte fehlerhafte und diskriminierende Entscheidungen zu minimieren. Zu denken ist hier an den Gleichbehandlungsgrundsatz. KI-Systeme sind in der Lage eine enorme Anzahl an Daten und Informationen zu verarbeiten und somit eine Gleichbehandlung sicherzustellen oder zumindest zu fördern. Zudem sind sie frei von den oben beschriebenen Aspekten, die eine menschliche Entscheidung maßgeblich beeinflussen können wie die persönliche Verfasstheit, das individuelle Fachwissen oder auch die Sozialisation. Bei einer menschlichen Bearbeitung wird dies regelmäßig durch andere, verwaltungsinterne Instrumente – beispielsweise durch Verwaltungsvorschriften – sichergestellt. Dennoch kann die letztendliche Entscheidung innerhalb eines Verwaltungsstrangs unterschiedlich ausfallen oder aufgrund anderer Faktoren – wie dem föderalen System – regelmäßig eine divergente Verwaltungspraxis etabliert sein. Dieser Annahme ist zu folgen. KI-Systeme können bei gleichen Vorgaben und Tatbeständen eine einheitliche Verwaltungspraxis fördern.

Näher zu betrachten ist in diesem Zusammenhang die Auswirkung von Fehlern. Sind diese durch einzelne Verwaltungsbeschäftigte bedingt, so wirken sich fehlerhafte Entscheidungen regelmäßig auf einzelne Personen aus. Bei einem KI-basierten System erstreckt sich die Wirkung auf eine Gruppe von Menschen in der jeweiligen Verwaltungszuständigkeit oder im Zweifel auf das gesamte Bundesgebiet.⁴⁰³ Kleinste Fehler können damit eine erhebliche Anzahl an Personen treffen, was durch das menschliche Pendant nur eingeschränkt gilt.⁴⁰⁴ Selbst kleine und rechtlich nicht erhebliche, fehlerhafte KI-basierte Entscheidungen oder Maßnahmen im Rahmen des schlichten Verwaltungshandelns können massive Auswirkungen entfalten. Zu denken ist insbesondere an soziale oder berufliche Probleme, die sowohl durch faktisches Verwaltungshandeln als auch durch hoheitliche Maßnahmen verursacht werden können. Wird eine Person, die auf dem Weg zu einem Bewerbungsgespräch aufgrund einer Falsch-Erkennung einer KI-basierten Videoüberwachung in eine polizeiliche Maßnahme einbezogen und verspätet sich infolgedessen zu dem Bewerbungstermin, kann dies dazu führen, dass die Person nicht ausgewählt wird. Treffen solche Situationen überwiegend bestimmte Personengruppen könnte dies als Diskriminierung und Stigmatisierung gewertet werden. Aber auch die fehlerhafte Ablehnung eines Antrags auf Sozialleistungen oder die rechtswidrige Rückforderung von Transferleistungen können zu einer Verschlechterung der persönlichen Lage von einzelnen Bevölkerungsgruppen führen.⁴⁰⁵ Insbesondere für Personen, deren Liquidität nicht gesichert ist, kann dies erhebliche Folgen haben. Ebenso kann die Fehlerauswirkung bei einem diskriminierenden Algorithmus, der beispielsweise aufgrund eines oben beschriebenen Bias in den Trainingsdaten verursacht wird, massiv sein.⁴⁰⁶ Darüber hinaus können einzelne Fehler in Verwaltungsverfahren verortet sein, die eine hohe individuelle Konsequenz für die Adressaten innehaben und zudem eine vergleichsweise hohe Finalität mit sich bringen, die die Fehlerkorrektur erheblich beeinträchtigen.⁴⁰⁷ Erschwerend kommt hinzu, dass die Vorhersehbarkeit von möglichen Fehlern bei KI-Systemen eingeschränkt ist.⁴⁰⁸

Nun könnte angeführt werden, dass die beschriebenen negativen Implikationen durch das mögliche Potenzial, namentlich die Gleichbehandlung zu fördern, egalisiert werden und damit im Ergebnis nicht relevant sind. Konkret könnten in der Breite auftretende, gleichförmige Fehler und Falschentscheidungen vielmehr eine rechtmäßige Verwaltungspraxis sicherstellen als schädlich zu sein. Denn diese könnten zügig erkannt und in der Fläche beseitigt werden, was bei strukturellen, menschlichem Fehlverhalten nicht der Fall wäre. Ungeachtet einer rechtlichen Würdigung sprechen gegen diese Annahme vier praktische Erwägungen.

Zunächst ist die Frage zu betrachten, ob fehlerhafte und rechtswidrige Entscheidungen durch die Verwaltungsarchitektur und die eingesetzten Mittel in einem ersten Schritt toleriert werden können. In diese Betrachtung ist das hohe individuelle Schadenspotenzial und das damit einhergehende abstrakte Risiko zu berücksichtigen, das bei einer entsprechenden Bearbeitung von Verwaltungsbeschäftigten nicht zwingend angenommen werden muss. Neben der rechtlichen Würdigung ist ein Augenmerk auf die gesellschaftlichen Implikationen zu richten. Denn es besteht die Gefahr einer kollektiven Stigmatisierung von bestimmten Personengruppen. Ebenso können sowohl die Stigmatisierung als auch die individuellen, negativen Folgen von Fehlentscheidungen wesentliche persönliche Auswirkungen entfalten wie das Abrutschen in schwierige soziale Milieus oder eine zunehmende Distanzierung von der Gesellschaft.

Zudem ist davon auszugehen, dass die Erkennung und Korrektur oder Beseitigung eines fehlerhaften Systems Zeit in Anspruch nehmen werden. Da dem Schadenspotenzial auch immaterielle Aspekte zuzurechnen sind, wie durch den Fehler verursachte soziale oder berufliche Probleme, würde sich der gesellschaftliche und rechtliche Schaden eine gewisse Zeit fortsetzen und müsste ausgehalten werden.

Daneben setzt die Annahme einer flächendeckenden Erkennung und Beseitigung eines fehlerhaften Systems voraus, dass ein- und dieselben Algorithmen und Trainingsdaten im föderalen Staat eingesetzt werden. Dies ist aus den Erfahrungen der bisherigen und gegenwärtigen Digitalisierungsbemühungen der Verwaltung und in Anbetracht des Verwaltungsaufbaus sowie der Kompetenzverteilung kritisch zu hinterfragen.⁴⁰⁹

Als viertes Argument könnte angeführt werden, dass Menschen Fehler machen und es nur legitim ist, dass ebenso Fehler von KI-Systemen herbeigeführt werden. Zunächst ist festzustellen, dass dieses Argument insofern inkonsistent ist, als die höhere Effektivität, Effizienz und das Vermeiden von fehlerhaften Entscheidungen als wesentlicher Nutzen von KI-Systemen angeführt wird. Wird nun der Austausch eines menschlichen Fehlers durch einen technikbedingten Fehler in Kauf genommen, konterkariert dies eine wesentliche Annahme, die der Einführung von KI-Systemen zugrunde gelegt wird. Darüber hinaus wird außer Acht gelassen, dass menschliche Fehler regelmäßig auf wenige Personen Auswirkungen haben. Die Fehlerauswirkung von KI-Systemen kann – wie oben dargestellt – enorm sein. Im Wesentlichen ist dies damit zu begründen, dass Menschen zwar Fehler machen, aber nicht alle dieselbe Fehlentscheidung treffen. Ein KI-System hingegen führt einen Fehler im Zweifel in der Breite herbei.

Eine weitere Dimension der Fehlerauswirkung ist die Verfestigung von Stigmatisierung oder Diskriminierung durch KI-Systeme. So ist anzunehmen, dass diskriminierende Entscheidungen, die als solche nicht in den von KI-Systemen produzierten Ergebnissen erkannt wurden – insbesondere hervorgerufen durch die oben beschriebenen Schwächen Vergangenheitsbezug und Bias – im Zweifel durch zukünftige KI-generierte Entscheidungen verfestigt werden.⁴¹⁰

Zusammengefasst ist festzustellen, dass vermeintlich unwesentliche Fehler oder Ungenauigkeiten von KI-Systemen massive Auswirkungen haben können, die aufgrund des im Zweifel flächendeckenden Einsatzes eine Vielzahl an Personen betreffen könnte und damit ein menschlich äquivalent fehlerhaftes Verhalten bei weitem übersteigt. Somit können fehlerhafte Entscheidungen durch KI-Systeme ein hohes individuelles Schadenspotenzial entfalten und stellen ein Risiko für den Einzelnen sowie letztlich für die Gesellschaft dar.

Eine Herausforderung wird es sein, die in hergebrachter Systematik und Semantik verfassten gesetzlichen Vorgaben in KI-Systeme zu überführen, respektive diese von einem KI-System ausführen zulassen. Unproblematisch und lediglich eine kapazitäre Herausforderung dürften einfache Regelungen darstellen, die weder einen Ermessensspielraum auf der Rechtsfolgenseite eröffnen noch unbestimmte Rechtsbegriffe auf der Tatbestandsseite beinhalten. Solche Regelungen sind aus informatischer Perspektive eindeutige wenn-dann-Konstellationen, die mit einem verhältnismäßigen Aufwand durch ein KI- oder ein regelbasiertes System abgebildet werden können.⁴¹¹ Anders sind gesetzliche Regelungen zu bewerten, die entweder einen Ermessensspielraum oder unbestimmte Rechtsbegriffe enthalten. Regelbasierte Systeme stoßen an dieser Stelle an ihre Grenzen, da die unterschiedlichen Konstellationen nicht oder nur mit einem verhältnismäßig hohen Aufwand – abhängig von der konkreten Regelung – abgebildet werden können. Demgegenüber könnten KI-Systeme aufgrund der inhärenten Eigenschaften solche komplexeren Regelungen verarbeiten. Jedoch mit der Einschränkung, dass die Anwendung durch KI-Systeme nicht mithilfe der juristischen Übung erfolgt, sondern auf Grundlage der technischen Konzeption wie dem maschinellen Lernen. Insbesondere können auch vielversprechende Ansätze wie Natural Language Processing-Modelle nicht überzeugen. Diese erlangen ihre Fähigkeiten aufgrund eines Trainings mit einer kaum vorstellbaren Menge an Texten.⁴¹² Neben den systeminhärenten Schwächen dieses Vorgehens wie der Vergangenheitsbezug oder eine unterschwellige Diskriminierung durch einen Bias im Trainingsdatensatz, erfolgt keine Vermittlung juristischer Methodik. Eine Auslegung unbestimmter Rechtsbegriffe oder die fehlerfreie Ausübung von Ermessen unter Anwendung der rechtlichen Methodik dürfte damit nicht gewährleistet sein.

Zur Lösung dieser systembedingten Schwäche von KI-Systemen haben sich zwei Lösungswege herausgebildet. Zum einen besteht der Ansatz, Recht und Gesetz maschinenverständlich zu gestalten – somit die Schaffung von Law-Code. Dazu gehören insbesondere eindeutige und zwingende wenn-dann-Regelungen, sprich gebundene Vorgaben, sowie die klare und konsequente Definition von Rechtsbegriffen.⁴¹³ Letzteres wird als Formalisierung der Sprache bezeichnet.⁴¹⁴

Auch wenn die Ermessensverwaltung ausgeklammert und nur die Tatbestandsseite betrachtet wird, erscheint eine eindeutig regelbasierte Gesetzgebung im Sinne von Law-Code nicht möglich.⁴¹⁵ Die Tatbestandsseite von Rechtsvorschriften wird gerade aus dem Grund, dass nicht alle Sachverhalte von der Legislativen vorhergesehen werden können, bei Bedarf mit unbestimmten Rechtsbegriffen und Beurteilungsspielräumen verfasst. Selbst wenn bei hergebrachten Vorschriften vermeintlich alle Sachverhalte überblickt werden können, gibt es ein Risiko, dass einzelne Sachverhalte nicht erfasst werden. Dies gilt insbesondere für neue Regelungen, bei denen nicht auf ein Erfahrungswissen zurückgegriffen werden kann. Daraus ergeben sich zwei Probleme.

Zum einen besteht die Gefahr, dass die Verwaltung nicht in die Lage versetzt wird, alle avisierten Sachverhalte zu bearbeiten, wenn es zu gesetzlichen Lücken kommt. Die hierfür anerkannte mögliche Ausweichstrategie diese Fälle anhand der anerkannten Auslegungsmethoden zu bearbeiten, dürfte durch KI-Systeme aufgrund der systeminhärenten Eigenschaften und Funktionsweisen nicht möglich sein.⁴¹⁶ Dies führt zwingend zu einem erhöhten Personaleinsatz, da die Fälle, die nicht geregelt sind und ausgelegt werden müssen durch Verwaltungsbeschäftigte zu bearbeiten wären. Damit werden jedoch die oben genannten Chancen und Potenziale von KI-Systemen in der Verwaltung⁴¹⁷ konterkariert. An dieser Stelle ist zu konstatieren, dass bestimmte Lebenssachverhalte nicht abschließend generalisiert werden können, sodass universelle Lösungen nicht vorab und umfassend definierbar sind.⁴¹⁸

Zum anderen könnte sich auch der Aufwand im parlamentarischen Bereich erhöhen, da die Gesetzgebung zeit- und ressourcenaufwändiger werden und die Tendenz bestehen könnte, dass gesetzlicher Law-Code bei Erkennen von nicht erfassten Sachverhalten wiederholt nachgebessert werden muss. Unter der Annahme, dass eine formalisierte Sprache verwendet wird, die weitestgehend auf tatbestandsseitige Spielräume verzichtet, dürfte in Anbetracht der geltenden Gesetze die Überführung in Expertensysteme oder die Überprüfung von KI-Systemen einen enormen Aufwand darstellen.⁴¹⁹ An dieser Stelle ist anzumerken, dass selbst bei der Gesetzgebung im Zusammenhang mit der Einführung und Ermöglichung von KI-Systemen in der Verwaltung auf unbestimmte Rechtsbegriffe nicht verzichtet wird. Die Verwendung von unbestimmten Rechtsbegriffen erfolgt dabei nicht nur von den parlamentarischen Akteuren, sondern auch von der wissenschaftlichen Seite. So wird beispielsweise in einem Änderungsantrag zum Gesetzentwurf des Digitalisierungsgesetzes Schleswig-Holstein sowie in einer Stellungnahme zu diesem Gesetzentwurf des Weizenbaum-Instituts dafür plädiert, die Begriffe „gewichtige“⁴²⁰ und „besonders schwerwiegend“⁴²¹ im Gesetz einzufügen. Auch ohne weiteren Kontext wird deutlich, dass dies nicht dem Ansatz von möglichst eindeutigen Tatbestandsmerkmalen entspricht.⁴²² Die Verwaltung wird durch diese unbestimmten Rechtsbegriffe zur Auslegung auf der Tatbestandsseite aufgefordert. Für den Einsatz von KI-Systemen dürfte eine solche Normgestaltung zumindest Hürden in der Anwendung implizieren.

Vermittelnd besteht der Ansatz, im Rechtsetzungsverfahren bei der Gesetzeskonzeption den (digitalen) Vollzug mitzudenken. Im Unterschied zu dem vorgenannten Modell wird hier nicht die Gesetzgebung ausschließlich auf den digitalen Vollzug ausgerichtet oder die grundsätzliche Rechtsarchitektur hinterfragt, sondern vielmehr versucht, Umsetzungsmöglichkeiten früher zu eruieren und damit den Gesetzesvollzug zu optimieren. Das Bundesverwaltungsamt nennt diese Vorgehensweise LawOps.⁴²³ Ops steht für das Operations Management, das die (digitale) Bereitstellung, Erbringung und Steuerung der Verwaltungsdienstleistung widerspiegelt.⁴²⁴ Das Mitdenken des Gesetzesvollzug sollte bei der Rechtsetzung stets eine Rolle einnehmen. Bezogen auf neue digitale und disruptive Technologien bietet diese Vorgehensweise Vorteile und kann Vollzugsrisiken reduzieren.

Daneben wird der Ansatz verfolgt, Entscheidungen im Rahmen des bestehenden Rechts, denen Ermessensspielräume zugrunde liegen, durch Künstliche Intelligenz berechnen zu lassen.⁴²⁵ Die Autoren dieses Ansatzes legen dar, dass eine KI-basierte Ermessensentscheidung mithilfe verschiedener technischer Verfahren möglich sei. Konkret könnten demnach bei Ermessensentscheidungen KI-basierte Durchschnittswerte gebildet werden.⁴²⁶ In diesem Zusammenhang ist auf die vorgenannten Nachteile von Künstlicher Intelligenz sowie den inhärenten Eigenschaften zu verweisen.

Ein weiteres Problemfeld liegt in der Sachverhaltsermittlung. Zwar dürften Basisinformationen unkompliziert von KI-basierten Systemen zusammengetragen und aufbereitet werden, jedoch ist hier die Frage, ob solche Systeme einen komplexen Sachverhalt unter Berücksichtigung aller Umstände erfassen können.⁴²⁷

Festzustellen ist, dass die gegenwärtigen gesetzlichen Regelungen und juristischen Arbeitsweisen nicht durch bestehende KI-Systeme abgebildet werden können. Die Lösung dieser Herausforderung besteht in der Berücksichtigung KI-bezogener Aspekte für die Architektur neuer gesetzlicher Vorgaben, was ebenfalls mit erheblichen Herausforderungen verbunden sein wird.

Zum einen könnte eine disruptive Verbesserung bei den KI-Systemen zu verzeichnen sein – insbesondere in Hinblick auf den technischen Fortschritt und die Leistungsfähigkeit im Bereich des maschinellen Lernens. Dies könnte dazu führen, dass leistungsfähige Basis-KI-Modelle entstehen, die eine Art der generalisierten Intelligenz aufweisen und schier unlimitiert einsetzbar sind. So würde sich der KI-Standard weg von einer singulären Aufgabenfokussierung hin zu einer generellen, allgemeinen KI entwickeln. Diese würde umfassende Fähigkeiten besitzen und gerade nicht nur auf eine singuläre Aufgabe begrenzt sein. Die KI würde all das Können – auch im physischen Sinne – mit all dem Wissen und den Informationen verbinden. Die Grenze der KI-Systeme nach diesem Szenario läge darin, dass diese nicht als Handlungs- und Verantwortungssubjekt klassifiziert werden könnten. Den Systemen würde es insbesondere an einem Bewusstsein fehlen.⁴³¹

Zum anderen existiert die Idee, dass eine KI entwickelt wird, die mit einem (Selbst-)Bewusstsein⁴³², Empathie sowie sozialer und emotionaler Intelligenz ausgestattet ist. Dies würde bedeuten, dass sie sich ihrer eigenen Existenz und ihres Denkens bewusst ist und möglicherweise ein Verständnis für ihre eigenen Grenzen und Fähigkeiten entwickeln kann.⁴³³ Dieser Entwicklungsschritt wäre bezogen auf die Art und Weise des Lernens von immenser Bedeutung.⁴³⁴ Es wäre eine Art des evolutionären Lernens,⁴³⁵ da ein solches System keinen stochastischen Lern- und Erledigungsansatz verfolgen würde, sondern das Lernen und Agieren auf der eigenen Wahrnehmung, dem eigenen Bewusstsein und im Kontext der Umwelt stattfinden würde.

Dies würde insbesondere auf die Erkenntnisse zur Fähigkeit von KI-Systemen zum moralischen Handeln⁴³⁶ eine bedeutsame Auswirkung haben können. Hier wäre zu diskutieren, ob KI-Systemen nicht doch eine umfängliche moralische – menschliche – Handlungsfähigkeit zugeschrieben werden müsste. Es würde das Hindernis der nicht programmierbaren Moral überwunden,⁴³⁷ indem Maschinen als moralische Subjekte angesehen werden könnten. Dies wäre dann der Fall, wenn KI-Systeme aus Gründen handeln würden, die der Moralität zuzuordnen sind.⁴³⁸ So wären KI-basierte moralische Wertungen und das Antizipieren von erlernten – vergangenen, moralischen – Handlungsweisen auf neue Konstellationen durch KI-Systeme möglich.⁴³⁹ KI-Systeme könnten womöglich – ähnlich wie Menschen – Dinge aus einer inneren Pflicht gegenüber sich selbst tun. Dies würde eine Selbstwahrnehmung und ein Selbstbewusstsein voraussetzen. Beides – Selbstbewusstsein und Selbstwahrnehmung – wären ein Motivator für moralisches Handeln. Dies würde die Entwicklung und Bewertungsgrundlage von (starken) KI-Systemen auf eine andere Ebene heben.

Ein trennscharfes Abgrenzen dieser Szenarien wird schwierig sein. Konkret wird es herausfordernd sein, den Eintritt des zweiten Szenarios festzustellen. Schon jetzt werden leistungsstarke KI-Modelle entwickelt, die im Bereich der sozialen Interaktion lernfähig sind und dem Menschen ein soziales, empathisches Verhalten widerspiegeln. Offen bleibt, ob diese Art der sozialen Intelligenz respektive das Erlernen und Berechnen von sozialem Verhalten und angemessener Interaktion gleichbedeutend mit einem eigenen Bewusstsein ist.⁴⁴⁰ Anders formuliert: Wird ein KI-Modell ein soziales Verhalten, Empathie und Bewusstsein besitzen oder spiegelt es dieses lediglich vor, indem schlicht die Wahrscheinlichkeit einer situationsangemessenen sozialen (Re-)Aktion berechnet und vorausgesagt wird. Also bleibt abzuwarten und sodann zu untersuchen, ob ein KI-System wie ein moralisches Handlungs- und Verantwortungssubjekt wirkt oder ein solches ist.

Diese nur schwer absehbare technische Entwicklung determiniert ebenso die rechtliche Bewertung. Bei einer starken KI im Sinne des ersten Szenarios, die sich dadurch auszeichnet, dass sie umfassende Fähigkeiten besitzt, bei der jedoch zugleich ähnliche Schwächen und Risiken wie bei einer schwachen KI festzustellen sind, dürfte sich die rechtliche Bewertung nur im geringen Umfang ändern. Anders könnte es sein, wenn KI-Modelle im Sinne des zweiten Szenarios entwickelt werden. Diese könnten zwar in Teilen ähnliche Schwächen und Risiken wie gegenwärtige KI-Systeme aufweisen, sie wären jedoch grundlegend neu zu bewerten. Denn die gegenwärtigen oben konstatierten Schwächen und Risiken resultieren maßgeblich aus der technischen Architektur und den Lernprozessen der gegenwärtigen KI-Modelle. Würde eine starke KI entwickelt werden, die auf einem gänzlich abweichenden Lern- und Erledigungsansatz fußt, ändern sich auch zwingend die systemimmanenten Schwächen und Risiken. Insbesondere das Szenario, dass das Lernen und Agieren einer starken KI auf einer eigenen Wahrnehmung, einem eigenen Bewusstsein und im Kontext der Umwelt stattfinden könnte, muss den Blick auf das System verändern.

Ebenso dürfte sich sodann die rechtliche Bewertung evident ändern. Problematisch wären beispielsweise nicht die erlernten Bias, da diese in der gegenwärtig vorliegenden Form nicht mehr gegeben wären, sondern vielmehr gesellschaftsbezogene und ethische Fragestellungen, die eine verfassungsrechtliche Implikation haben könnten. Denn es wäre fraglich, ob eine KI im Sinne des zweiten Szenarios ein Werkzeug bleibt oder es zu einem moralischen Handlungs- oder Verantwortungssubjekt erwächst. Es ist daher davon auszugehen, dass sich durch die maßgeblich verschobene Fragestellung auch die rechtliche Bewertung grundlegend ändern würde. Im Vordergrund wird stehen, ob zum einen ein Einsatz von Künstlicher Intelligenz mit der verfassungsrechtlich verankerten Menschenwürde im Einklang stehen kann und zum anderen, ob eine Gesellschaft von Menschen oder KI-Modellen geprägt sein sollte.

Im Ergebnis ist die Vision für die Künstliche Intelligenz nicht klar benennbar. Welches Szenario eintritt und wie es verwirklicht wird, ist ungewiss sowie von vagen Annahmen geprägt. Eine evidenzbasierte rechtswissenschaftliche Auseinandersetzung mit der Thematik wird daher zum gegenwärtigen Stand der Wissenschaft nur schwerlich möglich sein. Zu bemerken ist jedenfalls, dass wenn eine starke KI im Sinne des ersten Szenarios entwickelt wird, die also umfassende Fähigkeiten besitzt, bei der aber weiterhin kein Bewusstsein festzustellen sein wird und bei der die vorgenannten Risiken und Schwächen – dahinstehend in welcher Ausprägung – weiter bestehen, sich die rechtliche Bewertung im Vergleich zu den gegenwärtigen schwachen KI-Modellen nicht grundlegend ändern wird. Denn der Ausgangspunkt der rechtlichen Bewertung sind die Risiken und Schwächen der KI-Modelle, die technisch induziert und daher KI-immanent sind.