Die Forschungsfrage, ob der Einsatz eines entscheidenden KI-Systems in der öffentlichen Verwaltung rechtlich möglich ist, ist mit ja zu beantworten. Im Kern ist zu konstatieren, dass die Einführung von KI-Systemen im Bereich der Verwaltungsentscheidungen nicht die Frage des Ob ist (und sein sollte), sondern vielmehr des Wie. Da keine zwingenden rechtlichen Gründe für einen vollumfänglichen Verzicht auf KI-Systeme bestehen, könnte die Verwaltung sich der technischen Entwicklung bedienen und Potenziale erschließen.
Vielmehr kann der Einsatz neuer Verfahren und Technologien aus dem Grundsatz der Verwaltungseffizienz abgeleitet werden. Von der Verwaltung ist zumindest zu verlangen, sich mit den Potenzialen von KI-Systemen zu beschäftigen und einen Einsatz zu prüfen. Mit Blick auf die Rechtssicherheit, die Effizienz und die Ressourcen der Verwaltung macht der Grundsatz der Verwaltungseffizienz die Beschäftigung mit der Frage eines Einsatzes von KI-Systemen erforderlich.1 Insbesondere bezogen auf den Aspekt des Ressourceneinsatzes der Verwaltung ist in Hinblick auf den Grundsatz der Wirtschaftlichkeit und Sparsamkeit gemäß § 7 BHO2 respektive den entsprechenden Länderregelungen von den Verwaltungen zu prüfen, wie ihr Handeln wirtschaftlicher gestaltet werden kann. Dazu gehört auch das Nutzen neuer Technologien. Es sollten folglich die Möglichkeiten erschlossen und Risiken unter Berücksichtigung der Unzulänglichkeiten von KI-Systemen – wie sie auch bei anderen technischen Systemen bestehen – verwaltungsrechtlich und verfahrenstechnisch begrenzt werden.
Anzeige
Es darf dabei nicht vergessen werden, dass KI-Systeme Werkzeuge sind und keine umfänglichen Lösungen für die diversen Herausforderungen der Verwaltung darstellen. KI-Systeme können helfen, bestehende Probleme in der Verwaltung zu lösen, sie sind jedoch nicht die Lösung. Daher wird es von Bedeutung sein, zu lernen und zu antizipieren, wie KI-Systeme bestmöglich und rechtmäßig eingesetzt werden können.
5.1 KI-Systeme
Die Näherung an den Begriff der Künstlichen Intelligenz über die Betrachtung der Funktionsweise zeigt, dass das maschinelle Lernen für gegenwärtige KI-Systeme von herausragender Bedeutung ist. Die Lernverfahren können in drei Gruppen kategorisiert werden – das überwachte Lernen (supervised machine learning), das unüberwachte Lernen (unsupervised machine learning) und das verstärkende Lernen (reinforcement machine learning).
Die Auswertung der Strategie- und Positionspapiere der Legislative, der Bundesregierung, der Europäischen Kommission sowie der Länderregierungen vermittelt das Verständnis dieser Akteure über den Begriff der Künstlichen Intelligenz. Dabei ist festzustellen, dass die Mehrzahl der Landesregierungen ihr KI-Verständnis nicht ausdrücklich offenlegt. Die Enquete-Kommission des Bundestags, die Datenethikkommission der Bundesregierung und einzelne Länder hingegen zeigen eine intensive Beschäftigung mit dem Begriff Künstliche Intelligenz auf und definieren diesen. Hierbei benennen insbesondere Thüringen, Schleswig-Holstein, Hessen und die Bundesregierung zwei Merkmale für KI-Systeme: Lernende Algorithmen und die Lösung von Aufgaben. Die Datenethikkommission der Bundesregierung bleibt in ihrem Definitionsansatz in Bezug auf lernende Algorithmen offener. Die Enquete-Kommission des Bundestags vertritt dagegen die Auffassung, dass sowohl lernende Systeme als auch regelbasierte Systeme als Künstliche Intelligenz einzuordnen sind.
Bei der Betrachtung der Potenziale und Chancen exzellieren sich folgende Punkte:
-
Erhöhung der Akzeptanz von Verwaltungsentscheidungen,
-
Steigerung der Servicequalität,
-
Erhöhung der Effizienz,
-
Schonung von Ressourcen,
-
Erhöhung der Rechtssicherheit.
Anzeige
Neben den Potenzialen und Chancen, die von KI-Systemen ausgehen, wurden ebenso die systeminhärenten Risiken und Schwächen herausgearbeitet:
-
strukturelle Fehler durch Bias – technisch und menschlich bedingt,
-
mangelnde Verständlichkeit, Transparenz und Nachvollziehbarkeit,
-
fehlende soziale und emotionale Intelligenz,
-
mangelnde sensomotorische Fähigkeiten und Intelligenz,
-
fehlende Kausalität in den Entscheidungen und Gefahr der Fehleinschätzung durch Verwaltungsbeschäftigte,
-
fehlende Kreativität,
-
mangelnde Kontextualisierung,
-
überschätztes Vertrauen und Glaubwürdigkeit,
-
erhebliche Fehlerfolgen,
-
mangelnde Abbildungsmöglichkeiten der juristischen Terminologie/Architektur.
In Hinblick auf die rechtswissenschaftliche Literatur lässt sich erkennen, dass weitgehend – implizit oder explizit – auf zwei Merkmale zur Bestimmung eines KI-Systems abgestellt wird. In Anlehnung an den Begriff der schwachen KI kommt es demnach darauf an, dass einzelne Aufgaben oder Aufgabenbereiche von einem System gelöst werden und das System auf einem selbstlernenden Algorithmus basiert. Dies ist wiederum für die rechtliche Bewertung von Interesse. Zugleich dürfte die Aufgabenerledigung aus sich heraus dahinstehen können. Wenn ein KI-System nicht zu einem bestimmten Zweck – also zur Erledigung einer Aufgabe – eingesetzt wird, dürfte auch kein rechtliches Problem bestehen. Das Lernen eines Systems erfolgt gegenwärtig – grob vereinfacht – vorrangig durch Korrelation und Statistiktheorien. Die Lösung von Aufgaben ist folglich – ebenfalls grob vereinfacht – eine stochastische Prognose. Da für eine rechtliche Abgrenzung und Definition relevant ist, welches – technische – Merkmal mit einem systemimmanenten Risiko behaftet sein könnte, ist das Abstellen auf das technische Merkmal der Lernfähigkeit für eine rechtswissenschaftliche Untersuchung konsistent und angezeigt. Denn dieses Merkmal ist mit kennzeichnenden Risiken und Schwächen behaftet, die wiederum rechtlich relevant sind. Daher ist für die vorliegende Untersuchung ein KI-System an dem Merkmal der Lernfähigkeit zu definieren:
Ein KI-System liegt dann vor, wenn es auf lernenden Algorithmen beruht.
5.2 Bestandsaufnahme des (möglichen) KI-Einsatzes
Das dritte Kapitel zeigt auf, dass das Verwaltungshandeln dem Grunde nach in vier Dimensionen eingeteilt werden kann: verwaltungsinternes Handeln, fiskalisches und privatrechtliches Verwaltungshandeln, schlichtes Verwaltungshandeln und Verwaltungsentscheidungen. Letztere stellen den Hauptgegenstand der vorliegenden Arbeit dar. In der Bestandsaufnahme der gegenwärtig eingesetzten Systeme respektive der avisierten oder möglichen Nutzungsszenarien wird deutlich, dass KI-Systeme prinzipiell in allen Handlungsbereichen der Verwaltung eingesetzt werden (sollen). Bei dem Einsatz von KI-Systemen kann zwischen entscheidenden und entscheidungsunterstützenden Systemen unterschieden werden. Die Klassifizierung in entscheidungsunterstützende oder entscheidende KI-Systeme wird maßgeblich davon abhängig sein, inwiefern ein menschliches Zutun bei den einzelnen Entscheidungen erforderlich ist. Die Ausarbeitung zeigt auch auf, dass bei entscheidungsunterstützenden Systemen die Notwendigkeit bestehen kann, diese als faktisch entscheidende Systeme anzusehen. Dies ist dann der Fall, wenn das System so eingesetzt wird, dass es wie ein entscheidendes System wirkt – beispielsweise, wenn die vorgeschlagenen Entscheidungen durch die Verwaltungsbeschäftigten nicht gegengeprüft, sondern vielmehr unreflektiert übernommen werden.
5.3 Zentrale Thesen der Untersuchung aus dem vierten Kapitel
Die Arbeit zeigt weiter auf, an welchen Stellen der Einsatz eines KI-Systems aus der rechtlichen Perspektive mit Herausforderungen und Schwierigkeiten verbunden ist oder gänzlich ungeeignet erscheint. Mit diesem Wissen können bei der Etablierung von KI-Systemen in der Verwaltungspraxis den rechtlichen Fallstricken eine besondere Aufmerksamkeit beigemessen werden. Damit kann eine rechtmäßige Ausgestaltung des Einsatzes von KI-Systemen gefördert werden und die damit verbundenen Verwaltungsentscheidungen eine höhere Rechtssicherheit erlangen. Nachfolgend sind die Ergebnisse des vierten Kapitels thesenartig dargestellt.
5.3.1 Übergeordnete Thesen
1.
Die Grundrechte – insbesondere das Recht auf informationelle Selbstbestimmung nach Art. 2 Abs. 1 i.V.m. Art. 1 Abs. 1 GG sowie der allgemeine Gleichheitssatz nach Art. 3 Abs. 1 GG – determinieren eine verfassungsrechtliche Grenze für den Einsatz von KI-Systemen in der Verwaltung, die im Zweifel im Einzelfall zu bemessen ist.3
2.
Die Betrachtung höchstrichterlicher Rechtsprechung lässt keine Gründe aus der Perspektive der Judikativen erkennen, die einen Einsatz von KI-Systemen in der Verwaltung rechtlich unmöglich machen. Vielmehr ist zu konstatieren, dass das Bundesverfassungsgericht den Einsatz von KI-Systemen (im Polizei- und Sicherheitsbereich) nicht grundsätzlich als unzulässig ansieht, jedoch besondere verfahrensrechtliche Vorkehrungen erwartet, um ein hinreichendes Schutzniveau zu erreichen.4
3.
Der Einsatz von zentral vorgegebenen KI-Systemen – dahinstehend aus welchen Gründen – kann sowohl den Kernbereich exekutiver Eigenverwaltung unzulässig berühren als auch im Zuge des Grundsatzes des Ländervollzugs zu einer unzulässigen Unitarisierung des Bundesstaats führen.5
4.
Aus dem Grundsatz der Gesetzmäßigkeit der Verwaltung lässt sich die Tendenz erkennen, dass eine formell-gesetzliche Grundlage für den Einsatz von KI-Systemen erforderlich ist. In dieser wären zumindest der Einsatz für Standardverwaltungsverfahren, die dazugehörigen Mindestanforderungen an KI-Systeme und die Mindestschutzmaßnahmen durch das Parlament zu regeln.6
5.
Bergen eingesetzte KI-Systeme strukturell die Gefahr von materiell-rechtswidrigen Entscheidungen, ist mit Blick auf Art. 20 Abs. 3 GG nicht nur ein Verstoß gegen den Grundsatz der Gesetzmäßigkeit der Verwaltung festzustellen, sondern vielmehr eine verfassungsrechtliche Grenze erreicht, nach der der Einsatz eines solchen KI-Systems nicht opportun ist.7
6.
Der Funktionsvorbehalt gemäß Art. 33 Abs. 4 GG macht den Einsatz von KI-Systemen rechtlich nicht unmöglich. Es muss lediglich der Zweck der Vorschrift gewährleistet werden. So wird die verfassungsrechtliche Grenze mit Blick auf Art. 33 Abs. 4 GG nicht überschritten, wenn beim Einsatz von KI-Systemen sichergestellt wird, dass die daraus generierten Verwaltungsentscheidungen demokratisch legitimiert sind, sachlich und neutral getroffen werden sowie dem Recht und Gesetz entsprechen.8
5.3.2 Thesen zu den Regulationsansätzen
7.
Als Ermächtigungsgrundlage für den Einsatz automatisierter Entscheidungen kann nicht § 35a VwVfG herangezogen werden, da diese Entscheidung im allgemeinen Verwaltungsrecht dem Fachgesetzgeber obliegt. Aus dem Vorbehalt des § 35a VwVfG ist eine grundsätzliche Unzulässigkeit vollständig automatisierter Verfahren zu schließen, solange keine fachspezifische Ermächtigung besteht.9
8.
Art. 22 Abs. 1 DSGVO ist bei dem Einsatz von KI-Systemen in der Verwaltung zu beachten. Die Etablierung eines KI-Systems kann auf den Ausnahmetatbestand nach Art. 22 Abs. 2 lit. b DSGVO gestützt werden, wofür wiederum eine spezifische materielle Rechtsgrundlage und das Ergreifen von Schutzmaßnahmen erforderlich sind.10
9.
§ 54 Abs. 1 BDSG stellt keine Rechtsgrundlage für eine automatisierte Verwaltungsentscheidung dar. Nur mit einer expliziten Rechtsvorschrift ist gemäß § 54 Abs. 1 BDSG eine automatisiert getroffene Entscheidung zulässig.11
10.
Unter den Bundesländern sind zwei einschlägige Regelungen in Hinblick auf den Einsatz von KI-Systemen vorzufinden – das BayDiG und das ITEG SH. Das BayDiG enthält keine weiteren materiellen Vorschriften über die Ausgestaltung des Einsatzes von KI-Systemen.12 Der schleswig-holsteinische Gesetzgeber hält mit dem ITEG SH ein Gesetz vor, dass den Einsatz von KI-Systemen in der Verwaltung umfassend regelt und zulässt.13
11.
Die supranationale Norm – die KI-VO – trifft umfangreiche Regelungen zum Wie des Einsatzes von (hochriskanten) KI-Systemen, die direkte Auswirkungen auf den Einsatz in der Verwaltung haben werden. Das Ob des Einsatzes von KI-Systemen in der Verwaltung bleibt mit der KI-VO weitestgehend unangetastet.14
5.3.3 Tatbestands- und rechtsfolgenbezogene Thesen
12.
Regelungen mit einer gebundenen Rechtsfolge sollten vor der Etablierung von entscheidenden KI-Systemen auf Geeignetheit in Hinblick auf die Tatbestandsseite überprüft werden. Insbesondere Rechtsbegriffe, die weitgehend unbestimmt sind und deren Auslegung eine präzise Rechtsanwendung und die Berücksichtigung der komplexen Umweltumstände verlangen, dürften gegenwärtig nicht geeignet sein.15
13.
Der Einsatz eines KI-Systems im Rahmen der gebundenen Verwaltung ist insbesondere hinsichtlich von Entscheidungen im Sinne des § 36 Abs. 1 Alt. 2 VwVfG – Minusmaßnahmen – problematisch. Konkret dürften KI-Systeme an der Identifizierung dieser Sachverhalte, an der Auswahl, Formulierung und Begründung der Nebenbestimmung sowie am Erkennen von nebenbestimmungsfeindlichen Normen scheitern.16
14.
Die Auslegung von unbestimmten Rechtsbegriffen mit Beurteilungsspielraum ist durch KI-Systeme rechtlich nicht möglich. Bei gegenwärtigen KI-Systemen sind gerade gerichtlich überprüfbare Aspekte im Hinblick auf unbestimmte Rechtsbegriffe mit Beurteilungsspielraum rechtlich und technisch nicht zu gewährleisten.17
15.
Der Grundsatz der Verhältnismäßigkeit staatlichen Handelns determiniert auch bei gebundenen Verwaltungsentscheidungen den Einsatz eines KI-Systems in einem nicht zu unterschätzenden Maße. So muss die jeweilige Norm – auch wenn es sich um eine gebundene Rechtsfolge handelt – auf Geeignetheit für KI-Systeme überprüft werden. Dies betrifft sowohl die Rechtsfolge selbst als auch das (vorgelagerte) Verwaltungsverfahren. Die bloße Feststellung einer Norm, die eine gebundene Verwaltungsentscheidung vorgibt, als konstitutives Merkmal für die Etablierung eines KI-Systems birgt in ihrer Pauschalität die Gefahr von rechtswidrigen Entscheidungen und impliziert damit ein gewisses Maß an Rechtsunsicherheit.18
16.
Der Einsatz von KI-Systemen bei Ermessensentscheidungen könnte das Potenzial haben, Fälle der faktischen Selbstbindung der Verwaltung zu identifizieren und im Umkehrschluss – rechtswidrige – Abweichungen ohne sachlichen Grund zu erkennen. Somit könnte die Verwaltungspraxis optimiert und rechtssicherer gestaltet werden.19
17.
Unter Berücksichtigung der Lehre der Ermessensfehler respektive der fehlerfreien Ausübung des pflichtgemäßen Ermessens ist zu konstatieren, dass Künstliche Intelligenz das Ermessen nach den gegenwärtig anerkannten Maßstäben nicht ausüben kann. Eine Betätigung eines KI-Systems würde im Ergebnis eher der Ausübung eines freien Ermessens entsprechen, das sich nicht ausschließlich an sachlichen, zweckmäßigen und rechtlichen Kriterien orientiert. Vielmehr ist aus technisch-funktionalen Gründen für ein KI-System Statistik, Korrelation und die Trainingsdatenlage für die (Verwaltungs-)Entscheidung maßgeblicher als die Einzelfallbefassung und die Würdigung des Einzelfalls.20
18.
Der Einsatz von KI-Systemen bei Ermessensentscheidungen ist bezogen auf die Verhältnismäßigkeitsprüfung mit Schwierigkeiten behaftet. Dies betrifft alle Ebenen des Grundsatzes der Verhältnismäßigkeit – die Feststellung des legitimen Zwecks, die Geeignetheits-, die Erforderlichkeits- und die Angemessenheitsprüfung. Mit Blick auf den praktischen Einsatz von KI-Systemen bei potenziell gleichförmigen und stark strukturierten Verwaltungsverfahren dürfte das daraus resultierende rechtliche Risiko beherrschbar sein.21
19.
Soll-Vorschriften und Regelungen mit intendiertem Ermessen eignen sich nicht für Entscheidungen durch KI-Systeme, da insbesondere das Erkennen eines unangemessenen Ergebnisses funktional nicht möglich erscheint.22
20.
Entscheidungsunterstützende KI-Systeme könnten bei Ermessensentscheidungen insofern eingesetzt werden, als dass sie die Verwaltungsbeschäftigten in der Vor- oder Nachbereitung einer Ermessensentscheidung unterstützen. Dies bedeutet, dass die Ermessensausübung selbst durch die Verwaltungsbeschäftigten zu erfolgen hat.23
5.3.4 Verfahrensbezogene Thesen
21.
Der Einsatz eines KI-Systems im Bereich von Verwaltungsentscheidungen mit möglichen Drittwirkungen ist aus verfahrensrechtlichen, rechtsstaatlichen und verfahrensökonomischen Aspekten problembehaftet. Die Herausforderung für einen zulässigen Einsatz besteht darin, menschliche Bearbeitungs- oder Aufsichtsprozesse zu etablieren, um mögliche Drittwirkungen festzustellen und im Verfahren adäquat zu berücksichtigen.24
22.
Die Anhörung gemäß § 28 Abs. 1 VwVfG verfolgt einen verfassungsrechtlichen Schutzzweck – die Gewährleistung eines rechtsstaatlichen Verfahrens. Nach gegenwärtiger Rechtslage sind die Vorgaben des § 28 Abs. 1 VwVfG auch bei einer Verfahrensdurchführung durch ein KI-System anzuwenden. Dies impliziert praktische Herausforderungen in der Verfahrensgestaltung und stellt bei einem umfänglich autonomen Verfahren hohe Anforderungen an die KI-Systeme.25
23.
Die Beachtung des Untersuchungsgrundsatzes gemäß § 24 Abs. 1 S. 1 VwVfG ist beim Einsatz von KI-Systemen von Bedeutung. Insbesondere ist eine Betrachtung des avisierten Einsatzbereiches und eine Abschätzung darüber vorzunehmen, ob ein KI-System in Übereinstimmung mit § 24 VwVfG eingesetzt werden kann und sollte. Wird ein KI-System in ungeeigneten Bereichen eingesetzt, impliziert dies eine latente Gefahr von materiell rechtswidrigen Entscheidungen. Dadurch wird der primäre Normzweck – die Gewährleistung der Gesetzmäßigkeit der Verwaltung – konterkariert.26
24.
Die Begründungspflicht gemäß § 39 Abs. 1 VwVfG impliziert hohe praktische und rechtliche Hürden für den Einsatz von KI-Systemen. Bei der Entwicklung und Etablierung von KI-Systemen müssen die Erfordernisse der allgemeinen Begründungspflicht von Verwaltungsakten beachtet und umgesetzt werden. Ist dies nicht möglich, sollten Verfahren respektive Verwaltungsbereiche für den Einsatz von KI-Systemen vorgesehen werden, bei denen die Ausnahmetatbestände nach § 39 Abs. 2 Nr. 1 und 2 VwVfG einschlägig sind.27
25.
Die Beratungs- und Fürsorgepflicht der Verwaltung gemäß § 25 Abs. 1 VwVfG sowie die Erörterungspflicht gemäß § 25 Abs. 2 VwVfG finden beim Einsatz von KI-Systemen weiter Anwendung. Bei der Etablierung von KI-Systemen muss ein Weg gefunden werden, die gesetzgeberische Intention der Norm sicherzustellen.28
26.
Das Akteneinsichtsrecht nach § 29 Abs. 1 S. 1 VwVfG findet beim Einsatz eines KI-Systems Anwendung. Zur Effektivität der Norm und der Gewährleistung des Normzwecks ist es Voraussetzung, dass sich in den Akten diejenigen Informationen befinden, die zur Geltendmachung oder Verteidigung der rechtlichen Interessen der Beteiligten dienlich sein könnten. Folglich sind die entscheidungsrelevanten Gründe – auch in automatisierten Verfahren – nachvollziehbar zu halten und zu dokumentieren. Nur so können die Beteiligten in die Lage versetzt werden, ihre rechtlichen Interessen geltend zu machen oder zu verteidigen. Mit Blick auf die Transparenz, Nachvollziehbarkeit und Dokumentation von KI-Systemen birgt dieser Aspekt eine Herausforderung in der praktischen Implementierung von KI-Systemen.29
27.
Bei einer möglichen Modifikation des Verfahrensrechts sind die verfassungsrechtlichen Grenzen zu beachten. Eine Grenze für den Gesetzgeber wird dann erreicht sein, wenn der verfassungsrechtlich hergeleitete und intendierte (Rechts-)Schutzzweck der einzelnen Verfahrensregelung nicht mehr wirkt und keine adäquate Ersatzmaßnahme etabliert wird. So sollten insbesondere die Anhörungspflicht gemäß § 28 Abs. 1 VwVfG, der Untersuchungsgrundsatz nach § 24 Abs. 1 S. 1 VwVfG sowie das Begründungserfordernis nach § 39 Abs. 1 S. 1 VwVfG nicht gesetzlich abgeschwächt werden.30
Die Thesen zeigen, der Einsatz von KI-Systemen ist weniger eine Frage des Ob, sondern vielmehr des Wie – und zwar für Legislative und Exekutive.
Open Access Dieses Kapitel wird unter der Creative Commons Namensnennung 4.0 International Lizenz (http://creativecommons.org/licenses/by/4.0/deed.de) veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Kapitel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
