Textgenerierende KI im Verwaltungsverfahren – Politische Ziele, Regulierung und Verwaltungspraxis im Spannungsfeld

Künstliche Intelligenz drängt sich geradezu als Lösung des Problems auf. Schon der Name suggeriert, dass damit etwas ersetzt werden kann, was bisher nur der Mensch bot: Intelligenz. Im Koalitionsvertrag von SPD, Bündnis90/Die Grünen und FDP werden unter der Überschrift „Digitale Schlüsseltechnologien“ verstärkte Investitionen und Forschungen im Zusammenhang mit KI angekündigt. „Im Sinne eines lernenden, technologiefördernden Staates setzen wir digitale Innovationen in der Verwaltung ein, schaffen grundlegende Rechtsgrundlagen und Transparenz. Wir unterstützen den europäischen AI Act.“ ([1, S. 15]).

Der Hype um ChatGPT von Open AI und ähnliche Produkte führt in der Politik zu hohen Erwartungen in Bezug auf textgenerierende KI. Das Bundesforschungsministerium spricht in Bezug auf ChatGPT von einem „Meilenstein der KI-Entwicklung“ und stellt seinem KI-Aktionsplan die Vision einer Welt „powered by AI“ voran ([4, S. 1 und 3]).

Textgenerierende KI ist für den Einsatz in der Verwaltung von besonderem Interesse, geht es doch bei personalintensiven Verwaltungsverfahren regelmäßig um die Analyse und Erarbeitung von Texten. Der im September 2023 von der Bundesregierung vorgelegte und von Bund und Ländern im November beschlossene „Deutschland-Pakt“, der den Verfahrensstau in Deutschland auflösen soll, bietet als Lösung ebenfalls KI. Er sieht für die Planungs-. Genehmigungs- und Umsetzungsbeschleunigung die Digitalisierung von Planungs- und Genehmigungsverfahren über alle Verfahrensschritte vor: „Dabei wird auch künstliche Intelligenz zum Einsatz kommen. Bund und Länder werden dafür sorgen, dass Daten aus (...) Genehmigungsverfahren genutzt werden können, um die KI zu trainieren“ ([5] Deutschland-Pakt 2023, Ziffer 1). Das Zitat zeigt, dass man dabei vor allem textgenerierende KI im Blick hat.

Verwaltung wird durch Regeln gesteuert. Dadurch entsteht Verlässlichkeit, die Bürgerinnen und Bürger von der Verwaltung erwarten. Bei Algorithmen mit ihrer Abarbeitung von „Wenn-dann“-Befehlen ist es nicht anders. Die Erledigung von „Wenn-dann“-Befehlen entspricht sogar der Idealvorstellung einer rechtsstaatlichen Verwaltung. Sie entscheidet nicht willkürlich, sondern folgt Regeln, die von Parlamenten aufgestellt und unter demokratisch legitimierter politischer Verantwortung exekutiert werden. Die Regeln dienen gleichen Verfahrensschritten und Entscheidungen in allen vergleichbaren Fällen. Sie gewährleisten Gleichbehandlung und ein geordnetes Verfahren. Das kann nicht nur der Mensch erlernen, sondern auch ein Computer.

KI geht über den uneingeschränkt nachvollziehbaren „Wenn-dann“-Anweisungsteil eines Algorithmus hinaus. Wenn textgenerierende KI ermittelt, welches Wort in einem Satz mit größter Wahrscheinlichkeit auf das vorhergehende folgt, dann entspricht beispielsweise das erkannte Muster in zuvor antrainierten Verwaltungsschriftstücken im Erfolgsfall der bisherigen Verwaltungspraxis.

Für textgenerierende KI bieten sich in der öffentlichen Verwaltung somit theoretisch vielfältige Einsatzmöglichkeiten. In der allgemeinen Kommunikation mit dem Bürger sind Serviceleistungen denkbar, z. B. Auskünfte und Verweis an zuständige Stellen. Bei Redeentwürfen, Vermerken oder Stellungnahmen kann der Einsatz durch Zusammenfassung von Texten hilfreich sein.

Im Rahmen eines Verwaltungsverfahrens ist die Auswertung eines Antragstextes, seine formelle und inhaltliche Prüfung, anhand von Schlüsselwörtern bzw. Wortkombinationen technisch möglich. Das gleiche gilt für die Auswertung von Anhörungen, Gutachten und Stellungnahmen, die im Rahmen des Verfahrens eingeholt werden müssen. Denkbar ist dann der Abgleich mit antrainierten einschlägigen Entscheidungen, die bisher von Behörden und Gerichten getroffen wurden, bis hin zur Formulierung des Entscheidungsentwurfs. Vielfach werden heute bereits in der Praxis digitale Textbausteine verwendet. Die KI hat demgegenüber den Vorteil, dass ohne menschliches Zutun eine Verknüpfung zwischen Sachverhaltsermittlung und Begründung erfolgen kann. Aber nicht alles, was technisch möglich ist, ist einer Verwaltung auch erlaubt (siehe dazu unter Abschn. 4).

Die öffentliche Debatte zur KI beschränkt sich aber nicht nur auf Chancen, sondern es werden auch Risiken aufgezeigt, teilweise sehr drastisch. Der Appell auf der Webseite des Center for AI Safety, von KI-Experten unterzeichnet, setzt die gesellschaftlichen Risiken auf eine Stufe mit denen von Pandemien und einem Atomkrieg. Es drohe eine Zukunft, in der die Menschheit komplett von Maschinen abhängig werden könnte und die Kontrolle verliert ([6]).

Konkrete Bedenken gibt es auch gegenüber textgenerierender KI vor allem am Beispiel von ChatGPT. Auf die Euphorie nach der Einführung folgten alsbald ernüchternde Beobachtungen. Zwar lesen sich die Ergebnisse des Produkts sprachlich gut. Allerdings zeigt die Anwendungspraxis von ChatGPT, dass in sprachlich überzeugender Form auch inhaltlicher Unsinn verpackt sein kann; vgl. Kuhl in Zeit-online vom 6. Dezember 2022 „Gut erfunden ist halb geglaubt“ [7]. Tests ergaben, dass Chat-GPT auch nicht ideologiefrei arbeitet. Links-orientierte-politische Ansichten wurden bevorzugt ([8, Ziffer 4]).

ChatGPT und ähnliche gängige Produkte sind zwar Anlass für zahlreiche Diskussionen und haben den Hype ausgelöst, für die Anwendung in förmlichen Verwaltungsverfahren sind sie aber ungeeignet. Sofern diese Produkte trotzdem unter Beachtung des Datenschutzrechtes (dazu s. u.) für sonstige Verwaltungsarbeit etwa die Fertigung eines Redeentwurfs genutzt werden, muss der Nutzer die Fähigkeit besitzen und hinreichend sensibilisiert sein, das Ergebnis auf seine Richtigkeit hin zu überprüfen, so wie es bei jeder Internetrecherche erforderlich ist.

Für „echte“ Verwaltungstätigkeit, die zu einem Verwaltungsakt führt, werden vorwiegend textgenerierende Systeme in Betracht kommen, deren Trainingsdaten inhaltlich fokussiert sind. Aber auch das ist nicht unbedenklich. Dass KI-Systeme sich selbst anpassen und auf eine für den Menschen nicht überschaubare Datenmenge zurückgreifen, birgt Risiken. KI entwickelt sich weiter, ohne dass nachvollziehbar ist, auf welcher Kausalität der Eingangsdaten z. B. ein generierter Text beruht. Die Ergebnisse können auf Datensätze zurück gehen, die unvollständig, manipuliert oder vorurteilsbeladen sind. Eine Verwendung in einem rechtsstaatlichen Verwaltungsverfahren ist dann undenkbar – und im privaten Sektor auch.

Die Tatsache, dass KI als „black Box“ entscheidet, ist aber nicht per se problematisch. Auch Menschen, die eine Verwaltungsangelegenheit entscheiden, können für andere Menschen eine „black Box“ sein. Wichtig ist eine hinreichende Begründungs- und Kontrollarchitektur ([9, S. 8]).

Die Warnungen werden von der Politik aktuell mit verschiedenen nationalen und internationalen Regulierungsansätzen aufgegriffen. Sie haben zum Ziel, die Chancen zu nutzen und die Risiken zu begrenzen.

...und wenn ja, wofür? Die Technologie befindet sich noch in der Entwicklung und bietet Raum für Spekulationen. Das nährt die Hoffnung, dass sich damit vielfältige Bedarfe bedienen lassen. Friesicke und Sprondel warnen in ihrer Schrift „Träge Transformation – Welche Denkfehler den digitalen Wandel blockieren“ vor zu hohen Erwartungen an Technologien und dass sie über ihre eigentlichen Möglichkeiten hinaus oftmals überschätzt werden. Eine Technologie kann nicht die alleinige Lösung von Problemen mit vielfältigen Ursachen sein ([10, S. 25 ff.]). Dies trifft auch auf (textgenerierende) KI in der Verwaltung zu.

Die Verwaltung erscheint bürgerunfreundlich, weil die gesetzlichen Vorgaben den Bürger belasten. Es fehlt das Personal, um aufwändige Gesetze zeitnah zu administrieren, die versuchen, einer Vielzahl von Einzelfällen und Interessen gerecht zu werden und Ermessen, unbestimmte Rechtsbegriffe, Beurteilungsspielraum und Ausnahmeregelungen verwenden. Genehmigungsverfahren verzögern Investitionen durch komplexe Prüfkriterien, die Zahl der zu beteiligenden Stellen, Unklarheiten im Gesetz und Prozessrisiken. Diese Probleme sind strukturell und lassen sich nicht durch ein Bearbeitungstool lösen. Vor allem kompensiert KI nicht Defizite bei der „normalen“ Verwaltungsdigitalisierung. Sie setzt eine digitalisierte Verwaltung voraus. Politik sollte es deshalb vermeiden, unrealistische Erwartungen zu wecken.

Grundlegend ist das Konzept der Responsible Artificial Intelligence (RAI). Es bewegt sich an den Schnittstellen von Technik, Ethik und Recht. Die Prinzipien gelten für Wirtschaft, Wissenschaft und Verwaltung gleichermaßen.

Danach sollen KI-Systeme in gesellschaftlich verantwortungsvoller Weise entwickelt, eingesetzt und kontrolliert werden. RAI steht im Einklang mit den europäischen Wertevorstellungen und dem Recht. Ergebnisse müssen nachvollziehbar und erklärbar, Fehlfunktionen und Diskriminierung müssen ausgeschlossen sein. Die menschliche Verantwortung, Governance, muss geregelt werden (Zum RAI-Konzept im Einzelnen: [14, S. 27 f.]).

RAI geht im Wesentlichen auf die Menschenrechte, die europäische Grundrechtecharta und das Grundgesetz zurück. Die Freiheits- und Bürgerrechte müssen gewährleistet sein.

Der Einsatz von KI durch die Verwaltung darf nicht gegen die Menschenwürde verstoßen, Art. 1 GG. Menschen dürfen nicht zum bloßen Objekt der Technik werden. Die Verwaltung ist an die Grundrechte gebunden. Bei vermuteten Rechtsverletzungen steht der Rechtsweg zur Verfügung. Das erfordert die vollständige Überprüfbarkeit des Verwaltungshandelns. Bei Verwaltungsakten erfolgt dies in der Regel bereits innerhalb des Vorverfahrens.

Ausgeschlossen ist somit eine KI-Anwendung für die Verwaltung, die nicht vom Menschen beherrscht oder zumindest nachvollzogen werden kann. Die Prinzipien der RAI müssen mit menschlichen und technischen Mitteln gewährleistet sein.

Entwickler und Anwender sollten dies beachten, und zwar unabhängig von im Folgenden noch zu betrachtenden spezielle Regelungen wie dem EU KI-Act.

Der EU-KI-Act ist weltweit der erste Versuch, das Thema umfassend zu regeln. Die EU als „regulatorische Supermacht“ ([15, S. 1298, 1300]) hat sich damit einer besonderen Herausforderung gestellt. Die KI-Technologie und ihre Nutzung entwickeln sich noch sehr dynamisch und sind unvorhersehbar. Der KI-Act musste deshalb zwangsläufig zu gesetzgeberischen Unschärfen, Beurteilungsspielräumen, Auffangbestimmungen und untergesetzlicher Regulierung führen. Im Gesetzgebungsverfahren gab es erhebliche Kontroversen zwischen Kommission, Parlament und Rat (und dort zwischen einzelnen Mitgliedsstaaten). Sie entsprachen dem politischen Spannungsfeld zwischen Innovation und dem Ziel, die Risiken zu regulieren und wurden im Kompromisswege gelöst. Leitfaden ist der verantwortungsvolle Einsatz von KI im Sinne des RAI-Konzepts.

Am 13.03.2024 hat das europäische Parlament kurz vor Ende der Legislaturperiode den KI-Act beschlossen. Amtsblatt der Europäischen Union (DE) vom 12.07.2024.

Der EU-KI-Act ist nach Inkrafttreten unmittelbar geltendes Recht und von den Mitgliedsstaaten umzusetzen. Er gilt sowohl für den privatwirtschaftlichen als auch für den öffentlichen Sektor. Er richtet sich an alle Akteure auf dem Feld der KI (Anbieter, Entwickler, Nutzer, Einführer, Händler und ihre Bevollmächtigten). Er ist somit auch einschlägig für den Einsatz textgenerierender KI in der Verwaltung.

Ziel des EU-KI-Acts ist es, den europäischen Binnenmarkt durch einen einheitlichen Rechtsrahmen im Einklang mit den Werten der Europäischen Union zu verbessern. Menschenzentrierte und vertrauenswürdige KI soll gefördert werden. Der KI-Act soll ein hohes Schutzniveau u. a. in Bezug auf die Grundrechte einschließlich Demokratie und Rechtsstaatlichkeit gewährleisten und Innovationen unterstützen, siehe EU-KI-Act Erwägungsgrund 1.

Wie beim EU-KI-Act ist auch bei der datenschutzrechtlichen Bewertung generativer KI-Systeme, die Texte auf der Basis von Large Language Modellen (LLM) erzeugen, vieles im Fluss. Auch diese Diskussion macht sich an ChatGPT fest. Die Anforderungen, die sich beim Einsatz von ChatGPT aus der DS-GVO stellen, gelten für textgenerierende KI in der Verwaltung generell. Sie wird hier exemplarisch dargestellt.

Es ist fraglich, ob bei ChatGPT die DS-GVO eingehalten wird. Dies bezieht sich u. a. auf die sachliche Richtigkeit der Daten (Art. 5 Abs. 1 lit. c), auf die Rechtsgrundlage für die Verarbeitung der Trainingsdaten (Art. 6), die Verarbeitung besonderer Kategorien personenbezogener Daten (Art. 9) und Informationspflichten (Art. 12 ff.), (im Einzelnen: [18, S. 912 ff.]).

Für den Einsatz textgenerierender KI in der öffentlichen Verwaltung sind außerdem die Datenschutzfolgeabschätzung beim Einsatz neuer Technologien mit einem voraussichtlich hohen Risiko für die Rechte natürlicher Personen nach Art. 35 DS-GVO zu beachten und die Tatsache, dass die Daten an Drittländer außerhalb des Geltungsbereichs der DS-GVO übermittelt werden, Art. 44 ff. Solange Transparenz, Datensicherheit, Betroffenenrechte und die Rechtmäßigkeit des Verarbeitungsprozesses nicht gewährleistet sind, ist der Einsatz von ChatGPT in der deutschen Verwaltung nur eingeschränkt möglich. Selbst wenn lediglich abstrakte Fragen eingegeben werden, könnten sich Informationen ziehen lassen, die bei entsprechender Verknüpfung mit anderen Daten personenbezogen sind.

Da ChatGPT für Verwaltungsmitarbeitende wie für Jedermann einfach verfügbar und für die Erledigung von Aufgaben genutzt werden könnte, ist eine Sensibilisierung für die datenschutzrechtlichen Auswirkungen geboten. Der Hamburger Datenschutzbeauftragte hat eine Checkliste vorgelegt, die Unternehmen und Behörden zur Datenschutzkonformen Nutzung von Chatbots als Leitfaden dient. Darin wird zur Vorsicht bei der Ein- und Ausgabe personenbezogener sowie „personenbeziehbarer Daten“ geraten (Der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit [19, S. 2 f.]).

Strebt man mit dem Einsatz von KI vollständig automatisierte Verwaltungsentscheidungen an, ein Potential, was die technologische Entwicklung vermutlich schon bald hergibt, so sind Art. 22 DS-GVO sowie §35a VwVfG zu beachten. Damit sind enge Grenzen gesetzt.

Art. 22 DS-GVO gibt jedem das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden. Gemäß Art. 22 Abs. 2 lit. b) DS-GVO kann eine Person nur ausnahmsweise einer automatisierten Entscheidung unterworfen werden, wenn dies nach Rechtsvorschriften der EU oder der Mitgliedsstaaten zulässig ist. Die Rechtsvorschriften müssen angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten und der Interessen der betroffenen Person enthalten. Besonders sensible Daten, wie ethnische Herkunft, Religion, politische Meinung sind als Datengrundlage grundsätzlich ausgeschlossen, Art. 22 Abs. 4 i. V. m. Art. 9 DS-GVO.

Der Europäische Gerichtshof (EuGH) hat im Schufa-Urteil über die Entscheidungsgleichheit einer automatisierten Datenverarbeitung im Sinne von Art. 22 DS-GVO entschieden (Urteil vom 7. Dezember 2023 – C-634/21 - Schufa, EuGH NZA 2024, S. 45). Die Begründung gibt auch Hinweise für die Anwendung textgenerierender KI. Eine automatische „Entscheidung im Einzelfall“ liegt auch dann vor, wenn ein Wahrscheinlichkeitswert in Bezug auf die zukünftige Zahlungsfähigkeit einer Person an einen Dritten übermittelt wird, sofern davon „maßgebend“ abhängt, ob der Dritte ein Vertragsverhältnis mit der Person eingeht. Der EuGH bejaht die Maßgeblichkeit, weil in nahezu allen Fällen von dem Wahrscheinlichkeitswert abhing, dass es zum (Kredit-)Vertragsabschluss kam (EuGH a. a. O. S. 48). Übertragen auf den Einsatz von textgenerierender KI in einem Verwaltungsverfahren bedeutet das, dass auch dann ein Verstoß gegen Art 22 DS-GVO vorliegen kann, wenn die KI lediglich Entscheidungsvorschläge bietet, die aber faktisch standardmäßig von Verwaltungsmitarbeitenden übernommen werden.

Im deutschen Verwaltungsrecht ermöglicht §35a VwVfG den vollständig automatisierten Erlass eines Verwaltungsakts nur in bestimmten Fällen. Identische Regelungen enthält die AO und das SGB X. Ein automatisierter Verwaltungsakt setzt eine (fach-)gesetzliche Grundlage voraus. Vor allem darf weder Ermessen noch Beurteilungsspielraum gegeben sein. Der Gesetzgeber hat damit zu einem Zeitpunkt, als sich die Einsatzmöglichkeiten textgenerierender KI in der Verwaltung noch nicht abzeichneten, Voraussetzungen festgeschrieben, die den Einsatz von KI in der Praxis erheblich begrenzen. Für eindeutige „Wenn-dann“- Entscheidungen ohne Ermessen und Beurteilungsspielraum genügen zumeist Algorithmen und Textbausteine.

Textgenerierende KI mag bereits in der Lage sein, Wertungen, wie sie eine Ermessensentscheidung voraussetzen, vorzunehmen bzw. anhand von antrainierten Fällen die richtige Entscheidung mit hoher Wahrscheinlichkeit vorherzusagen. Die eigentliche Entscheidung durch KI ist nach geltender Rechtslage aber ausgeschlossen, was in der Literatur als „fortschrittsfeindlich“ kritisiert wird ([20, S. 253]), aus einem rechtsstaatlichem Verständnis heraus aber zu bejahen ist.

Es bleibt somit der Einsatz von textgenerierender KI im Verwaltungsverfahren vor allem zur Vorbereitung einer Entscheidung (Assistenz).

Grundlage für das öffentlich-rechtliche Verwaltungshandeln ist das Verwaltungsverfahrensgesetz (VwVfG). Dort ist vielfach noch die analoge Welt der Regelfall. Die Frage, ob das Verwaltungsverfahrensgesetz grundlegend reformiert werden muss, um der Digitalisierung besser gerecht zu werden, wird aktuell diskutiert (Vgl. [21, 193 ff.]).

Wird KI zur Vorbereitung einer Entscheidung (Assistenz) genutzt, gilt der allgemeine Untersuchungsgrundsatz nach §24 Abs. 1 Satz 1 und 2 VwVfG. Die Behörde ermittelt den Sachverhalt. Sie hat alle für den Einzelfall bedeutsamen Umstände zu berücksichtigen, §24 Abs. 2. Die Behörde darf für die Erledigung ihrer Aufgaben grundsätzlich technische Hilfsmittel einsetzen, in diesem Fall KI, sofern der Einsatz nicht gesetzlich ausgeschlossen ist.

Mitarbeitende, die einen KI-Text als Entscheidungsvorschlag nutzen, müssen sich aber selbst aktiv davon überzeugen, dass bei der Generierung des Textes alle entscheidungsrelevanten Daten (das Gesetz spricht von bedeutsamen Umständen) eingeflossen sind. Ist das nicht der Fall, müssen sie die von der KI nicht berücksichtigten Umstände noch einfließen lassen. Sonst drohen falsche Entscheidungen und die Betroffenen können mit einem Rechtsbehelf geltend machen, dass wichtige Umstände des Einzelfalls nicht berücksichtigt wurden.

Die Anhörung nach §28 VwVfG ist gleichfalls für ein rechtstaatliches Verwaltungsverfahren essenziell. Bevor ein Verwaltungsakt erlassen wird, der in Rechte eines Beteiligten eingreift, ist ihm Gelegenheit zu geben, sich zu den für die Entscheidung erheblichen Tatsachen zu äußern. Textgenerierende KI bietet hier Möglichkeiten, die Anhörung in die Entscheidung einfließen zu lassen, etwa durch Zusammenfassung und Übertragung von mündlichem Vortrag in Schriftform. Aufgaben, die in einer analogen Verwaltungswelt Menschen erledigen.

§39 sieht eine Begründungspflicht für schriftliche oder elektronische Verwaltungsakte vor. Sie ist verfassungsrechtlich geboten. Nur wer die Gründe einer Entscheidung kennt, ist in der Lage seine Rechte zu wahren (sh. BVerwG, DVBl. 1982, S. 198 f.).

Die einschlägigen Vorschriften des VwVfG zeigen, welche hohe Bedeutung geeignete und auskömmliche Trainingsdaten für den Einsatz von KI in der Verwaltung haben. Sie sind Voraussetzung, dass mit Hilfe von KI die richtigen entscheidungsrelevanten Daten ermittelt bzw. mit trainierten Entscheidungstexten verknüpft und Begründungsvorschläge unterbreitet werden, die in der Vergangenheit vergleichbare Entscheidungen getragen haben. Die Auswahl qualitativ valider Trainingsdaten ist der Schlüssel für den sinnvollen Einsatz von textgenerierender KI in der Verwaltung. Deshalb sind die zukünftigen Anwender von Seiten der Verwaltungen bereits bei der Entwicklung – interdisziplinär – gefordert und später dann bei der fortlaufenden Kontrolle der Ergebnisse. Je geringer die Zahl der vergleichbaren Anwendungsfälle ist, desto weniger kann KI zum Einsatz kommen. Soweit die Zuständigkeit der Bundesländer betroffen ist und das Landesrecht Besonderheiten aufweist, ist die Zahl der trainierbaren Fälle begrenzt. Gleichzeitig steigen die Entwicklungskosten. Der Einsatz von KI wird begünstigt, wenn Länderregelungen vereinheitlicht sind.

Bedient sich die Behörde textgenerierender KI in Vorbereitung eines Verwaltungsaktes, so ist die Begründung mit besonderer Sorgfalt vom Menschen zu prüfen und bei Bedarf zu korrigieren. Es gelten die allgemeinen Maßstäbe für sorgfältiges Verwaltungshandeln beim Einsatz und der Anwendung von KI-Systemen. Die Verwaltung unterliegt einer hohen öffentlichen Kontrolldichte durch Gerichte, Parlamente, Rechnungshöfe, Staatsanwaltschaften und Medien. Im Zweifel drohen Staatshaftungsansprüche. Das führt dazu, dass eine Verwaltung juristisch auf der sicheren Seite sein muss und sich grundsätzlich risikoscheu verhält.

In der analogen Welt befreien die Stellungnahme und der Entscheidungsvorschlag eines Mitarbeiters die sorgfältig arbeitenden Vorgesetzte nicht davon, den Inhalt selbst zu prüfen und zu beurteilen, bevor sie ihn sich zu eigen macht. In der Praxis kennt die Vorgesetzte ihr Team. Sie weiß auf wen Verlass ist und bei wem sie besser selbst nachprüft, ob alle wesentlichen Fragen geklärt sind. Falls sie sich irrt, so gibt es ggf. noch weitere Vorgesetzte, die korrigieren können und einen kritischen Antragsteller, der Widerspruch und Klage einlegt, sofern ein Fehler zu seinen Lasten geht. Der Rechtsstaat geht davon aus, dass sich eine Verwaltung auch irren kann und bietet entsprechende Abhilfeinstanzen.

Übertragen auf den Einsatz textgenerierender KI ist es deshalb nicht geboten, dass die KI absolut fehlerfrei arbeitet, allerdings stellt sich der erhoffte Effizienzgewinn nur ein, wenn sie mindestens so zuverlässige Ergebnisse liefert, wie ein Mensch. Anderenfalls verursacht sie Personalaufwand für die menschliche Aufsicht zusätzlich zu dem Personal, das zur Betreuung von Hardware und Software ohnehin schon notwendig ist.

Der Einsatz verlässlicher KI zu Generierung von Textvorschlägen in Verwaltungsverfahren kann in Zukunft an die Stelle von verwaltungsinternen Erlassen und Richtlinien treten, die ein einheitliches Verwaltungshandeln sichern. Interne Richtlinien haben zwar keine Außenwirkung, im Verwaltungsalltag wird aber trotzdem gern darauf verwiesen. Die KI gibt die (langjährigen) Verwaltungspraxis wieder. Statt auf die interne Richtlinie verweist die Verwaltung zukünftig dann auf das Ergebnis der KI. Wobei dafür das Bewusstsein wachsen muss, dass das Narrativ von der „Neutralität“ von Algorithmen nicht zutrifft. Ihnen fehlt der „ethische Kompass“ ([22, S. 617]).

Das Haushaltsrecht bestimmt das interne Verwaltungshandeln maßgebend. Es gilt der Grundsatz der Wirtschaftlichkeit und Sparsamkeit. Manche politische Vision wurde in der Umsetzung schon zum Skandal, weil dieser Grundsatz nicht beachtet wurde.

Die Haushaltsordnungen des Bundes und der Länder schreiben vor, dass für alle finanzwirksamen Maßnahmen angemessene Wirtschaftlichkeitsuntersuchungen durchzuführen sind. Der Bundesrechnungshof (BRH) stellte in seinem Bericht vom 21. März 2023 fest, dass bei über 60 % aller Verfahren der Datenanalyse und der künstlichen Intelligenz in der Bundesverwaltung die Behörden auf eine Wirtschaftlichkeitsbetrachtung verzichtet haben ([23, S. 8]).

Um die Wirtschaftlichkeit einer Maßnahme beurteilen zu können, müssen Ziel und Aufwand definiert sein. Ziel und Aufwand sind im Einzelfall darzulegen. Das Ziel beim Einsatz von textgenerierender KI ist Bürgerfreundlichkeit, Effizienz und Kompensation des Fachkräftemangels. Relevant für den Aufwand sind Beschaffungskosten und die Personal- und Sachaufwendungen für den laufenden Betrieb.

Das aufwändige Einpflegen der Ausgangsdatensätze für textgenerierende KI ist hier ein wesentlicher Kostenfaktor für die Beschaffung. Für die öffentliche Hand verbietet sich dabei die Verlagerung personalintensiver Trainingsprozesse in Billiglohnländer. Auf Vollständigkeit und Ausschluss von Manipulationen ist Wert zu legen, ansonsten drohen unbrauchbare Ergebnisse und die menschliche Aufsicht bleibt hoch. Trainingsdatensätze sind das Nadelöhr für den effektiven Einsatz von KI.

Bereits bei der Ausschreibung ist auf die Sicherheit und Unangreifbarkeit der Systeme zu achten. Fallen sie aus oder werden sie manipuliert, kann die Verwaltungsleistung womöglich über einen längeren Zeitraum nicht erbracht werden. Die IT-Sicherheit gegen feindliche Angriffe ist ein Kostenfaktor, der die gesamte Verwaltungsdigitalisierung betrifft.

Der laufende Aufwand ist beim Betrieb selbstlernender Systeme dauerhaft höher als bei herkömmlicher Software. Letztere – einmal angeschafft – kann zwar veralten und wird ggf. von Menschen angepasst. Selbstlernende Systeme bedürfen jedoch einer ständigen fachkundigen Begleitung, um sie in die richtigen Bahnen zu lenken. Ausreichende personelle Kapazitäten sind aufzubauen ([24, S. 3]).

Übernimmt die KI Aufgaben, die vorher Menschen wahrgenommen haben, so sind die Kosten für KI-Fachleute oder im Hinblick auf KI geschultes Personal gegenzurechnen. Diese können aufgrund der erforderlichen Qualifikation deutlich höher sein. Unabdingbar ist eine nachhaltige Sensibilisierung aller Verwender durch Schulungen und fortlaufende Information (Vgl. hierzu die Handlungsempfehlungen zur Awareness, LawCom.Institute [14, S. 41 ff.]).

Die Ausführungen zum Verwaltungsverfahren haben gezeigt, dass beim Einsatz textgenerierender KI die Textvorschläge nicht ungeprüft übernommen werden dürfen. Dadurch besteht weiterhin Personalaufwand, bei hohem Nachprüfungsbedarf wird der Einsatz von KI unwirtschaftlich.

Bei den Sachkosten sind der Energieverbrauch und notwendige Kosten für die Soft- und Hardware zu bedenken. Beim Einsatz von externen Dienstleistern, sind deren Kosten einzurechnen und es ist sicherzustellen, dass sie langfristig mit ihrem Knowhow zur Verfügung stehen. Anderenfalls ist es alternativlos für die Verwaltung, sich das Knowhow selbst aufzubauen, auch zur Vermeidung von Abhängigkeiten in sensiblen Bereichen. Zu den Problemen bei der Gewinnung des Fachpersonals hat sich bereits der Bundesrechnungshof kritisch geäußert ([23, S. 28]).

Allerdings setzt das Haushaltsrecht nicht nur Grenzen. Der Grundsatz der Wirtschaftlichkeit und Sparsamkeit kann den Einsatz von KI grundsätzlich sogar gebieten, wenn damit die Verwaltungsleistung effizienter erbracht werden kann.