Der Einsatz Künstlicher Intelligenz (KI) eröffnet ein Spannungsfeld zwischen Innovationspotentialen und Regulierungsdrang. Auf harmonisierte Richtlinien zur Regulierung dieser Technologie kann derzeit jedoch nicht zurückgegriffen werden. Gleichzeitig kommt es zu Diskriminierungsfällen, durch die der Bedarf an entsprechenden Gesetzen deutlich wird. Ein politischer Meilenstein in der Entwicklung eines Regelwerks kommt aus der Europäischen Union. Seit dem 21.04.2021 liegt der Artificial Intelligence Act der Europäischen Kommission vor. Der Gesetzesvorschlag versucht einen Spagat, um Innovationen weiter zu fördern und gleichzeitig ethische Dimensionen wie Nicht-Diskriminierung zu regulieren. Dieser Artikel stellt eine Statusanalyse von KI-Systemen in der Strafverfolgung in Europa im Vergleich zu den USA vor. Dieser soll herausstellen inwieweit derzeit ein Unterschied im Einsatz von KI aufgrund der geografischen Lage existiert und welche Chancen ebenso wie Herausforderungen ein globales Regelwerk für den ethischen Einsatz von KI aus europäischer Perspektive birgt. Da die Anwendung von Gesichtserkennungssoftware im Bereich der Strafverfolgung weit verbreitet ist, kann durch diese Untersuchung dringend notwendiger Handlungsbedarf der Gesetzgebung erkannt werden.
1 Die Bedeutung von Ethik im Kontext von Künstlicher Intelligenz
Künstliche Intelligenz (KI) wird als Wachstumshebel des 21. Jahrhunderts gesehen. Mit einem geschätztem Marktvolumen von weltweit 277,9 Mrd. € und einer 5‑year Compound Annual Growth Rate von 17,5 % im Jahr 2021, ist KI aus Fortschrittsdiskussionen nicht mehr auszuklammern. Die Relevanz von KI nimmt in derselben Geschwindigkeit zu wie die der Elektrofahrzeuge (Fortune Business Insights 2021; International Data Corporation 2021). Sofern diese Prognose zutrifft, werden Services und Produkte im Zusammenhang mit KI im Jahr 2026 auf ein Marktvolumen von 621,5 Mrd. € anwachsen.
Die von der Wirtschaft erkannten Potenziale dieser Technologie, werden nun schrittweise in gesellschaftliche Systeme integriert, um den bislang nahezu unregulierten Einsatz von KI in Unternehmen zu stoppen und moralische Bedenken zu adressieren (McKinsey 2020; Bundesministerium für Wirtschaft und Energie o.J.). KI steht im Zusammenhang mit gesellschaftlichen, politischen und sozialen Strukturen (Crawford 2021).
Advertisement
Ein politischer Meilenstein in der Entwicklung eines Regelwerks kommt aus der Europäischen Union (EU). Seit dem 21.04.2021 liegt der Artificial Intelligence Act (AI Act) der Europäischen Kommission vor (European Commission 2021c). Die Notwendigkeit und Dringlichkeit eines Regelwerks ist durch alarmierende Vorfälle deutlich geworden. So stellt beispielsweise IBM (Bube 2020) die Forschung und den Verkauf von Gesichtserkennungssoftware aufgrund des hohen gesellschaftlichen Schadenpotentials ein. In diesem Kontext stellt vor allem Diskriminierung ein Problem dar (Dastin 2018; Bube 2020). Ethische ebenso wie rechtliche Fragestellungen sind in den Mittelpunkt der Debatte zu stellen, um sowohl die Chancen als auch die Herausforderungen von KI im Kontext gesellschaftlicher Entwicklung anzuerkennen (von Luxburg 2021).
Deshalb steht das Spannungsfeld zwischen Innovationsmaturität auf der einen, und der Notwendigkeit von ethischen Regularien zur Wahrung humanistischer, europäischer Werte auf der anderen Seite im Fokus der Untersuchung. Abb. 1 verdeutlicht den Spagat, den der AI Act ausübt, um einen bisher meist unregulierten, aber an Bedeutung zunehmenden Wachstumsmarkt richtungsweisend zu steuern. Der AI Act versucht dabei zwischen beiden Dimensionen Lösungsansätze zu formulieren und sowohl Innovations- als auch Gerechtigkeitsansprüchen gerecht zu werden.
Abb. 1
Spannungsfeld von KI und Ethik. (In Anlehnung an European Commission 2021b, c)
×
Der vorliegende Artikel ist in sechs Kapitel unterteilt. In Kapitel 2 wird die, der Arbeit zugrunde liegende Methodik erläutert. Kapitel 3 stellt den Artificial Intelligence Act als Messgröße für die ethische Dimension von KI vor.
Um eine Bewertung ethischer KI zu ermöglichen, ist zunächst eine Eingrenzung der Untersuchung aus technischer und sektoraler Perspektive notwendig. Die Klassifizierung von KI anhand ihrer Risikoklasse wird vorgestellt und Hochrisiko-KI als Untersuchungsgegenstand festgelegt. Gleichzeitig wird die Arbeit auf den Bereich Strafverfolgung eingegrenzt, welcher der Hochrisiko-KI-Definition zuzuordnen ist.
Advertisement
Der Einsatz von KI in der Strafverfolgung wird anhand von Praxisbeispielen aus den USA im Vergleich zu Europa entlang des AI Act untersucht. Diese Untersuchung stellt den Kern der Arbeit und besteht aus einer strukturierten Google-News-Suche. Die Praxisbeispiele aus den USA und Europe werden daraufhin verglichen und anhand des AI Act bewertet.
2 Methodik
Um die Anwendbarkeit des AI Act in der Praxis zu überprüfen, werden in diesem Artikel Praxisbeispiele des KI-Einsatzes analysiert und unter Berücksichtigung des neuen Regelwerks anhand von ethischen Dimensionen eingeordnet. Es werden Beispiele aus Europa und den USA untersucht, wodurch ein internationaler Vergleich ermöglicht wird. Als Grundlage der Untersuchung dienen Ergebnisse aus einer strukturierten Google-News-Suche im Zeitraum 18.08.2019–17.08.2021. Die Treffer der Suche werden gesichtet, sortiert und im Hauptteil dieses Artikels strukturiert dargelegt, sodass ein Vergleich zwischen den Suchergebnissen aus den USA und aus Europa gezogen werden kann. Die Ergebnisse können darauf aufbauend mithilfe des AI Act bewertet werden. Eine kritische Würdigung schließt die Methodik ab.
Ziel der Untersuchung ist es nicht, Lösungswege für den Einsatz ethischer KI aufzuzeigen. Vielmehr stellt diese Analyse einen Versuch dar, mithilfe einer Statusanalyse ausgewählter KI-Systemen in Europa im Vergleich zu den USA, die Chancen und Herausforderungen aus ethischer Perspektive aufzuzeigen. Dieser Vergleich soll herausstellen inwieweit derzeit ein Unterschied im Einsatz von KI aufgrund der geografischen Lage existiert und welche Chancen ebenso wie Herausforderungen ein globales Regelwerk für den ethischen Einsatz von KI aus europäischer Perspektive birgt. Als Ankerpunkt der Bewertung dient der AI Act, welcher auf den Europäischen Grundrechten und existierenden Regelwerken der EU aufbaut und weltweit den ersten umfangreichen Gesetzesvorschlag für harmonisierte Richtlinien zur Regulierung von KI darstellt.
Trotz der geografischen Einschränkung des AI Act auf die EU hat die Gesetzesvorlage den Anspruch als Vorbild für zukünftige, globale Normen zu dienen (Europäische Kommission 2021b). Die USA und China befinden sich in einem Wettlauf der Vorherrschaft im Bereich der KI. Gemessen an der Anzahl von Publikationen und Patenten ist China in 2021 weltweit führend, tritt jedoch durch die vorherrschende politische und wirtschaftlich protektionistische Regulierung im globalen Kontext in den Hintergrund (Li et. al. 2021). Sofern die einzelnen Länder der EU (EU28)1 gemeinsam betrachtet werden, gewinnen sie an strategischer Relevanz und Größe im Feld der KI (López Cobo et al. 2021). Nicht zuletzt nach der Gründung des Trade and Technology Council zwischen den USA und Europa am 15. Juni 2021, welches unter anderem zur Schaffung von gemeinsamen Regularien und einer Kompatibilität von Werten dient (Europäische Kommission 2021b), ist eine Betrachtung von europäischen und US-amerikanischen Praxisbeispielen von Interesse.
3 Einführung in den Artificial Intelligence Act
Unter der Vision Shaping Europe’s digital future schlug die Europäische Kommission am 21.04.2021 den Artificial Intelligence Act vor, der „Europa zum globalen Zentrum für vertrauenswürdige künstliche Intelligenz“ (Europäische Kommission 2021a) leiten soll. Im globalen Wettlauf zwischen sozialgerechter KI und Innovationsgeschwindigkeit, liefert die EU mit dem AI Act weltweit als erster Gesetzgeber einen umfangreichen Vorschlag zur Regulierung von KI. Das Ziel des Gesetzentwurfs ist es sowohl die Grundrechte der Menschen zu bewahren, als auch den notwendigen Freiraum für Innovationen im Zusammenhang mit KI zu gewährleisten (Europäische Kommission 2021a). Der Vorschlag der Europäischen Kommission zur Regulierung von KI basiert auf den europäischen Menschenrechten und Wertesystemen. So werden antizipierte Entwicklungen von KI mit humanistischen Grundprinzipien überlagert (European Commission 2021c).
Die Entwicklung des ersten Vorschlags des AI Act inkludierte das Meinungsbild diverser Interessensgruppen aus dem privaten und öffentlichen Sektor, von Privatleuten, Politikern, NGO’s und kommerziellen Unternehmen (European Commission 2021b, c). Die Zieldefinition des AI Act stellte von Seiten des Europäischen Rats ebenso wie des Europäischen Parlamentes die Bedeutung einer Regulierung aus ethischen Gesichtspunkten in den Mittelpunkt (European Council 2020; European Parliament 2020). Besondere Betrachtung kommt dabei der sogenannten Hochrisiko-KI zu, die gravierende Grundrechtseinschränkungen oder Gesundheitsrisiken erzeugt. Sie unterliegen den stärksten Restriktionen (European Commission 2021c).
4 Eingrenzung der Untersuchung
Eine grundlegende Herausforderung bei der Betrachtung von Ethik und Recht, ist die fehlende Festlegung auf ein globales Verständnis von Ethik. Vielmehr führt der Pluralismus unserer Gesellschaft zu einer Vielzahl von Interpretationen des Begriffs Ethik (Deutscher Ethikrat o.J.). Deshalb wird eine Eingrenzung auf das europäische Ethiksystem als Grundlage dieser Untersuchung vorgenommen. Der AI Act fußt auf diesem Verständnis von Ethik. Dabei ist ein grundlegender Anspruch an den AI Act die Konsistenz mit bereits existierenden ethischen europäischen Richtlinien. Somit baut der vorliegende Gesetzesvorschlag auf der Charta der Grundrechte der europäischen Union von 2012 auf (Europäische Union 2012; European Commission 2021c). Der dritte Titel der europäischen Verfassung widmet sich der Wahrung von Gleichheit im Kontext von Gerechtigkeit in Europa. Grundsatz dieser ist Artikel 20 der Verfassung, welcher die Gleichheit vor dem Gesetz feststellt: „Alle Personen sind vor dem Gesetz gleich“ (Charta der Grundrechte der Europäischen Union 2012). Ferner grenzt Artikel 21 die Dimensionen von Nicht-Diskriminierung ein. Für die folgende Untersuchung wird eine der insgesamt 14 Dimensionen untersucht. Diskriminierung aufgrund von zugeschriebenen Geschlechtsmerkmalen wird in diesem Kontext als Benachteiligung von „Frauen, Männern, trans* und inter* Personen […]“ verstanden (Antidiskriminierungsstelle des Bundes 2021). Gender als Diskriminierungskriterium wird im Folgenden näher untersucht, da eine Vielzahl von Quellen auf das Gender Data Gap aufmerksam machen und somit auf weiteren Forschungsbedarf hinweisen (Kwon 2010; Bolukbasi et al.2016; Zhao et al.2017; Criado-Perez 2020).
Eine weitere notwendige Eingrenzung ist die Kategorisierung von KI-Systemen. Diese wird im AI Act anhand der Risikostufe vorgenommen. Je wahrscheinlicher KI die Rechte der europäischen Bevölkerung einschränkt, desto gefährlicher ist sie. Eine konkretere Definition von Risiko existiert derweil nicht. Vielmehr wird im AI Act dazu aufgerufen die Risikodefinition zu konkretisieren (European Council 2020).
Trotzdem wird im Gesetzesvorschlag zwischen drei Risiko-Kategorien differenziert:
1.
KI, die ein geringes Risiko beinhaltet
2.
Hochrisiko-KI und
3.
KI mit unzumutbaren Risiken.
Zudem wird an dieser Stelle ebenfalls ein klares Verbot für KI-Systeme ausgesprochen, die wesentlich in die europäischen Menschenrechte eingreifen (European Commission 2021c).
Im Allgemeinen ordnet die Europäische Kommission unter Hochrisiko-KI die folgenden zwei Bereiche ein:
KI als Sicherheitskomponente, deren Prüfung von Dritten vorgenommen wird und
autonome KI, die grundrechtswirksame Entscheidungen fällt (European Commission 2021c).
Diese Eingrenzung lässt Interpretationsspielraum zu, der u. a. darauf abzielt, zukunftsfähige Innovationen und ihre Entwicklungsgeschwindigkeit zu fördern (MacCarthy und Propp 2021).
Um dem Ziel dieser Arbeit gerecht zu werden und eine Anwendung des AI Act in die Praxis zu simulieren, um die daraus entstehenden Chancen und Herausforderungen für ethische KI-Anwendungen in Europa und den USA zu vergleichen, wird eine Eingrenzung des Betrachtungsbereichs auf Hochrisiko-KI vorgenommen. Der AI Act grenzt Hochrisiko-KI weiter in Anwendungsbereichen ein, die sich in öffentlichen, privaten und teilweise privaten Sektoren untergliedern lassen.
KI-Systeme im öffentlichen Sektors stehen im Fokus der Analyse, da diese unter direktem Einfluss von staatlicher Regulierung stehen und gleichzeitig den höchsten Anspruch von rechtsstaatlichen Prinzipien verfolgen sollten. Bereiche im öffentlichen Sektor sind Migration, Asylverfahren, Grenzkontrollen, Rechtspflege und demokratische Prozesse. Im Kern der Untersuchung steht der Bereich Strafverfolgung, da die Aktualität von KI in der Strafverfolgung im Besonderen im Fall von Gesichtserkennungssoftware auf weiteren Forschungsbedarf aufmerksam gemacht hat.
Untersucht wird im Folgenden, inwieweit der Grundsatz der Gleichheit und der Vorsatz der Nicht-Diskriminierung aufgrund des zugeschriebenen Geschlechts in Anwendungsfällen von KI im Bereich Strafverfolgung auszuschließen ist.
5 Anwendungssimulation des AI Act an Praxisbeispielen
5.1 Vorgehensweise
Derzeit existiert keine zugängliche trans-atlantische Datenbank, die als Quelle zur Analyse von aktuellen Praxisbeispielen ethischer KI dienen kann. Vielmehr gibt es Metadatenbanken, die eine Zusammenfassung von KI-Angeboten aufzeigen. In der EU bietet AI Watch eine Übersicht der KI Anbieterlandschaft an (López Cobo et al. 2021), allerdings fehlt ein Zugriff zu den Einzelnachweisen, der für diese Untersuchung notwendig wäre. Auch in den USA werden derzeit lediglich Metadaten für die Öffentlichkeit zugänglich gemacht (Stanford Institute for Human-Centered Artificial Intelligence 2021).
Deshalb wird für die nachfolgende Analyse auf eine strukturierte Google-News-Suche als alternative Suchmethode zurückgegriffen. Google News stellt die weltweit größte Metadatenbank für Nachrichten dar (Wang 2020). Die Qualität der Artikel wird von Arbeitskreisen wie der Google News Initiative bewertet und entsprechend in den Suchalgorithmus eingearbeitet, um einen Qualitätsstandard beizubehalten (Google 2020). Durch Filteroptionen kann die Suche nach Aktualität der Quellen eingegrenzt werden, wodurch ein Bild des Status Quo erzeugt wird.
Als Suchbegriffe dienen die folgenden vier Synonyme für Künstliche Intelligenz (1): Artificial Intelligence, AI, Data Science und Machine Learning, die mit dem Begriff Prosecution (2) sowie dem Begriff Gender Discrimination (3) kombiniert werden. Die Untersuchung wird zeitlich auf den 18.08.2019–17.08.2021 begrenzt.
Die zeitliche Eingrenzung dient dem Ziel, einen aktuellen Status Quo der Debatte aufzuzeigen, da sich besonders im Bereich der KI schnelle Entwicklungs- und Veränderungsprozesse abspielen. Eine hohe Aktualität der Quellen ist demnach unumgänglich. Außerdem wird die Suche auf Englisch durchgeführt, um der internationalen Perspektive des Themas gerecht zu werden.
Ziel der Untersuchung ist es, eine Aussage darüber treffen zu können, inwieweit der Grundsatz der Gleichheit, anhand des Vorsatzes der Nicht-Diskriminierung aufgrund des zugeschriebenen Geschlechts, in Anwendungsfällen von KI im Bereich Strafverfolgung auszuschließen ist.
Kriterien für die Auswahl der Google-News-Suche sind:
a)
Bezug zur technologischen Komponente
b)
KI-Anwendungsfall im öffentlichen Sektor
c)
Diskriminierungspotential von KI in Bezug auf das zugeschriebene Geschlecht
86 Artikel wurden im Rahmen der Untersuchung ausgewertet, 17 davon entsprachen den Kriterien. Davon sind 14 Quellen mit Bezug auf die USA und drei Quellen mit Fokus auf Europa/UK ausgewertet worden. Diese Zahlen zeigen eine regionale Disparität auf, die nicht ausschließlich auf die englischsprachige Suche zurückgeführt werden kann.
5.2 Praxisbeispiele aus den USA bewertet am Artificial Intelligence Act
Die Analyse von Fällen aus den USA basiert auf 14 Quellen. Die Vorteile des Einsatzes von KI im Bereich Strafverfolgung werden dafür zunächst dargestellt. Im zweiten Abschnitt dient der AI Act als Maßgröße zur Bewertung der ethischen Dimension der Anwendungsbeispiele unter dem Aspekt der Gleichheit und der Nicht-Diskriminierung aufgrund von Genderaspekten.
Abb. 2 fasst potenzielle Vorteile und Herausforderungen vom KI-Einsatz im Strafrecht zusammen.
Abb. 2
Potenzielle Vorteile und Gefahren von KI im Strafrecht Rechtssystem. (In Anlehnung an Cockrell 2021)
×
In elf der 14 Quellen werden die Vorzüge des KI-Einsatzes im Strafrecht hervorgehoben. Obwohl alle Vorteile in den untersuchten Quellen tangiert wurden, wird hier im Besonderen die Möglichkeit einer erhöhten Gerechtigkeit evaluiert. Die Analyse der Praxisbeispiele soll zeigen, ob das Diskriminierungspotential im Strafrecht durch den Einsatz von KI verringert werden kann.
Erste Studien zeigen konkret, wie der Einsatz von KI bei der Vermeidung von Straftaten helfen kann. Eine Untersuchung von 2021 zeigt, dass der Algorithmus gestützte Einsatz von Patrouillen zu einem Rückgang der Kriminalität um 7,4 % führte. Auch ein Rückgang von Waffengewalt durch den Einsatz von KI ist zu verzeichnen (Cockrell 2021). Demnach kann der Einsatz von KI zu einer Verbesserung in der Strafverfolgung führen und Gerechtigkeitsaspekte verstärken.
Ein weiterer Vorteil ist die Verbesserung juristischer Entscheidungsprozesse mithilfe technologischer Instrumente. Beispielsweise kann in den USA der Einsatz von KI in Jurys vor Gericht die z. T. ungleiche Verteilung von Race und Gender verbessern und somit die aktuelle Jurydiskriminierung begrenzen (Feathers 2020; Cockrell 2021). Die Chance der Verringerung von Diskriminierung durch die Anwendung von KI kann demnach zu einer Erhöhung von Ethik im Rechtssystem führen (Wojcik 2020). Diese Beispiele unterstützen die Vision des AI Act, zu erreichen, dem Menschen zu dienen und humanistische Werte ins Zentrum des Fortschritts zu stellen.
Erste Studien und Praxisbeispiele weisen zudem auf eine Verbesserung in den Bereichen „Erhöhter Voraussagegenauigkeit“, „Effizientere Polizeiarbeit“ und „Transparenz in Entscheidungsprozessen“ hin (Khari 2020; Laperruque 2020; Morse 2020). Es ist bekannt, dass auch ohne den Einsatz von KI potenziell diskriminierendes Verhalten in Behörden auftritt. Es werden stereotype Entscheidungen aufgrund des zugeschriebenen Geschlechts oder der Hautfarbe gefällt (Riley 2021). In diesem Kontext stellt der Einsatz von KI eine Chance dar, um Biases von Entscheidungen bei der Rechtsdurchsetzung zu reduzieren. Allerdings gibt es keine Angabe dazu inwieweit welche Attribute potenzieller Diskriminierung reduziert werden können (Cockrell 2021). Der Vorschlag des AI Act, mithilfe einer Metrik Diskriminierungspotential zu messen, kann an dieser Stelle eine Lösung darstellen.
Gleichzeitig zeigt sich, dass der Einsatz von KI im strafrechtlichen Umfeld in den USA zu Diskriminierungen führte. Neben den aufgezeigten Chancen weisen die analysierten Quellen auf das Gefahrenpotential von KI hin. Eine Übersicht der potenziellen Gefahren ist der Abb. 2 zu entnehmen.
Das Gefahrenpotential von KI im Strafrecht hat vielfältige Hintergründe. Die Herausforderung bei der Gefahrenanalyse besteht in der Interkonnektivität der verschiedenen Aspekte. Im Folgenden werden die identifizierten Herausforderungen von KI im Strafrecht aufbauend auf der Quellenanalyse vorgestellt. Eine klare Trennung der einzelnen Aspekte ist aufgrund von sich bedingenden Beziehungen allerdings nicht eindeutig.
Grundsätzlich zeigt die Analyse mit Bezug auf die USA, dass KI bereits vermehrt bei der Strafverfolgung und in verwandten Bereichen wie der Rechtsdurchsetzung angewandt wird. Davon sind Diskriminierungen aufgrund von Gender und Hautfarbe festzustellen.
Besonders der Einsatz von Gesichtserkennungssoftware ist im Bereich Strafverfolgung von Bedeutung. Im AI Act wird dieser als Hochrisiko klassifiziert, die Live-Nutzung von biometrischer Fernidentifikation an öffentlich zugänglichen Räumen und vor Gericht wird untersagt. In den USA zeigt die Quellenanalyse im Gegensatz dazu auf, dass die Live-Nutzung von Gesichtserkennungssoftware in Strafverfolgungsprozessen eingesetzt wird (Bailey und Burkell 2020; Hao 2020; Wojcik 2020). Stelle das AI Act ein globales Regelwerk dar, würde der Einsatz von Gesichtserkennungssoftware eingeschränkt werden.
Außerdem geht aus der Untersuchung hervor, dass im Besonderen der Einsatz von Gesichtserkennungssoftware zu einer erhöhten Diskriminierung führen kann. Es gibt Hinweise darauf, dass Gesichtserkennungssoftware in Strafverfolgungsprozessen bestehende Ungleichheiten z. B. aufgrund des zugeschriebenen Geschlechts verstärkt (Bailey und Burkell 2020). Dabei sind weibliche people of color am stärksten betroffen. Einer Studie zufolge liegt die false-positive Rate von Gesichtserkennungssoftware für weibliche people of color bei 34 % (Khari 2020; Hao 2020). Durch das fehlerhafte Identifizieren von Menschen wird ein unmoralisches Verhalten aufgezeigt, denn es findet eine Diskriminierung, in diesem Fall eine Fehlidentifikation mit entsprechenden Rechtsfolgen, aufgrund von Race und Gender statt.
Eine weitere Untersuchung hat gezeigt, dass im Bezirk Detroit der Einsatz von Gesichtserkennungssoftware eine weitaus höhere Fehlerrate von 96 % aufweist (Wojcik 2020). Die zweite Untersuchung unterteilt die false-positive Ergebnisse nicht nach Gender, sodass keine Aussage über die Vergleichbarkeit gemacht werden kann. Diese hohe Fehleranfälligkeit kann auf fehlendes technisches Verständnis zurückzuführen sein, eine Verstärkung von Feedback-Loops darstellen oder aufgrund von diskriminierender Datenbasis in Trainingsdatensätzen verursacht werden (Bailey und Burkell 2020). Eine Fehleranalyse ist der analysierten Quelle nicht zu entnehmen, wodurch Handlungsbedarf seitens der Gesetzgebung verdeutlicht wird. Dieses Beispiel zeigt, dass der Einsatz von KI in einem Hoch-Risiko-Bereich wie der Strafverfolgung zu einer hohen Diskriminierung führen kann. Eine unter bestimmten Voraussetzungen auftretende Fehlerrate von 96 % ist nicht akzeptabel und muss unter Aspekten des Rassismus gesondert validiert werden.
Aus den Quellen geht hervor, dass eine häufige Begründung für Diskriminierungspotential der starke racial bias in Trainingsdaten ist. Trainingsdaten können durch Rassismus in Polizeistrukturen verzerrt sein und KI-Systemen eine historische diskriminierende Datenbasis liefern (Wojcik 2020; Cockrell 2021). Dies führt dazu, dass der Einsatz von KI dazu tendiert bestehende Ungleichheiten zu verstärken. Die notwendige Objektivität geht verloren. Feedback-Loops können zu einer Verstärkung von existierender Diskriminierung führen.
Gleichzeitig zeigt die Google-News-Analyse, dass Studienergebnisse aufgeschlüsselt nach Gender fehlen. Führende Gesichtserkennungstools wie von der Firma COMPAS untersuchen Genderdiskriminierung nicht gesondert in Tests (Cockrell 2021). Auch grundsätzlich ist diese Tendenz erkennbar. Diskriminierungspotential aufgrund des zugeschriebenen Geschlechts wird weniger häufig adressiert als eine Diskriminierung aufgrund der Hautfarbe (Wojcik 2020; Hao 2020).
Dabei zeigen Studienergebnisse, dass besonders intersektionale Diskriminierung, also eine Kombination aus verschiedenen Diskriminierungspotentialen zu den stärksten Verzerrungen führt. Das Gender Data Gap wird an dieser Stelle verstärkt. Obwohl bekannt ist, dass Gesichtserkennungssoftware Frauen 10- bis 100-mal häufiger als Männer fehlidentifiziert (Open Access Government 2020), fehlen teilweise Bewertungsmaßstäbe, um auf Genderdiskriminierung hinzuweisen. Das AI Act schlägt in diesem Punkt klare Regeln bei Tests und Messungen vor, die dank ihrer Metriken auf Diskriminierungspotential hinweisen können. Zur Bewertung über die ethische Dimension von KI kann in den meisten Quellen aufgrund von fehlender Transparenz keine Aussage getroffen werden.
Beim Einsatz von Gesichts- und Geräuscherkennungssoftware zeigt die Quellenanalyse potenziellen Objektivitätsverlust auf. Wird KI partiell im Strafrecht eingesetzt, muss im Vorhinein entschieden werden, welche Orte dafür als Teststationen dienen. Dafür werden bestehende Daten ausgewertet und mit menschlichen Entscheidungen über Gefahrenzone und -potential genutzt, um die sinnvollsten Standorte auszuwählen. Diese Entscheidungsgrundlage kann durch Sexismus und Rassismus in menschlichen Systemen ebenso wie von Biases durchzogenen Trainingsdaten verzerrt sein (Open Access Government 2020). Dieses Beispiel zeigt, dass die Trennung der potenziellen Verzerrungen eine große Herausforderung darstellt.
Auch wenn eine unzureichende Datenbasis aufgeschlüsselt nach Gender vorliegt, zeigt die Analyse, dass der aktuelle Einsatz von KI in der Strafverfolgung anhand der Praxisbeispiele der USA nicht den Werten des AI Act entspricht. Sofern das AI Act ein globales Regelwerk darstellen würde, müsste im Besonderen der Einsatz von Gesichtserkennungssoftware verstärkt reguliert werden.
5.3 Praxisbeispiele aus der EU bewertet am Artificial Intelligence Act
Unter den untersuchten 86 Quellen wurden drei Google-News-Treffer mit Bezug auf die EU identifiziert, die den Kriterien (1) KI, (2) Bezug zur Strafverfolgung und (3) Diskriminierung aufgrund des zugeschriebenen Geschlechts entsprechen.
Keine der drei Quellen stellt ein Praxisbeispiel für die Anwendung von KI im Strafrecht Europas dar. Allerdings wird auf die Anwendung in England beispielhaft Bezug genommen, worauf die nachfolgende Analyse von Praxisbeispielen basiert. Obwohl Großbritannien nicht mehr als Teil der EU gilt, dient diese Quelle als Praxisbeispiel aufgrund der geografischen Nähe und langen Zugehörigkeit zu Europa. Das Fehlen weiterer Quellen weist auf die Lücken von KI in öffentlichen Prozessen wie der Strafverfolgung hin, die entweder auf den geringen technischen Fortschritt, moralische Bedenken beim Einsatz von KI in der Strafverfolgung oder unzureichende Berichterstattung darüber zurückzuführen sind.
Im Folgenden werden die Vorteile des Einsatzes von KI erläutert, die aus der Quellenanalyse hervorgehen. Anschließend wird die ethische Dimension der KI-Praxisbeispiele dargelegt und anhand des Diskriminierungspotentials aufgrund von Genderaspekten untersucht.
Die Quellenanalyse weist auf die Vorteile des Einsatzes von KI im Strafrecht hin. Trotz der vielen Bedenken, die seitens der britischen Regierung über den Einsatz von KI im Rechtssystem geäußert werden, spricht sich die Governmental Digital Service Stelle für den Einsatz von datengestützten polizeilichen Entscheidungen aus. Die Möglichkeit einer digital justice für mehr Transparenz sollte aus britischer Perspektive nicht vernachlässigt werden (Government Digital Service 2020).
Aktuell werden polizeiliche Entscheidungen aufgrund unklarer Metriken des Einzelnen gefällt. Daher ist eine systematische, transparente Entscheidungsfindung dringend notwendig. Der Einsatz von KI-Systemen kann an dieser Stelle eine Chance für erhöhte Transparenz darstellen (Government Digital Service 2020). Darauf aufbauend kann Diskriminierungspotential leichter erkannt und entsprechend vermindert werden. KI kann demnach zu einer erhöhten Gerechtigkeit im Rechtssystem führen. Dies dient dem Ziel des AI Act, Menschen ins Zentrum von KI zu stellen.
Die potenziellen Vorteile von KI im Strafrecht, bezogen auf Prozesse und Effizienz werden in den analysierten Quellen aus EU-Sicht nicht weiter tangiert. Vielmehr zeigt sich ein kritischer Umgang und es wird vermehrt auf das Gefahrenpotential von KI im Strafrecht und ähnlichen Anwendungsbereichen hingewiesen.
Bevor potenzielle Diskriminierung durch angewandte KI analysiert wird, stellt sich aus europäischer Perspektive die Frage, ob die Kategorisierung von Menschen in Gruppen anhand von biometrischer Fernanalyse grundsätzlich moralisch vertretbar ist. Stimmen aus dem Rechtssystem weisen darauf hin, dass Gesichtserkennungssoftware den Europäischem Menschenrechten widerspricht (FitzGerald 2021). Das AI Act schränkt die Nutzung biometrischer Fernanalysesysteme ein und bewertet sie als Hochrisiko-KI. An dieser Stelle ist demnach eine Übereinstimmung des Risikopotentials zwischen Praxisanalyse und Rechtsgrundlage erkennbar.
Die Quellenanalyse zeigt, dass eine historisch diskriminierende Datenbasis eine potenzielle Gefahr von KI im Strafrecht darstellt. Es gibt ein Ungleichgewicht in den Trainingsdaten (Government Digital Service 2020). Dieses Ungleichgewicht kann zu Verzerrungen von KI-Entscheidungen führen, wodurch Diskriminierung in Feedback-Loops verstärkt werden kann (Government Digital Service 2020). Dieses Beispiel weist auf die Interkonnektivität der Gefahrenpotenziale hin. Derzeit fehlt entsprechende Transparenz, um das Gewicht von Verzerrung durch Trainingsdaten und Feedback-Loops besser verstehen zu können.
In den untersuchten Quellen wird vermehrt auf eine Datenlücke hingewiesen, denn ein Teil der eingesetzten KI-Anwendungen im Rechtssystem wird nicht überwacht. Die potenzielle Gefahr der Diskriminierung kann demnach nicht beurteilt werden (Government Digital Service 2020). Der Vorschlag des AI Act an dieser Stelle Metriken für die Bewertung einzuführen, kann mehr Transparenz über potenzielle und strukturelle Diskriminierung bieten.
An diesen Beispielen wird deutlich, dass ethische Richtlinien und Richtlinien für den Einsatz von KI im öffentlichen Sektor fehlen, um Entscheidungen ausreichend bewerten zu können. Zudem werden lokale Richtlinien teilweise unkoordiniert entwickelt (Government Digital Service 2020). Der AI Act stellt demzufolge ein notwendiges Regelwerk dar, um ethische, diskriminierungsfreie KI-Systeme gesetzlich zu verankern.
5.4 Vergleich
Nach der isolierten Analyse der amerikanischen und europäischen Perspektive mithilfe von Praxisbeispielen, kann im Folgenden ein Vergleich gezogen werden. Dieser soll herausstellen, inwieweit derzeit ein Unterschied zwischen KI-Systemen in der Praxis aufgrund der geografischen Lage existiert.
In den USA weisen die Quellen vermehrt auf einen Einsatz von Gesichtserkennungssoftware im Strafrecht hin, während im europäischen Raum nur wenige Beispiel dafür existieren. Gemessen an der Innovationsmaturität gewinnt die USA an Vorsprung. Unter dem Gesichtspunkt, dass im AI Act u. a. im Bereich Recht (Strafverfolgung) eine globale Sektorführerschaft angestrebt wird, sind bisherige Anwendungsbeispiele von europäischen Unternehmen unterrepräsentiert (European Commission 2021b).
Die Google-News-Analyse bezogen auf die Vorteile von KI-Systemen im Strafrecht demonstriert die unterschiedlichen Sichtweisen der USA im Vergleich zu der EU. Während die amerikanischen Quellen neben den potenziellen Gefahren einen größeren Fokus auf die Vorteile durch KI legen, thematisieren europäische Quellen die Vorzüge von KI im Strafrecht zurückhaltender. Effizienz- und prozessgesteuerte Argumentationen erhalten in den EU-Quellen weniger Raum. Im Gegensatz dazu werden die Vorzüge von KI im Strafrecht von amerikanischen Quellen deutlich in den Vordergrund gestellt. Dies weist auf einen Fokus auf Innovationskraft hin und zeugt von Optimismus.
Durch den erhöhten Einsatz von Gesichtserkennungssoftware in den USA, existieren dort bessere Studienergebnisse, um eine Aussage über die ethische Komponente von KI zu wagen. Derzeit sind starke Racial und Gender Biases erkennbar. Obwohl keine systematischen Analyseergebnisse aller KI-Systeme aufgrund von fehlenden Gesetzen und Daten vorliegen, zeigen die Praxisbeispiele alarmierende Diskriminierungsfälle in den USA. Die Ursachen dafür sind bislang nicht trennscharf voneinander abzugrenzen, denn es fehlen Metriken, um Verzerrungen in Trainingsdaten und Feedback-Loops strukturell zu erkennen. In allen Quellen wird auf historisch diskriminierende Datensätze verwiesen, wodurch eine weitere moralische Debatte über aktuelle Diskriminierungspotenziale in Polizeistrukturen eröffnet werden könnte. Eine klare Abgrenzung stellt sich anhand der vorliegenden Analyse als Herausforderung dar.
Die Analyse zeigt darüber hinaus, dass Diskriminierung aufgrund des zugeschriebenen Geschlechts seltener gemessen wurde als Diskriminierung aufgrund der Hautfarbe. Eine Betrachtung von Inter- und Transpersonen bleibt bislang in den analysierten Quellen außen vor. Dieser Aspekt weist darauf hin, dass unter dem Gesichtspunkte der Gleichheit die Datenlage zu große Lücken aufweist, um eine Bewertung vorzunehmen.
Dadurch entsteht ein entsprechender Mangel an Transparenz und Objektivität. Diese Problematiken sind sowohl in den USA als auch in der EU erkennbar. Deshalb wird überregional in nahezu allen analysierten Quellen zu notwendiger Regulierung aufgerufen. Im Folgenden wird deshalb der AI Act als ein globales Regelwerk simuliert, um darzustellen welche Chancen ebenso wie Herausforderungen dieses für den ethischen Einsatz von KI aus europäischer Perspektive enthält.
5.5 Bewertung
KI und die Art wie sie Entscheidungen trifft, ist eng verbunden mit der politischen und gesellschaftlichen Struktur (Crawford 2021). Ebenso wie gesellschaftliches Zusammenleben ein Regelwerk benötigt, kann auch davon ausgegangen werden, dass ein entsprechendes Regelwerk für die Übersetzung in die digitale Welt u. a. mithilfe von KI, notwendig ist.
Der AI Act repräsentiert eine mögliche Regulierungsform, die die Verwendung von KI im europäischen Strafrecht vereinzelt und in den USA deutlich einschränken würde. Laut dem vorliegenden Gesetzesvorschlag darf KI im Strafrecht nur angewandt werden, wenn keine Menschenrechtsverletzung vorliegt. Artikel 21 der europäischen Verfassung weist auf eine Nicht-Diskriminierung aufgrund des zugeschriebenen Geschlechts hin, welche durch den Einsatz von KI im Strafrecht anhand der analysierten Praxisbeispiele gefährdet wird.
Auch die Live-Nutzung von biometrischer Fernidentifikation ist im AI Act beschränkt. Käme es zu einer globalen Anwendung des Gesetzesvorschlags, würde der aktuelle Einsatz von Gesichtserkennungssoftware an öffentlich zugänglichen Orten eingeschränkt werden.
Gleichzeitig zeigt die unklare Eingrenzung von Hochrisiko-KI und das Fehlen entsprechender konkreter Beispiele, dass ein großer Freiraum bei der Bewertung von Praxisbeispielen besteht. Der AI Act ist derzeit unzureichend formuliert, um Fairness von KI ausreichend in den Vordergrund zu stellen. Doch trotz seiner Schwächen ist es ein erster Schritt in Richtung einer notwendigen Richtlinie zur Regulierung von KI und dient als Aufschlag einer transatlantischen Übereinkunft zu diesem Thema (MacCarthy und Propp 2021). Weitere Eingrenzung und entsprechende Rechtsprechung sind allerdings unumgänglich, um klarere Handlungsempfehlungen aussprechen zu können.
Die fehlende Transparenz von Entscheidungen, die in einer Vielzahl der Google-News-Quellen thematisiert wurden, kann mithilfe des AI Act adressiert werden. Allerdings fehlt es auch an dieser Stelle an Klarheit im Gesetzesvorschlag. Der AI Act sieht vor, Hochrisiko-KI nach einer Konformitätsbewertung mit einem Zeichen zu versehen, sodass sichtbar wird, wenn entsprechende Regeln aus dem Gesetz eingehalten werden. Der genaue Prüfungsvorgang ist allerdings derzeit vage formuliert und sieht beispielsweise keine Veröffentlichung dieser Konformitätserklärung vor. Sie muss lediglich bei einer behördlichen Prüfung vorgezeigt werden (MacCarthy und Propp 2021). Daraus resultiert die Fragestellung, wie ethische, diskriminierungsfreie KI erkennbar gemacht wird und inwieweit Firmen der Regulierung nachkommen, wenn diese nicht überprüft wird.
Gleichzeitig ist der AI Act ein notwendiges Instrument, damit sich prekäre Fälle von diskriminierendem KI-Einsatz im Strafrecht nicht vervielfältigen, denn das derzeitige Recht in den USA ist unzureichend, um eine Diskriminierung aufgrund von Gender zu verhindern (Hao 2020). Da der Einsatz von Technologie transatlantische Grenzen überschreitet, sind Regelwerke wie der AI Act unverzichtbar. Die Anwendungskonzentration und Anbietermacht von Gesichtserkennungssoftware liegen in den USA. Das Ziel des AI Act eine Sektorenführerschaft im Bereich Recht (Strafverfolgung) anzustreben, kann aufgrund der vorliegenden Analyse als Herausforderung gewertet werden. Demnach kann angenommen werden, dass KI-Systeme im Strafrecht aus den USA in Europa angewendet werden könnten. Es braucht dafür entsprechende Gesetze.
5.6 Kritische Würdigung
Die Nachrichtenanalyse hat die Innovationsmaturität der USA im Bereich KI demonstriert. Eine alternative Vorgehensweise, wie beispielsweise eine Analyse von KI-Anbieter-Datenbanken in Europa und den USA, würde eine robustere Bewertung ermöglichen. Die Anzahl der Quellen im europäischen Raum war nicht repräsentativ. Die EU als Legislative ebenso wie die lokale Privatwirtschaft sehen die Vorteile von KI-Landkarten, um u. a. den Fortschritt und Status Quo von technologischen Entwicklungen besser bewerten zu können (AI 4 Germany 2021; European Commission 2021a).
Dieser Artikel hat den Inhalt des AI Act in Bezug auf Hochrisiko-KI und ihre ethische Dimension untersucht, jedoch die Perspektive der Implementierung ausgeschlossen. Diese ist unter zeitlichen und ressourcenspezifischen Aspekten zu kritisieren. Die Implementierung des Gesetzes in den Mitgliedsstaaten ist laut Budgetübersicht in 2023 vorgesehen, welches vor dem Hintergrund der aktuellen Entwicklungsschritte im Bereich KI als ein zu langfristiger Zeithorizont gewertet werden kann (Gabriel 2021).
Unter Aspekten wie dem Talent Gap im Bereich ICT in der EU können weitere Herausforderungen bei der Umsetzung des Gesetzesvorschlags resultieren (European Commission 2021b). Unter Aspekten der Geschlechtergerechtigkeit ist auch an dieser Stelle auf eine Partizipation aller Geschlechter hinzuweisen.
6 Zusammenfassung
Der Einsatz von KI eröffnet ein Spannungsfeld zwischen Innovationspotentialen und Regulierungsdrang. Harmonisierte Richtlinien zur Regulierung dieser Technologie existieren bislang nicht, allerdings liegt seit dem 21.04.2021 der Artificial Intelligence Act als ein erster Regulierungsversuch der EU vor.
Anhand des AI Act hat dieser Artikel eine Statusanalyse ausgewählter KI-Systeme in Europa im Vergleich zu den USA aus ethischer Perspektive durchgeführt, die verdeutlicht, dass Regelwerke zur Wahrung der Menschenrechte beim Einsatz von KI im Bereich der Strafverfolgung sowohl in Europa als auch in den USA notwendig sind. Die Quellenanalyse in Europa zeigt vorerst eine geografische Disparität auf, da europäische Beispiele im Vergleich zu den USA in der Suche unterrepräsentiert sind.
Anhand der Untersuchung zeigt die USA eine höhere KI-Affinität in der Strafverfolgung. Vorteile des KI-Einsatzes werden deutlicher in den Vordergrund gestellt als im europäischen Raum. Gleichzeitig zeigt die Google News Analyse Fälle von false-positive identifizierten weiblichen people of color auf. Die intersektionale Diskriminierung aufgrund von Gender und Hautfarbe ist besonders hoch, wird jedoch nur in wenigen Metriken bei der Anwendung untersucht. Dies ist auch auf fehlende gesetzliche Regelungen zurückzuführen. Vor allem Genderaspekte sind in den wenigen durchgeführten Studien unterrepräsentiert, sodass eine fundierte Aussage über das Diskriminierungspotential erst nach weiteren Studienergebnissen möglich sein wird. Derzeit fehlt Transparenz und Objektivität beim Einsatz von KI in der Strafverfolgung, um diskriminierendes Verhalten konsequent erkennen zu können. Durch historisch diskriminierende Trainingsdaten und eine Verstärkung dieser in Feedback-Loops der KI, kann es zu einer Steigerung von Genderdiskriminierung kommen.
Laut dem AI Act darf KI im Strafrecht nur angewandt werden, wenn keine Menschenrechtsverletzung vorliegt. Artikel 21 der europäischen Verfassung weist auf eine Nicht-Diskriminierung aufgrund des zugeschriebenen Geschlechts hin, welche durch den Einsatz von KI im Strafrecht anhand der analysierten Praxisbeispiele gefährdet wird. Zudem würde der AI Act Metriken für Tests festschreiben, um die aktuelle Datenlücke im Bereich Gender zu schließen.
Obwohl der AI Act potenzielle Gefahren von Hochrisiko-KI identifiziert, sind entsprechende gesetzliche Vorschriften derzeit unzureichend formuliert. Der AI Act versucht dabei zwischen beiden Dimensionen Lösungsansätze zu formulieren und sowohl Innovations- als auch Gerechtigkeitsansprüchen nachzukommen. Dieser Spagat äußert sich in unklare Formulierungen. Weitere Regulierungen sind notwendig. um beim Einsatz von Hochrisiko-KI in der Strafverfolgung und insbesondere dem Einsatz von Gesichtserkennungssoftware die Menschenrechtswahrung in den Fokus zu rücken. Bestehende Diskriminierung darf nicht verstärkt werden.
Open Access Dieser Artikel wird unter der Creative Commons Namensnennung 4.0 International Lizenz veröffentlicht, welche die Nutzung, Vervielfältigung, Bearbeitung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden.
Die in diesem Artikel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist für die oben aufgeführten Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
HMD liefert IT-Fach- und Führungskräften Lösungsideen für ihre Probleme, zeigt ihnen Umsetzungsmöglichkeiten auf und informiert sie über Neues in der Wirtschaftsinformatik (WI).
