Finds documents with both search terms in any word order, permitting "n" words as a maximum distance between them. Best choose between 15 and 30 (e.g. NEAR(recruit, professionals, 20)).
Finds documents with the search term in word versions or composites. The asterisk * marks whether you wish them BEFORE, BEHIND, or BEFORE and BEHIND the search term (e.g. lightweight*, *lightweight, *lightweight*).
Activate our intelligent search to find suitable subject content or patents.
Select sections of text to find matching patents with Artificial Intelligence.
powered by
Select sections of text to find additional relevant content using AI-assisted search.
powered by
(Link opens in a new window)
Zusammenfassung
Der Schlüssel zu einer erfolgreichen und nachhaltigen Integration von Künstlicher Intelligenz (KI) in Gesellschaft und Wirtschaft liegt im Aufbau von Vertrauen und einem souveränen Umgang mit dieser Technologie. Dieses Vertrauen entsteht durch eine transparente, ethisch verantwortungsvolle Gestaltung und Implementierung von KI-Systemen, unterstützt durch angemessene Regulierungs- und Zertifizierungsprozesse. Die Autoren schlüsseln die Dimensionen von Vertrauen in KI auf und diskutieren Lösungsansätze, dieses durch geeignete Maßnahmen umzusetzen. Sie beantworten die Frage, warum Vertrauen und souveräner Umgang wichtig sind, beschreiben Herausforderungen und Risiken für Vertrauen in KI und zeigen Strategien zur Stärkung des Vertrauens und des souveränen Umgangs auf.
8.1 Einleitung
„Vertrauen ist für alle Unternehmungen das größte Betriebskapital, ohne welches kein nützliches Werk auskommen kann. Es schafft auf allen Gebieten die Bedingungen gedeihlichen Geschehens“, erinnert uns Albert Schweitzer an die fundamentale Bedeutung von Vertrauen. In einer Zeit, in der die Fähigkeiten Künstlicher Intelligenz (KI) rasant wachsen und sich menschlichen Fähigkeiten in Teilgebieten annähern oder diese übertreffen, wird die Frage des Vertrauens in KI immer relevanter.
Im Rahmen der Veranstaltungsreihe „Forum Bellevue“ widmete sich der Bundespräsident der Bundesrepublik Deutschland, Frank-Walter Steinmeier, Anfang Juli 2024 dem Thema „Digitale Öffentlichkeit – brauchen wir eine neue Aufklärung?“. Als zentral sieht Steinmeiner dabei die folgenden drei Aspekte: Verständnis, Verantwortung und Vertrauen. Zum Thema Verständnis sagt er in seiner einführenden Rede: „Es geht inzwischen längst nicht mehr um die Frage, ob die KI weiter Einfluss auf unser Leben nehmen wird, sondern wie. Ich bin überzeugt: Wir sind dieser technischen Entwicklung nicht ausgeliefert. Aber ich bin ebenso überzeugt: Wir müssen sie verstehen, um sie gestalten zu können.“ Hinsichtlich unserer generellen gesellschaftlichen Verantwortung mit KI formulierte Steinmeier: „Wir haben die Chance, den Rahmen für KI so zu gestalten, dass sie dem Menschen und dem Gemeinwohl dient.“ Zum Thema Vertrauen schließlich zitierte er u. a. eine der Diskussionsteilnehmerinnen, die philippinische Journalistin und Friedensnobelpreisträgerin Maria Ressa, wie folgt: „Langfristig ist Bildung das Wichtigste überhaupt, […] mittelfristig sind es Gesetze, […] die die Rechtsstaatlichkeit in der virtuellen Welt wiederherstellen […]. Kurzfristig liegt es an uns: zusammenarbeiten, zusammenarbeiten, zusammenarbeiten. Und das fängt an mit Vertrauen.“
Advertisement
Abschließend appellierte Bundespräsident Frank-Walter Steinmeier: „Verständnis, Verantwortung, Vertrauen: Weder IT-Entwickler noch Regierungen noch digitale Zivilgesellschaften werden die Herausforderungen, die auf uns zukommen, alleine lösen können. Wir brauchen eine gemeinsame Zielvorstellung, wir brauchen eine gemeinsame Bewegung – mindestens europäische Bewegung –, und wir müssen uns im Klaren darüber sein: Das, worüber wir hier reden, ist eine Generationenaufgabe.“
Der vorliegende Beitrag soll auf diesem Weg als Denkanstoß dienen und dabei sowohl die gesellschaftliche Zielvorstellung, die europäischen Regulierungs- und Gesetzesinitiativen als auch eine Vorgehensweise zur Vertrauensbildung in KI betrachten.
Am Anfang der Betrachtung muss die Frage nach der grundsätzlichen Bewert- und Erkennbarkeit von natürlicher und Künstlicher Intelligenz stehen. Alan Turing, ein Vorreiter der Informatik, prägte 1950 mit dem Turing-Test einen wesentlichen Grundstein für die Beurteilung Künstlicher Intelligenz. Dieser Test misst, ob eine Maschine menschliche Intelligenz durch Kommunikation so überzeugend imitieren kann, dass ihre Antworten nicht von denen eines Menschen zu unterscheiden sind. Dies wirft grundlegend die Frage nach dem Unterschied zwischen menschlicher und Künstlicher Intelligenz auf.
Während menschliche Intelligenz durch Bewusstsein, emotionales Erleben und soziale Interaktionen gekennzeichnet ist, basiert Künstliche Intelligenz auf Algorithmen und Daten, ohne eigene Wünsche oder das Verständnis sozialer Strukturen. Menschen besitzen die einzigartige Fähigkeit, aus begrenzten Erfahrungen zu generalisieren und Wissen auf neue Kontexte anzuwenden, eine Fähigkeit, welche KI-Systemen, die auf umfangreichen Datensätzen trainieren, oft fehlt. Diese Unterscheidungen betonen die Notwendigkeit, Vertrauen in KI sorgfältig zu bewerten, besonders im Hinblick auf ihre Fähigkeit, menschenähnliche Intelligenz authentisch nachzuahmen und sich doch fundamental von ihr zu unterscheiden.
Advertisement
In China wird ein anderes Wort für Künstliche Intelligenz verwendet, nämlich „vom Menschen erschaffene Maschinenfähigkeiten“ (Fischer, 2019), was den Schwerpunkt auf die Schöpfung und die damit einhergehenden Fähigkeiten legt, ohne notwendigerweise die Aspekte von Bewusstsein oder Intentionalität zu berücksichtigen. Es geht um das Zusammenspiel von Menschen und Maschinen; der Mensch steht immer im Mittelpunkt, er muss die Kontrolle behalten. Algorithmen und ihre Entscheidungen müssen nachvollziehbar sein, und es muss Vertrauen aufgebaut werden. „KI-Anwendungen können menschliche Intelligenz, Verantwortung und Bewertung nicht ersetzen“, bringt es der stellvertretende Vorsitzende des Deutschen Ethikrates, Julian Nida-Rümelin, auf den Punkt (Deutscher Ethikrat, 2023).
Vertrauen ist ein wichtiges Fundament unseres Zusammenlebens. Vertrauen im menschlichen Miteinander bedeutet davon auszugehen, dass ein anderer Mensch in einem für mich positiven Sinne handelt. Und Vertrauen vereinfacht den Alltag, denn Unsicherheit und Komplexität werden hierdurch wesentlich reduziert. Anstatt eine Transaktion detailliert zu kontrollieren, vertraue ich auf die guten Absichten der anderen Partei. Durch konsistentes Handeln entsteht Vertrauen langsam entlang von eingehaltenen Versprechen und positiven Erfahrungen. Durch einen einzigen Vorfall, beispielsweise einen Betrug, kann das langsam aufgebaute Vertrauen allerdings schnell zerstört werden.
Je mehr KI-Systeme in unsere Privatsphäre und unseren Alltag eindringen, desto wichtiger wird das Vertrauen in diese Systeme. Unter welchen Voraussetzungen können Menschen KI-Systemen vertrauen, insbesondere wenn sie mit diesen sensible Informationen teilen oder ihre Ergebnisse als Basis für persönliche Entscheidungen nutzen? Ebenso wie das Vertrauen zwischen Menschen entsteht Vertrauen zwischen Menschen und KI-Systemen kontinuierlich durch viele Interaktionen, in der die Erwartungen des Menschen bestätigt werden. Ein einziger negativer Vorfall kann auch hier ausreichen, um Vertrauen nachhaltig zu erschüttern.
Mit dem zunehmenden Einzug von Künstlicher Intelligenz (KI) in viele Lebensbereiche stellt sich für unsere Gesellschaft immer mehr die Frage, wie wir KI sicher einsetzen und sicherstellen können, dass die Ergebnisse fair, transparent und diskriminierungsfrei sind. Um dem Vertrauen der Bürgerinnen und Bürger Rechnung zu tragen, suchen alle, aber insbesondere Firmen und die öffentliche Verwaltung Antworten auf die drängende Frage, wie es erreicht werden kann, dass Daten geschützt und falsche Ergebnisse und nicht intendierte negative Auswirkungen verhindert werden. Wie dies gelingen kann, wird in diesem Beitrag skizziert.
Der nächste Abschnitt fokussiert auf Vertrauen in KI-Systeme und damit verbundene Herausforderungen. Darauf aufbauend werden in Abschn. 8.3 Kriterien an Strategien und Maßnahmen zum Aufbau von Vertrauen abgeleitet. Für Regulierung und Zertifizierung werden Parallelen zur erfolgreichen eIDAS-Verordnung gezogen. In Abschn. 8.4 werden die herausgearbeiteten Punkte in einer Fallstudie zum Thema Sprachmodelle an einem praktischen Beispiel veranschaulicht.
8.2 Die Bedeutung von Vertrauen in KI-Systeme
8.2.1 Was ist Vertrauen?
Vertrauen ist essenziell für den sozialen Zusammenhalt, den Erfolg von wirtschaftlichen Beziehungen oder auch die Einführung neuer Technologien. Georg Simmel definiert Vertrauen als „die Hypothese zukünftigen Verhaltens“ und unterstreicht damit die zukunftsorientierte Natur des Vertrauens (Basel et al., 2024). Allgemeiner ausgedrückt wird von Oswald (2006) Vertrauen als „die Erwartung einer Person, dass es in einer Situation auch ohne vollständige Kontrolle möglicher negativer oder opportunistischer Verhaltensweisen zu einem gewünschten positiven Ausgang kommt“, beschrieben.
Vertrauen ist somit eine Vorleistung in die zukünftige Beziehung zu einer Person, einer Organisation oder einer Technologie und fungiert als „Mechanismus zur Reduktion sozialer Komplexität“. In einer komplexen Umwelt hat eine einzelne Person weder die Zeit noch alle Informationen oder die individuelle Befähigung, um alle möglichen Verhaltensalternativen anderer Individuen und Organisationen oder das Reaktionsverhalten von technologischen Produkten zu analysieren. Wenn beispielsweise Geschäftspartner Vertrauen in die Beteiligung am Gewinn haben, können sie sich auf die Kooperation einlassen (Luhmann, 2014, S. 27). Vertrauen stärkt soziale Beziehungen und senkt in wirtschaftlichen Beziehungen die Transaktionskosten, da weniger Aufwand für Kontrollen notwendig ist (Basel et al., 2024). Es ermöglicht auch, dass Menschen bereit sind, Risiken einzugehen und sich verletzlich zu zeigen (Mayer et al., 1995).
Vertrauen zwischen Menschen wird kontinuierlich in allen Arten von Beziehungen1 aufgebaut. Vertrauen entsteht aber auch in kurzlebigen Kontakten. Informationen durch Dritte, beispielsweise durch gemeinsame Kontakte, sind vertrauensfördernd. Eine persönliche Empfehlung bei der Einstellung eines neuen Mitarbeitenden gibt der Führungskraft ein gutes Gefühl. Zudem tragen „vertrauensbildende Kontextbedingungen“ zur Bildung von Vertrauen bei, die eine Anreizstruktur für kooperatives Verhalten setzen; dazu zählen Kontrollprozesse, Regeln oder Belohnungen (Oswald, 2006, S. 711 f.). Patienten vertrauen ihren Ärzten, da sie eine regulierte Ausbildung und Prüfung durchlaufen haben und ihre Kompetenzen zertifiziert sind. Die Inhalte des Medizinstudiums sind gesetzlich reguliert.
Vertrauenswürdigkeit lässt sich in drei Dimensionen untergliedern: Die Dimension der Fähigkeit bezieht sich darauf, dass Menschen die notwendigen Kompetenzen und Fertigkeiten besitzen, um spezifische Aufgaben erfolgreich zu erfüllen. Die Integrität spiegelt die Zuverlässigkeit und moralische Korrektheit einer Partei wider, basierend auf ethischen Werten, die von der anderen Partei als akzeptabel angesehen werden. Wohlwollen schließlich bedeutet, dass die Partei das Wohl der anderen im Sinn hat und über das eigene Interesse hinaus handelt. Diese Dimensionen bilden zusammen die Grundlage dafür, wie Vertrauenswürdigkeit in zwischenmenschlichen und organisationalen Beziehungen beurteilt wird (Mayer et al., 1995).
Diese Überlegungen zu Vertrauen in Menschen können auf das Vertrauen in KI-Systeme übertragen werden, indem ähnliche Erwartungen an die Fähigkeit, das Wohlwollen und die Integrität von Technologien gestellt werden.
8.2.2 Vertrauen in KI-Systeme
In diesem Kontext ist es hilfreich, die drei Dimensionen der Vertrauenswürdigkeit – Fähigkeit, Wohlwollen und Integrität – auf KI zu übertragen (vgl. Abb. 8.1). Diese sind nicht komplett trennscharf, zeigen aber wichtige unterschiedliche Aspekte auf.
8.2.2.1 Fähigkeit von KI-Systemen: Aufgaben werden korrekt ausgeführt
Fähigkeit bei KI-Systemen bezieht sich auf die Kompetenz, spezifische Aufgaben korrekt auszuführen.
Nutzende erwarten, dass KI-Systeme ihre Erwartungen an die Funktion erfüllen. Diese liegen oft auch höher als die Erwartungen an Menschen. Ein Beispiel hierfür ist, dass ein autonomes Fahrzeugsystem, das durchschnittlich dreimal besser als Menschen abschneidet, dennoch nicht die öffentlichen Erwartungen erfüllt: Vom autonomen Fahrzeug erwarten Menschen – wie Studien zeigen – eine zehnmal bessere Leistung im Vergleich zum Menschen und keine Fehler in unvorhergesehenen Situationen, wie etwa das Nichterfassen eines regelkonformen Fußgängers (Lu et al., 2023).
Als Nutzender vertraue ich darauf, dass ein KI-System auch auf unerwartete oder neue Situationen angemessen reagiert und dabei die Ergebnisqualität aufrechterhält (vgl. Kap. 9 zu Resilienz). Von Manipulationsversuchen oder ungewöhnlichen Dateninputs darf sich ein KI-System nicht irreführen lassen. Dies stärkt das Vertrauen in die Technologie, da Nutzende sich darauf verlassen können, dass die KI auch in Ausnahmesituationen verlässlich funktioniert. Forschungsarbeiten haben beispielsweise gezeigt, dass das Anbringen von speziellen Stickern auf Stoppschildern die KI dazu verleiten kann, diese als Vorfahrtsschild zu interpretieren (Anger, 2021). Robuste Systeme sind zudem in der Lage, Systemmanipulationen zu erkennen und sich von diesen nicht fehlleiten zu lassen. Von Hacking und der gezielten Manipulation von KI-Systemen bis hin zum Missbrauch dieser Technologien reichen die potenziellen Gefahren, die nicht nur die Sicherheit der Systeme, sondern auch die öffentliche Sicherheit bedrohen.
8.2.2.2 Wohlwollen von KI-Systemen: KI-System operiert im Sinne der Nutzenden
Wohlwollen betont, inwiefern KI-Systeme das Wohl der Nutzenden und der Gesellschaft in den Blick nehmen und auf faire und unvoreingenommene Weise operieren. Dies umfasst die Gewährleistung, dass die Datenbasis nicht verzerrt ist und die Realität fair und genau widerspiegelt. Zudem umfasst Wohlwollen, dass Nutzende die Entscheidungen verstehen, indem die Ergebnisse der KI erklärbar sind.
Ein Bias in den Trainingsdaten kann dazu führen, dass die KI fehlerhafte oder diskriminierende Entscheidungen trifft. Werden dem Modell zum Beispiel nur Daten einer bestimmten Berufsgruppe gegeben, folgert das Modell: Alle Menschen gehören dieser Gruppe an. Liegt ein Datenbias in den Trainingsdaten vor, trifft das Modell fehlerhafte, unfaire oder auch diskriminierende Aussagen. Das KI-System kann dann beispielsweise Gesichter bestimmter Hautfarben nicht oder nur schlecht erkennen, da die zugrunde liegenden Trainingsdaten nicht über die adäquate Vielfalt verfügen. Die Minimierung von Datenbias ist daher ein wichtiger Hebel, um die Fairness und Genauigkeit von KI-Systemen zu verbessern.
Erstellende von Texten oder allgemeiner Werke verschiedener Provenienz haben wiederholt drauf aufmerksam gemacht, dass ihre Werke ohne ihre Einwilligung für das Training von KI-Systemen genutzt wurden und werden. Ihre Urheberrechte werden durch diese Praktik verletzt. Gleiches gilt, wenn für KI-Training unberechtigt Unternehmensdaten herangezogen werden. Rechte von Individuen und Organisationen werden eklatant verletzt, indem diese beispielsweise plagiiert werden und keine monetäre Kompensation für die Datennutzung erhalten. Für Personen oder Unternehmen, die solche trainierten KI-Systeme nutzen, entsteht ein rechtliches Risiko durch Urheberrechtsklagen – und ein Schaden des Ansehens.
Ein erklärbares KI-System ermöglicht es Nutzenden, die Entscheidungsprozesse und die dahinterstehende Logik zu verstehen, wie KI-Systeme zu Ergebnissen kommen – Nutzende können gemäß ihrem Kenntnisstand die Funktionsweise nachvollziehen. Die Bedeutung für das Vertrauen von Menschen in KI zeigt sich anschaulich in sogenannten Halluzinationen von Sprachmodellen, die seit dem Aufkommen von ChatGPT im Herbst 2022 ein wiederkehrendes Thema sind. Auf Anfragen von Nutzenden generierte das System Antworten, die zwar kohärent, aber vollkommen erfunden waren. Nach den Quellen gefragt, gab ChatGPT fiktive Quellen zurück (Hiltscher, 2023). Dies unterstreicht die Notwendigkeit von Mechanismen innerhalb der KI, die es Nutzenden erlauben, die Genauigkeit, Nachvollziehbarkeit und Glaubwürdigkeit der generierten Inhalte einzuschätzen. Dies ist besonders kritisch in Bereichen mit weitreichenden Konsequenzen, wie Gesundheitswesen, Justiz oder Finanzen – aber auch Politik.
Deepfakes, beispielsweise von politischen Entscheidungsträgern, können weitreichende negative soziale und wirtschaftliche Auswirkungen haben, insbesondere in Zeiten des Wahlkampfs. Im Januar 2024 erhielten Wähler und Wählerinnen im US-Bundesstaat New Hampshire Anrufe von einer gefälschten Stimme des US-Präsidenten Biden und wurden aufgefordert, nicht an den Vorwahlen teilzunehmen. Daraufhin ermittelten die Behörden wegen Versuchen der Wahlmanipulation (Tagesschau, 2024). Diese zu erkennen ist ein weiteres wichtiges Thema für ein erklärbares KI-System und das menschliche Vertrauen.
8.2.2.3 Integrität von KI-Systemen: Vertrauenswürdiger KI-Entwicklungsprozess und Schutz der Daten
Integrität fokussiert ethische Aspekte der KI-Entwicklung. Inwieweit sind sensible Daten geschützt und die Entwicklung vertrauenswürdig?
Datenschutzbedenken sind in diesem Kontext ein kritisches Thema, insbesondere im Umgang mit persönlichen und sensiblen Daten. Menschen möchten sicher sein, dass ihre Daten nicht für Zwecke der Nutzung missbraucht werden, für die sie nicht übermittelt bzw. gedacht waren. Der Fall Cambridge Analytica etwa hat diese Befürchtungen bestärkt, da persönliche Daten von Facebook-Nutzenden hier ohne Zustimmung der Nutzenden für politische Werbeansprachen genutzt wurden (ZEIT online, 2018).
Technik ist nicht neutral, sondern von Menschen gemacht. Standards bei Entwicklung und Auswahl der Daten beeinflussen das Vertrauen in die Technologie – und auch wer daran mit welchen Praktiken mitarbeitet. Divers aufgestellte Entwicklerteams fördern, dass Menschen ihre unterschiedlichen Perspektiven in die Entwicklung mit einbeziehen. Ein Beispiel ist der Einsatz von Gesichtserkennung: Sind in der Auswahl der Trainingsdaten keine Bilder von Menschen mit dunklerer Hautfarbe enthalten, kann die KI ihre Gesichter nicht zuordnen. Enthält das Trainingsset von Sprachassistenten zu wenige weibliche Stimmen, reagiert es auf Frauen schlechter als auf Männer (Gerding, 2021).
Eng verbunden mit der Transparenz ist die Frage der Rechenschaftspflicht. Im Falle eines Fehlers oder einer Fehlentscheidung durch eine KI ist oft unklar, wer die Verantwortung trägt. Die Abwesenheit klar definierter Zuständigkeiten und die Schwierigkeit, Maschinen zur Rechenschaft zu ziehen, werfen rechtliche und ethische Fragen auf, die das Vertrauen in die Technologie schwächen. In der Debatte um das autonome Fahren ist eine zentrale Frage, wer die Verantwortung und Haftung bei Unfällen übernimmt – etwa das KI-Entwicklerteam, der Fahrzeughersteller oder der Fahrzeughalter selbst?
Eine entsprechende Zertifizierung auf Basis anerkannter internationaler Standards scheint angesichts dieser vielfältigen Anforderungen ein probater Weg zum Nachweis der Integrität eines KI-Systems zu sein. Mit dem AI Act hat die Europäische Union diesen Weg bereits eingeschlagen (vgl. Kap. 23).
Die rasante technische Entwicklung von KI-Systemen führt weiterhin dazu, dass rechtliche und regulatorische Rahmenbedingungen oft nicht Schritt halten können bzw. noch gar nicht vorliegen, was zu rechtlichen Unsicherheiten führt. Diese Lücken in der Gesetzgebung und Regulierung erschweren nicht nur die Integration von KI in die Gesellschaft, sondern bergen auch das Risiko, dass die Technologie in einer rechtlichen Grauzone operiert, was das Vertrauen der Öffentlichkeit zusätzlich belastet.
8.3 Strategien und Maßnahmen zur Stärkung des Vertrauens in und des souveränen Umgangs mit KI
Wie können wir KI-Systemen vertrauen? Ein tragfähiges Vertrauen von Menschen in KI-Systeme weist unterschiedliche Facetten auf, die interdependent miteinander verwoben sind. In vielen Bereichen unseres Lebens verhält es sich ähnlich, etwa im Straßenverkehr.
Im Straßenverkehr ist eine Fahrerlaubnis erforderlich, um zu garantieren, dass alle Teilnehmenden die Regeln verstehen und die Fähigkeit haben, sicher zu fahren. Für den souveränen Umgang mit KI müssen Nutzende zumindest verstehen, wie KI-Systeme grundsätzlich funktionieren, um sie sicher bedienen zu können. Für die Zulassung von Fahrzeugen gelten hohe Sicherheitsstandards. Sicherheitseinrichtungen wie Airbags und Anschnallgurte sind Pflicht und tragen zur Sicherheit der Verkehrsteilnehmenden bei. Bei KI-Systemen sind der Schutz sensibler Daten sowie das korrekte Funktionieren der Modelle während des gesamten Lebenszyklus von zentraler Bedeutung.
Verkehrsregeln steuern, wie der Straßenverkehr abzulaufen hat, wann welcher Verkehrsteilnehmende Vorfahrt hat. Die Verkehrssicherheit der Kraftfahrzeuge wird regelmäßig etwa durch den TÜV kontrolliert. Für KI-Systeme werden gegenwärtig Regelwerke entwickelt. Besonders der AI Act der Europäischen Union gibt ein Verfahren für die Risikobewertung von KI-Systemen vor. Ob die KI im Lebensverlauf die korrekten Ergebnisse liefert, kann eine entsprechende Prüfung durch eine Zertifizierung sicherstellen, wie der AI Act für den Einsatz von KI in Hochrisikobereichen zeigt.
Für jede der drei im vorherigen Abschnitt herausgearbeiteten Kategorien der Vertrauenswürdigkeit werden im Folgenden Maßnahmen und Strategien abgeleitet. Im Rahmen der Integrität wird Vertrauen im gesamten Lebenszyklus des KI-Systems betrachtet. Im Fokus des Wohlwollens steht der souveräne Umgang mit KI-Systemen durch Nutzende; zudem spielt Vertrauen im gesamten Lebenszyklus eine hervorgehobene Rolle. Für Integrität werden Regulierung und Zertifizierung von KI-Systemen betrachtet. Wie zuvor herausgearbeitet, fließen diese unterschiedlichen Dimensionen immer auch ineinander. Die getrennte Betrachtung der Dimensionen ermöglicht hierbei verschiedene Perspektiven auf Strategien und Maßnahmen.
8.3.1 Fähigkeit: Vertrauen im gesamten KI-Lebenszyklus
Die Entwicklung von KI-Systemen ist ein komplexer, mehrschichtiger Prozess, der besonderes Augenmerk auf den Schutz sensibler Daten und die Gewährleistung einer korrekten Funktionsweise der Modelle erfordert. Jede Phase im Lebenszyklus eines KI-Systems – von der Datensammlung und -aufbereitung über das Modelltraining und die Auswahl bis hin zum Deployment und dem kontinuierlichen Monitoring – erfordert spezifische Sicherheits- und Datenschutzmaßnahmen, die integraler Bestandteil des Entwicklungsprozesses sein müssen.
8.3.1.1 Schutz sensibler Daten by Design
Daten sind der Treibstoff der KI. Anhand dieser lernt der Algorithmus und leitet Entscheidungen ab. Über den gesamten Lebenszyklus sind sensible Daten geschützt. Dies beginnt mit der Einwilligung der Datengeber. Diese haben ausdrücklich eingewilligt, dass ihre Daten verwendet werden dürfen. Ihre Einwilligung erfolgt auf Basis einer transparenten Information über den Zweck der Datenverwendung.
Der Schutz sensibler persönlicher Informationen in der Datenaufbereitung erfolgt durch Anonymisierung und Pseudonymisierung, um die Identität der betroffenen Personen zu schützen. Bei der Pseudonymisierung werden der Name und auch Merkmale, die eine Person eindeutig identifizieren, beispielsweise durch einen Code ersetzt. Die Identität wird verdeckt, kann durch den Code jedoch wieder zugeordnet werden. Bei der Anonymisierung werden die Daten so verändert, dass ein Rückschluss auf die Person nicht mehr möglich ist und auch nicht im Nachhinein rekonstruiert werden kann.
Die Verfügbarkeit von Daten ist für die Entwicklung von KI-Verfahren essentiell. Eine weitere Lösungsstrategie zur sicheren und flächendeckenden Bereitstellung von Daten ist die Verwendung von synthetischen Daten. Synthetische Daten sind eine Rekonstruktion struktureller Eigenschaften eines Datensatzes mit dem Ziel, die Nutzbarkeit zu steigern. Synthetische Daten können anhand verschiedener Verfahren erzeugt werden. Die Bandbreite reicht dabei von klassischen Verfahren zur Modellierung von Randverteilungsfunktionen verschiedener Zufallsvariablen über die Verwendung generativer Künstlicher Intelligenz bis hin zu quanteninspirierten Ansätzen durch die Integration von Rauschen im Trainingsprozess. Datensynthese birgt ein großes Potential, da Kontrollier- und Messbarkeit von Privatsphäre, Nutzbarkeit, Originaltreue und Voreingenommenheit der resultierenden Daten sehr viel einfacher ermöglicht wird, als das bei realen Daten möglich ist.
Wirkungsvolle Maßnahmen braucht es für den Schutz des Urheberrechts von Daten. Erstens beinhaltet dies die Schaffung transparenter Prozesse, nach denen Inhaber von Urheberrechten ihre Zustimmung erteilen können. Zweitens ist bei der Auswahl der Trainingsdaten ähnlich wie beim Datenschutz ein Kontrollpunkt notwendig, der sicherstellt, dass alle urheberrechtlichen Fragen der Daten geklärt sind. Drittens können Technologien in den Prozess der Datenauswahl eingebettet werden, die auf geschützte Daten hinweisen, etwa im Sinne einer kryptographisch abgesicherten Verifikation der Provenienz der verwendeten Daten. Um diese aus einem trainierten Modell zu entfernen, können Methoden des Retrainings notwendig sein oder zumindest ein Finetuning in Erwägung gezogen werden.
In der Phase des Modelltrainings gilt das Prinzip der Datensparsamkeit. Ausschließlich die notwendigen Daten werden für das Training des Modells verwendet. Durch geeignete Maßnahmen wird ausgeschlossen, dass das Modell unbeabsichtigt sensible Daten verarbeitet oder speichert, die für das Training nicht notwendig sind.
Ein Datenschutzaudit bietet die Möglichkeit, die Qualität des Trainingsprozesses kritisch zu prüfen. Dieser Prozess beginnt mit der zufälligen Auswahl von Trainingsdaten – oft entscheidet ein Münzwurf, welche Daten aufgenommen werden. Ein unabhängiger Auditor prüft die Ergebnisse des Modells und gibt anhand des Ergebnisses seine Einschätzung, ob der Datenpunkt im Trainingsdatensatz war oder nicht. Wie gut der Auditor die verwendeten Daten identifizieren kann, ist ein Indikator für die Privatheit des Modells: Je genauer die Vorhersage, desto wahrscheinlicher ist es, dass das Modell sensible Informationen preisgibt, was ein Risiko für den Datenschutz darstellen kann. Aufbauend auf der Trefferquote werden die Datenschutzparameter des Modells berechnet. Die quantifizierten Ergebnisse geben Aufschluss, inwieweit die Datenschutzpraktiken verbessert werden können (Malej et al., 2024).
Die Evaluierung der Ergebnisse erfolgt anhand von weiteren Datensätzen, die im Training noch nicht verwendet wurden, um zu testen, wie das Modell auf bisher ungesehenen Daten performt. Indem sichergestellt wird, dass nur autorisierte Personen Zugriff auf die Daten und Ergebnisse der Evaluierung haben, bleiben sensible Daten geschützt.
Wenn das KI-System im Produktivsystem aktiv ist, stellen regelmäßige Überprüfungen sicher, dass keine Datenschutzverletzungen stattfinden. Automatisierte Überwachungssysteme und manuelle Audits übernehmen diese Aufgabe.
Um übergreifend die Einhaltung eines notwendigen Datenschutzes sensibler Informationen sicherzustellen, wird zu Beginn eine Datenschutz-Folgenabschätzung durchgeführt, insbesondere bei der Verwendung neuer Technologien oder wenn bei der Datenverarbeitung ein hohes Risiko für Rechte und Freiheiten natürlicher Personen besteht. Das Entwicklungsteam nimmt an regelmäßigen Schulungen und Sensibilisierungseinheiten zum Datenschutz teil, um auf Fallstricke aufmerksam zu machen und geeignete Wege aufzuzeigen, wie mit sensiblen Daten umzugehen ist.
Erreicht das System sein Lebensende und wird das KI-System aus dem Produktivbetrieb genommen, sind alle gespeicherten sensiblen Daten sicher zu löschen oder zu archivieren. Um Daten unwiderruflich zu löschen, kann die Verwendung spezialisierter Software notwendig sein. Eindeutige Richtlinien helfen, dass alle notwendigen Schritte ergriffen und zum Zwecke des Nachweises dokumentiert werden.
8.3.1.2 Sicherheit und Zuverlässigkeit im Modell-Lebenszyklus
Der Lebenszyklus von KI-Modellen (vgl. Abb. 8.2) erstreckt sich über mehrere kritische Phasen, von der ersten Konzeption bis hin zur endgültigen Außerbetriebnahme, einschließlich Entwicklung, Produktivbetrieb und laufender Wartung.
In der Konzeptionsphase ist die sorgfältige Auswahl des Anwendungsfalls entscheidend. Es ist wichtig, frühzeitig potenzielle Risiken und Sicherheitsbedenken zu identifizieren. Insbesondere im Falle von sogenannten Sprachmodellen, aber auch generell ist die Auswahl des richtigen Modells entscheidend. Diese hängt stark vom Kontext ab. Hochleistungsfähige Modelle, die als Black-Box-Systeme funktionieren, sind oft weniger geeignet, wenn hohe Anforderungen an die Erklärbarkeit und Transparenz der Datenverarbeitung gestellt werden. Hier können Zielkonflikte zwischen Nachvollziehbarkeit und Leistungsfähigkeit entstehen, für die ein Trade-off abzuwägen ist (Malej et al., 2024). Darüber hinaus sind Ethik-Checks und Folgenabschätzungen durchzuführen, um mögliche negative Implikationen der Modellergebnisse zu verstehen. Besonders nicht intendierte Konsequenzen müssen bedacht werden, und es sollten geeignete Gegenmaßnahmen identifiziert werden, um potenzielle Schäden zu minimieren. Werden durch einen Algorithmus zur Kreditvergabe beispielsweise bestimmte Personen aufgrund ihres Wohnortes benachteiligt, so besteht Nachbesserungsbedarf.
In der Test- und Evaluationsphase spielen Benchmarks eine besondere Rolle, um die Performance von Modellen zu testen. Benchmarks bieten quantitative Daten zur Performancemessung von KI-Modellen. Durch ihre Standardisierung kann die Leistung direkt mit anderen Modellen verglichen werden. Benchmarks zeigen auch auf, wie transparent und nachvollziehbar Modelle sind. Für Benchmarks werden spezifische Datensets zusammengestellt und dem Modell mitgegeben oder in Form einer Aufgabe übertragen. Dazu gehört beispielsweise bei Ethik-Benchmarks die Begründung einer Entscheidung anhand moralischer Werte (Malej et al., 2024).
Zusätzlich sind Tests mit realen Nutzenden durchzuführen, um sicherzustellen, dass die Ausgaben der KI korrekt und angemessen sind. Ziel ist es, toxische Ausgaben schnell zu identifizieren und zu korrigieren. Durch Validierungs- und Verifikationsprozesse, Penetrationstests und Performancetests wird sichergestellt, dass das KI-System den Anforderungen gerecht wird und auch unter Belastung in unterschiedlichen Szenarien stabil funktioniert.
Nach der Implementierung erfordert das KI-System in der Deploy- und Monitoring-Phase eine kontinuierliche Überwachung, um seine Effektivität und Sicherheit zu gewährleisten. Das Monitoring der Systemleistung, regelmäßige Updates und das Einholen von Nutzerfeedback sind hierbei von zentraler Bedeutung.
Schließlich muss auch die Ausphasung eines KI-Systems verantwortungsbewusst erfolgen. Die sichere Löschung sensibler Daten und die Deaktivierung verbundener Dienste sind kritische Schritte, um Datenlecks und andere Sicherheitsrisiken zu vermeiden.
8.3.2 Wohlwollen: Gestaltung von KI-Systemen im Sinne der Nutzenden
Wohlwollen bedeutet, dass die Entwickelnden und Bereitstellenden von KI das gesellschaftliche Wohl und nicht nur die eigenen Interessen verfolgen. Das beinhaltet unter anderem, den Nutzenden einen souveränen Umgang mit der Technologie zu ermöglichen sowie entsprechende Designentscheidungen, um die Privatsphäre von Nutzenden zu schützen.
8.3.2.1 Souveräner Umgang mit KI
Für den souveränen Umgang mit Künstlicher Intelligenz braucht es auf der einen Seite Verständnis, wie Künstliche Intelligenz funktioniert – ein Konzept, das als KI Literacy bezeichnet wird. Das beinhaltet ein Grundwissen über die Definition von KI, wie KI arbeitet und wo die Grenzen dieser Technologien liegen. Ergänzend ist eine ausgeprägte Medienkompetenz erforderlich, die Nutzenden hilft, KI-generierte Inhalte kritisch zu hinterfragen: Kann ich den Inhalten vertrauen? Sind die Informationen korrekt? Und sind die Ergebnisse fair und ethisch, d. h. ohne Bias? Echte Transparenz erfordert nicht nur Zugänglichkeit der Informationen, sondern auch deren Verständlichkeit für Nicht-Experten.
Nur so können diese sicherstellen, dass Ergebnisse nicht auf Basis von Verzerrungen zustande kommen. Oft steht die Transparenz im Widerspruch zur Komplexität der Modelle. Um die Spannung aufzulösen, kann ein Online-Empfehlungssystem den Nutzenden zeigen, welche Datenpunkte zu bestimmten Empfehlungen führen. Dadurch können diese besser einordnen, warum ihnen bestimmte Produkte oder Dienstleistungen vorgeschlagen werden.
In der Praxis bedeutet dies, dass Personen und Organisationen bewusst entscheiden sollten, welche Daten sie mit einem KI-System teilen, basierend auf der Sensibilität der Daten und dem Risiko eines möglichen Missbrauchs. Ein Beispiel ist etwa der Vorgang, vertrauenswürdige Unternehmensdaten durch ein öffentlich zugängliches Sprachmodell zu verarbeiten. Hier besteht das Risiko, dass Dritte Zugriff auf die Daten erhalten und diese auch in das weitere Training des Modells einfließen. In allen Szenarien, in denen größtenteils sensible Informationen verarbeitet werden, kann das einen enormen Vertrauensverlust nach sich ziehen und sich im schlimmsten Falle auch negativ auf die allgemeine Sicherheitslage auswirken.
Die Entwicklung von KI schreitet rasch voran, was die kontinuierliche Schulung von Nutzenden in deren Handhabung erfordert. Praxisorientierte Lernformate und Sensibilisierungen sind entscheidend, um ein Verständnis für den ethischen Umgang mit KI, Datenschutz und Fairnessanforderungen aufzubauen und zu vertiefen. Das umfasst auch, welche Daten die Teilnehmenden mit dem KI-System teilen.
8.3.2.2 Architekturelle Betrachtungen: Lokale und zentrale Systeme
Auch die gewählte Architektur des verwendeten KI-Systems kann eine ganz wesentliche Rolle bei der Umsetzung der zentralen Ziele zur Erlangung von Vertrauen spielen.
Derzeit wird die KI-Landschaft ganz wesentlich von zentralen Systemen geprägt, bei denen die Nutzenden über entsprechende Clientsysteme wie Apps oder aber über Schnittstellen mit einer zentralen Instanz des KI-Systems in Kontakt treten. Die Vorteile hinsichtlich Skalierbarkeit, Redundanz sowie zentraler Pflege und Weiterentwicklung im Falle zentraler Systeme sind hierbei offenkundig.
Allerdings gibt es auch etliche Punkte, die im Sinne der Governance und der Vertrauensbildung im oben definierten Sinne Fragen aufwerfen:
Übertragung von teilweise auch sensitiven Daten aus den eigenen Systemen an eine zentrale Stelle (die eventuell auch in einem anderen Rechtsraum verortet sein kann als die Quelle der Daten)
Mögliche Rechteverletzungen oder -verluste bei der Übertragung von Daten an ein zentrales System
Fehlende Autarkie oder Souveränität hinsichtlich der zum Einsatz kommenden Systeme und Technologien
Kritische Abhängigkeit von einer zentralen Single Source sowohl im Sinne der Verfügbarkeit als auch des „Wohlwollens“ der bereitstellenden Stelle
Demgegenüber können lokal agierende Systeme im Rahmen ihrer (sicherlich stärker beschränkten) Fähigkeiten Aufgaben ohne Datentransfer lösen und damit eine deutlich stärkere Autarkie auf Basis des Vertrauens in das lokal laufende System erfüllen. Es ist offensichtlich, dass hierbei immer die Abwägung zwischen Vertraulichkeit und Autarkie einerseits und zentraler Skalierbarkeit andererseits wesentlich sein wird.
Gerade für sogenannte Hochrisikosysteme im Sinne des AI Acts (s. nachfolgender Abschnitt) mit sehr hohen Anforderungen an Korrektheit, Nachvollziehbarkeit und Vertraulichkeit der Daten scheint es sehr wahrscheinlich, dass lokale Systeme trotz der beschränkten Leistungsfähigkeit hier wesentliche Vorteile bieten können.
Ideal erscheinen insbesondere hybride Systeme, die die Vorteile der Nutzung von lokalen Systemen im Regelfall mit der (von der Zustimmung der Nutzenden abhängigen) einzelfallbezogenen Verwendung zentraler Systeme kombinieren. Hierbei kommt der Sicherheit und Vertraulichkeit der zu übertragenden Daten eine besondere Rolle zu.
Apple hat etwa im Juli 2024 ein entsprechendes Konzept vorgestellt und dabei angekündigt, die überwiegend lokale Nutzung von KI-Systemen auf Endgeräten mit einer cloudbasierten Nutzung von KI auf Basis des sog. Private Cloud Compute Prinzips zu verbinden.
8.3.3 Integrität: Regulierung und Zertifizierung von KI-Systemen
8.3.3.1 Europäischer AI Act
Der europäische AI Act (siehe auch Kapitel 23) prägt maßgeblich die Verantwortlichkeiten von KI-Herstellern und Entwicklern durch die Einführung eines regulatorischen Rahmens, der sowohl Sicherheit und Transparenz als auch den Schutz der Grundrechte adressiert, und gibt Nutzenden eine Sicherheit, dass Systeme geprüft sind. Dies bringt sowohl technische als auch operationale Herausforderungen mit sich, die umfassende Anpassungen in der KI-Entwicklung und -Bereitstellung erfordern.
KI-Hersteller müssen genau bestimmen, welche Risikokategorie ihre Produkte betreffen, da dies erhebliche Auswirkungen auf den Regulierungsprozess hat. Produkte mit minimalem Risiko unterliegen weniger strengen Auflagen, während für solche mit hohem Risiko strengere Compliance-Anforderungen gelten und sie umfangreichen Prüfungen unterzogen werden. Dies erfordert eine sorgfältige Analyse und möglicherweise die Anpassung der Produktentwicklung, um den gesetzlichen Anforderungen gerecht zu werden.
Für KI-Systeme mit „minimalem“ Risiko sind keine zusätzlichen Anforderungen zu erfüllen, während für die nächsthöhere Risikostufe „eingeschränkt“ zumindest Transparenzanforderungen gelten. Ein Beispiel ist, dass Nutzende von Chatbots wissen, dass sie mit einer KI interagieren.
KI-Systeme, die in sensiblen Feldern wie Gesundheit, Verkehr oder Justiz eingesetzt werden, fallen unter die Kategorie „hohes Risiko“. Beispiele sind die Überprüfung von Asylanträgen oder der Einsatz einer KI-Anwendung in der robotergestützten Chirurgie. Für Systeme in dieser Kategorie gelten entsprechend hohe Anforderungen. Datensätze für Entwicklung und Validierung müssen eine hohe Qualität aufweisen und frei von Bias sein. Für die Nutzenden sind KI-Systeme so zu gestalten, dass sie leicht zu verstehen und anzuwenden sind. Ein Mechanismus stellt sicher, dass jederzeit ein Mensch die Kontrolle über das KI-System übernehmen kann. Und schließlich müssen KI-Systeme mit hohem Risiko robust und sicher sein und in jeder Situation zuverlässig funktionieren.
Anwendungen mit dem Potential, Menschenrechte zu verletzen – beispielsweise durch soziales Scoring oder umfassende Überwachungsmechanismen –, sind grundsätzlich verboten. Dies unterstreicht das Engagement der Europäischen Union, Grundrechte zu schützen und ethisch verantwortliche Technologie zu fördern.
Der AI Act markiert einen wichtigen ersten Schritt in der Regulierung von KI, der international als Modell dienen könnte. Allerdings entwickeln sich KI-Technologien in einem rasanten Tempo, während legislative Prozesse naturgemäß langsam und von umfassenden Abstimmungen geprägt sind. Diese Diskrepanz kann schnell zu regulatorischen Lücken führen, insbesondere wenn neue Technologien außerhalb der aktuellen gesetzlichen Rahmenbedingungen entstehen. Um diese Lücken zu schließen, ist es entscheidend, eine Regulierung zu implementieren, die auf flexiblen Kriterien basiert und nicht ausschließlich auf spezifischen Technologiedefinitionen, die rasch veralten können.
Zur Unterstützung der gesetzlichen Rahmens könnten KI-Hersteller und -Entwickler durch die Einführung eines Ethik-Codex und durch Selbstverpflichtungen die Anpassungsgeschwindigkeit an neue Vorschriften erhöhen. Solche Maßnahmen würden nicht nur die Einhaltung ethischer Standards fördern, sondern auch das Vertrauen in KI-Technologien stärken und die regulatorische Compliance beschleunigen. Indem man einen kontinuierlichen Dialog zwischen Regulierungsbehörden, Industrie und der Zivilgesellschaft fördert, kann ein ausgewogener Rahmen geschaffen werden, der Innovation ermöglicht, während gleichzeitig Missbrauch verhindert wird und die Einhaltung von Grundrechten sichergestellt.
8.3.3.2 Zertifizierung von KI-Systemen
Mit Zertifizierung wird sichergestellt wird, dass Hersteller die Anforderungen einhalten. Eine Zertifizierung umfasst technische Überprüfungen, Ethik-Audits und Compliance-Checks; sie basiert auf technischen Standards und ethischen Richtlinien. Technische Standards stellen sicher, dass KI-Systeme unter unterschiedlichen Bedingungen robust und fehlerfrei funktionieren und ein ausreichender Schutz gegen Bedrohungen getroffen ist, beispielsweise durch Cyberattacken. Transparenz, Fairness und Verantwortung werden in ethischen Richtlinien thematisiert und konzentrieren sich darauf, dass KI-Systeme frei von Diskriminierung agieren und ihre Entscheidungen nachvollziehbar sind.
Zertifizierungen können ein Qualitätsmerkmal sein, welches das Vertrauen von Menschen in KI-Systeme fördert und Unternehmen einen potenziellen Wettbewerbsvorteil bietet. Ein Zertifizierungsprozess kann unterschiedlich aussehen und auf verschiedene Aspekte abzielen. Wichtigste Voraussetzung ist, dass die mit der Zertifizierung betraute Organisation selbst vertrauenswürdig ist und unabhängig von den Interessen der KI-Hersteller agieren kann.
Ein Exkurs zu einem anderen regulierten Bereich kann hier als Anregung dienen, welche organisatorische Mechanismen auf EU-Ebene bereits etabliert sind, um Vertrauen im Sinne der Integrität und Vertrauenswürdigkeit sicherzustellen und transparent für Nutzende darzustellen. Es handelt sich hierbei um den Kontext der digitalen Identitäten und der sogenannten Vertrauensdienste, die auf EU-Ebene seit 2014 in der sog. eIDAS-Verordnung reguliert werden (eIDAS, 2014).
Gegenstand dieser Verordnung ist die Regulierung von elektronischen Identifizierungsmitteln und von Vertrauensdiensten, also Nutzung von digitalen Zertifikaten zum Zwecke der Signatur, Siegelung und Absicherung von Webseiten sowie die Erbringung von Zustell- und Archivierungsdiensten insbesondere in der grenzüberschreitenden Nutzung. So unterschiedlich die technischen Inhalte im Vergleich zu KI-Systemen auch sind, so vergleichbar ist doch die Situation, dass es sich bei den regulierten Inhalten um „virtuelle“ Dienste handelt, die also im Allgemeinen nicht in physischer (Produkt-)Form ausgegeben werden und für die Vertrauenswürdigkeit, Sicherheit und Haftung von größter Bedeutung sind.
Die eIDAS-Verordnung setzt hierfür konsequent auf ein Vorgehensmodell, das aus den folgenden Schritten besteht:
1.
Prüfung der Dienste durch unabhängige und akkreditierte Dritte (sog. Prüfstellen) auf Basis von anerkannten internationalen (insbesondere europäischen) Standards
2.
Zertifizierung der Dienste auf Basis von erfolgten Prüfungen durch sog. Zertifizierungsstellen (inklusive Verleihung des Status „qualifizierter Vertrauensdienst“)
3.
Sichtbarmachung des Status „qualifiziert“ durch Eintrag in eine öffentlich einsehbare und maschinenlesbare europäische Vertrauensliste
4.
Haftungsrechtliche Absicherung der qualifizierten Vertrauensdienste durch eine entsprechende gesetzlich vorgeschriebene Haftpflichtversicherung
5.
Beaufsichtigung der Prüfstellen und qualifizierten Diensteanbieter durch nationale Aufsichtsbehörden
6.
Regelmäßige Rezertifizierung der Systeme zur Aufrechterhaltung des qualifizierten Status
7.
Interventionsmöglichkeiten der Aufsichtsstellen im Falle von Unregelmäßigkeiten bei Vertrauensdiensteanbietern sowie bei außergewöhnlichen Vorfällen (etwa technischer Art)
Auffällig ist hierbei, dass der qualifizierte Status keine „Einmal“-Situation ist, sondern vielmehr ein kontinuierliches Modell darstellt, das durch Rezertifzierungen einerseits und laufende Aufsicht und mögliche Interventionen der Aufsichtsstelle andererseits reguliert wird.
Dieser Diskurs unterstreicht, wie die eIDAS-Verordnung ein umfassendes Rahmenwerk schuf, das durchaus als Beispiel guter Praxis für die Zertifizierung von KI-Systemen dienen kann. Die Zertifizierung solcher Systeme ist vielschichtig und sollte folgende Schlüsselaspekte umfassen:
Überprüfung des Entwicklungsprozesses: Erfolgt die Entwicklung der KI nach festgelegten industriellen und ethischen Standards?
Evaluation der Datenqualität und -quellen: Die Herkunft und Qualität der Daten für das KI-Training werden geprüft, um sicherzustellen, dass sie relevant und unvoreingenommen sind.
Performancetests unter verschiedenen Bedingungen: Das KI-System wird unter verschiedenen Bedingungen getestet. Wie gut bleibt die Ergebnisqualität auch in unvorhergesehenen Situationen?
High Assurance Implementation bei KI in sensiblen Bereichen: High Assurance Implementation beinhaltet strenge Anforderungen an Sicherheit, Zuverlässigkeit und Korrektheit. Dazu gehört unter anderem formale Verifikation, bei der mathematische Methoden verwendet werden, um die Korrektheit der Algorithmen zu überprüfen.
Regelmäßige Rezertifizierung und Pflege der KI-Systeme durch eine transparente und verifizierbare Aktualisierung der Daten und Algorithmen.
Förderung von Open Source und Gemeinschaftsstandards, die eine breitere Akzeptanz und Zusammenarbeit in der KI-Community anregen.
Ebenfalls ist bemerkenswert, dass die eIDAS-Regulierung neben den technischen Inhalten ganz bewusst auch die haftungstechnische Regulierung verpflichtend mit inkludiert. Hier wurde also bewusst ein ganzheitlicher Ansatz gewählt, der technische, betriebliche und formale (haftungstechnische) Aspekte vereint. Bei KI-Systemen ist diese Frage teilweise unbeantwortet; dies führt dazu, dass die Technologie nicht zum Einsatz kommt, da unklar ist, wer bei Schaden zur Haftung herangezogen wird. Ein KI-spezifisches Haftungsmodell wie bei eIDAS kann also zu einer größeren und breiteren Akzeptanz von KI-Systemen führen.
8.4 Fallstudie: Sprachmodelle
8.4.1 Funktionsweise Sprachmodelle
Large Language Models (LLMs) sind Sprachmodelle, die auf einer großen Menge von Text trainiert wurden. LLMs generieren kohärenten und thematisch relevanten Text und basieren auf der 2018 durch Autoren von Google vorgestellten Transformer-Architektur. Im Kern vergleicht das Modell alle Wörter eines Datensatzes miteinander und analysiert, wie diese im Bezug zueinander stehen. Die Relevanz aller Wörter wird durch den Mechanismus zueinander gewichtet. Das Modell erkennt also, welche Wörter zusammenhängen, was für das Verständnis komplexer Sprachstrukturen, wie Ironie oder humorvolle Ausdrücke, wichtig ist. Im Gegensatz zu vorherigen Ansätzen können diese Modelle mehrere Wörter parallel statt nur sequenziell verarbeiten. Die Verarbeitung großer Textmengen erfolgt schneller.
Prominent ist etwa die Lösung ChatGPT von OpenAI. Im Januar 2023, nur zwei Monate nach seiner öffentlichen Bereitstellung, hatte das KI-System bereits 100 Mio. monatlich aktive Nutzende – und ist damit die am schnellsten wachsende Verbraucherapp in der Geschichte des Internets (Deutschlandfunk Kultur, 2023). Die Forschung zu LLMs entwickelt sich rasant weiter; die Modelle werden immer leistungsfähiger, während sich gleichzeitig immer mehr Anwendungsszenarien herauskristallisieren. Unternehmen und Behörden wollen zunehmend Sprachmodelle in ihren Prozessen einsetzen. In den folgenden Abschnitten werden die oben herausgearbeiteten Strategien und Maßnahmen zur Steigerung des Vertrauens in KI-Systeme anhand des Beispiels LLMs diskutiert.
8.4.2 Fähigkeit: Vertrauen im Lebenszyklus eines Sprachmodells
Das Training von LLMs erfolgt in zwei Phasen: das Pre-Training und das nachfolgende Finetuning. Beim Pre-Training wird das Modell mit einer großen Menge von Daten trainiert, die aus Webseiten, Büchern und Artikeln sowie weiteren Quellen extrahiert werden. Daher werden vortrainierte Sprachmodelle vor allem von großen Technologiekonzernen bereitgestellt, da diese über die Rechenkapazitäten und Datenmengen verfügen, die für das Training von Modellen erforderlich ist. Im Jahr 2023 wurden 149 Modelle veröffentlicht, davon zwei Drittel als Open-Source-Modelle (Malej et al., 2024).
Im zweiten Schritt des Finetunings werden Sprachmodelle für ihren jeweiligen Anwendungsfall justiert. Das vortrainierte Modell wird auf einem kleinen, spezifischeren Datensatz trainiert. Mit diesem Schritt wird die Leistung des Modells für die gewünschte Aufgabe oder Domäne optimiert. Die Gewichte des vortrainierten Modells werden feinjustiert, um die Besonderheiten des neuen Datensatzes besser abzubilden. Das Modell lernt so spezielle Kenntnisse für einen bestimmten Bereich. Ein Beispiel illustriert dies: Eine Behörde möchte ein Sprachmodell zur Kommunikation mit Zivilgesellschaft und Unternehmen einsetzen. Für das Training des Modells erstellen die Mitarbeitenden der Behörde einen Datensatz aus Bürgeranfragen und ihren Antworten darauf. Der Datensatz ist charakterisiert durch spezifisches Vokabular und typische Interaktionen, die das Modell im Training erlernt.
Für die meisten Unternehmen und Behörden beginnt die eigene Entwicklung von Sprachmodellen mit der Auswahl eines geeigneten vortrainierten Modells. Das Training eines eigenen Modells ist rechenintensiv und wird in Kontexten praktiziert, die eine eigene Terminologie haben, abweichend vom Sprachschatz vortrainierter Modelle. Bei der Auswahl eines vortrainierten Modells sind zwei Kriterien zentral: Performance für den Anwendungsfall und ethische und rechtliche Aspekte. Verwendet ein Unternehmen ein vortrainiertes Modell, muss es sicherstellen, dass die Qualität und Vielfalt der Daten beim Training ausreichend waren, um eine faire und ausgewogene Perspektive in den Ergebnissen zu gewährleisten. Weitere Aspekte sind, ob der Datenschutz ausreichend gewährleistet ist und ob die Datenherkunft und der Trainingsprozess transparent sind. Zur rechtlichen Absicherung ist ein besonderer Blick auf die korrekte Lizenzierung und Einhaltung des Urheberrechts der Trainingsdaten entscheidend.
Vortrainierte Modelle werden international bereitgestellt, beispielsweise auch aus Saudi-Arabien. Die Verwendung eines solchen vortrainierten Modells wirft jedoch rechtliche und ethische Fragen auf: Das europäische und saudi-arabische Wertesystem unterscheiden sich grundlegend. KI-Modelle, die mit Daten aus Saudi-Arabien trainiert sind, können kulturell geprägte Verzerrungen etwa in Bezug auf Frauenrechte aufweisen. Zudem kann nicht sichergestellt sein, dass bei der Zusammenstellung des Trainingsdatensets die in Europa geltenden Datenschutz- und Urheberrechtsbestimmungen eingehalten wurden.
Für das Finetuning des ausgewählten Modells ist die Zusammenstellung des Datensets relevant. Die Leistungsfähigkeit hängt maßgeblich vom bereitgestellten Datenset ab. Um zu bewerten, wie gut ein Modell einen Text zusammenfasst, wird das Ergebnis mit einer vom Menschen erstellten Zusammenfassung verglichen. Aus dem Abgleich lernt das Modell, kontinuierlich eine bessere Ergebnisqualität für den Kontext zu erzielen und liefert bei seiner Validierung einen Benchmark für Zuverlässigkeit und Genauigkeit des Ergebnisses. Voraussetzung ist besondere Sorgfalt beim Zusammenstellen des Datensets, damit dieses repräsentativ und konsistent für die Art der Daten im Nutzungskontext ist, insbesondere wenn eine hohe Genauigkeit der Ergebnisse erforderlich ist.
8.4.3 Wohlwollen: Souveräner Umgang der Nutzenden mit Sprachmodellen
Die vielfältigen Anwendungsfälle für LLM können durch ein Beispiel veranschaulicht werden: Eine Mitarbeiterin kann aus einem umfangreichen Textdokument schnell und präzise Kerninformationen extrahieren. Aus den Kernpunkten lässt sie mit ihrem Input eine Vorlage für die Leitungsebene erstellen. Aus den gleichen Stichpunkten lässt sie Entwürfe für zwei Vorträge generieren, einer vor Fachpublikum und der andere vor der gesamten Mitarbeiterschaft. Die Textentwürfe sind auf die unterschiedlichen Zielgruppen und ihre Vorkenntnisse abgestimmt. In der Interaktion mit dem Sprachmodell kann sie zudem schnell Antworten auf ihre Fragen auf Basis des Dokuments generieren lassen. Für den nächsten Termin mit der internationalen Fachgruppe lässt sie sich ihren Fachvortrag übersetzen und als Impulsvortrag kondensieren.
Eine essenzielle Voraussetzung für die Realisierung solcher Szenarien ist der souveräne Umgang der Mitarbeitenden mit dieser Technologie. Zentral ist ein kritischer Umgang mit den Ergebnissen – Nutzende müssen stets die Genauigkeit prüfen und die Verlässlichkeit der Angaben hinterfragen. Als Faustregel gilt, dass Nutzende dem Modell nur Aufgaben geben, deren Ergebnisse sie selbst mit ihrem fachlichen Wissen überprüfen können. Nur so können Halluzinationen erkannt werden. Es ist eine Grundvoraussetzung, dass sie die Ergebnisse kritisch hinterfragen, statt sich zu sehr auf die Ergebnisse des Modells zu verlassen. Das Konzept der Halluzination sollte grundlegender Bestandteil der Schulung sein. Weitere wichtige Schulungsmodule umfassen die ethische Nutzung von KI sowie Dateninterpretationen.
Zur Unterstützung der Nutzenden sollten Funktionen implementiert werden, die die Nachvollziehbarkeit und Korrektheit der Ergebnisse erhöhen. Beispielsweise könnte das Modell relevante Passagen im Originaltext hervorheben, die zur Erstellung von Zusammenfassungen verwendet wurden, oder eine Einschätzung der Zuverlässigkeit seiner Outputs anbieten. Weiterhin ist es kritisch, klare Richtlinien zu etablieren, welche Daten mit dem Modell geteilt werden dürfen, besonders um sensible Informationen wie Personalinformationen zu schützen. Im öffentlichen Dienst gibt es unterschiedliche Schutzniveaus; die KI-Nutzung kann durch eine Richtlinie für den Gebrauch bei Dokumenten auf unteren Schutzniveaus gestattet werden.
Ein integraler Bestandteil des souveränen Umgangs ist das regelmäßige Einholen und Berücksichtigen von Nutzerfeedback. Dies fördert nicht nur die stetige Verbesserung der Modelle, sondern stärkt auch das Vertrauen der Anwendenden in die Technologie. Durch kontinuierliche Anpassungen und Updates können die Modelle besser auf die spezifischen Bedürfnisse und Herausforderungen der Nutzenden abgestimmt werden, was die Effektivität und Akzeptanz der Technologie weiter erhöht.
8.4.4 Integrität: Regulierung und Zertifizierung
Wenn eine neue LLM-Anwendung konzipiert wird, schreibt der AI Act eine Prüfung vor, in welche Risikokategorie ein Sprachmodell fällt. Chatbots für Kundenanfragen in Onlineshops sind ein Beispiel für minimales Risiko. Mit geringem Risiko verknüpft ist ein Modell, das Textinhalte für Nachrichtenportale generiert. Beispiele für hohes Risiko sind Sprachmodelle, die in der öffentlichen Verwaltung für Entscheidungsfindungsprozesse genutzt werden, beispielsweise zur Prüfung von Anträgen auf staatliche Leistungen. Sprachmodelle, die zur Überwachung von Mitarbeitenden eingesetzt werden, haben ein unakzeptables Risiko und sind verboten.
Die Kategorisierung startet mit einer Selbsteinschätzung durch die Entwickler und Entwicklerinnen des LLM-Systems. Dazu gehört eine Analyse der Funktionen und Einsatzgebiete des Systems sowie der Art von Interaktionen und Entscheidungen, die das System beeinflussen. In die Prüfung fließt auch mit ein, inwieweit sensible oder personenbezogene Informationen verarbeitet wurden. Basierend auf den Ergebnissen wählen die Entwickler die geeignete Risikokategorie aus.
Für LLM-Anwendungen, die ein hohes Risiko beinhalten, erfolgt eine Prüfung der Selbsteinschätzung durch eine Regulierungsbehörde. Wird das KI-System als konform mit der Risikokategorie eingestuft, kann eine Zertifizierung notwendig sein, um es auf den Markt zu bringen. Es gelten strenge Anforderungen für KI-Systeme mit hohem Risiko, die Qualität, Sicherheit und Transparenz gewährleisten. Sie erfordern umfassende Qualitätsmanagement- und Datenverwaltungssysteme, detaillierte technische Dokumentationen für Audits und durchgehende menschliche Aufsicht. Die Systeme müssen auch eine Konformitätsbewertung bestehen und werden post-market überwacht, um Compliance zu gewährleisten und Vorfälle zu melden. Cybersecurity-Maßnahmen sind essenziell, um die Systemintegrität zu schützen und Bias in lernenden Modellen zu verhindern (Europäische Kommission, 2023).
Während eIDAS klare Vorgaben für die Transparenz von Vertrauensdiensten macht, könnte ein analoger Regulierungsansatz nach dem AI Act Entwickler und Anbieter von LLMs verpflichten, umfassende Informationen über die Arbeitsweise, die Trainingsdaten und die Entscheidungsprozesse ihrer Modelle offenzulegen. Damit könnten Nutzende und Regulierungsbehörden besser verstehen, wie Entscheidungen getroffen werden, und sicherstellen, dass diese Prozesse frei von Voreingenommenheit sind.
8.5 Ausblick
Da KI-Systeme immer tiefer in alle Lebensbereiche vordringen, nimmt Vertrauen mit all seinen Dimensionen eine immer wichtigere Rolle ein. Die Entwicklung schreitet rasant voran, insbesondere im Bereich der Sprachmodelle. Jeden Tag erscheinen neue Forschungsergebnisse, wie die Performance von LLMs noch verbessert werden kann und auf welche weiteren Nutzungskontexte sich Funktionen ausweiten lassen. Die Sicherstellung von Vertrauen in KI-Systeme erfordert, dass diese nachvollziehbar, korrekt, datensicher und souverän agieren. Daran richtet sich auch die KI-Strategie der Bundesdruckerei aus.
Ein besonders interessantes Feld sind die multimodalen Modelle, die den Wechsel zwischen verschiedenen Kommunikationskanälen ermöglichen. Denkbares Szenario: Eine Mitarbeiterin erhält ein umfangreiches Textdokument mit der Bitte um Stellungnahme. Dieses lässt sie sich zusammenfassen und als kurzen Podcast auf dem Weg zur Arbeit wiedergeben. Inspiriert durch die Zusammenfassung gibt sie dem Modell mündlich eine Idee für eine Darstellung, und das Modell erstellt eine ansprechende Grafik.
Mit den Möglichkeiten von KI-Systemen nehmen auch Risiken und Gefahren zu. Daher sollten Vertrauensmaßnahmen stets mitbedacht werden: Wie können Menschen einem KI-System vertrauen? Welche Maßnahmen sind während der Entwicklung und Überwachung des Modells im Echtzeitbetrieb notwendig?
Ein wichtiger Indikator bei der Evaluation von KI-Modellen ist, wie die technische Performance noch verbessert werden kann. Ebenso sollte Vertrauen als messbares Kriterium herangezogen werden. Messbar wird Vertrauen durch verschiedene Maßnahmen. Am wichtigsten ist das systematische Einholen von Nutzerfeedback. Mit diesen Einsichten kann das Vertrauen in das KI-System kontinuierlich verbessert werden.
Mit technischen Innovationen und Durchbrüchen ergeben sich neue Herausforderungen für das Vertrauen in Künstliche Intelligenz: Quantencomputer steigern die Performance von KI-Systemen durch neuartige Rechenfähigkeiten (siehe Kapitel 12). KI-Systeme werden in der Lage sein, noch komplexere Aufgaben in kürzerer Zeit und mit größeren Datenmengen zu verarbeiten. Mit Quantentechnologie lernen KI-Systeme immer schneller, und für den Menschen wird es bei komplexeren Modellen immer schwieriger, Entscheidungen nachzuvollziehen. Hier braucht es innovative Ansätze, um sicherzustellen, dass auch bei Verwendung von Quantentechnologie die Arbeitsweise von KI-Systemen für die Nutzenden nachvollziehbar und kontrollierbar bleibt.
Open Access Dieses Kapitel wird unter der Creative Commons Namensnennung - Nicht kommerziell - Keine Bearbeitung 4.0 International Lizenz (http://creativecommons.org/licenses/by-nc-nd/4.0/deed.de) veröffentlicht, welche die nicht-kommerzielle Nutzung, Vervielfältigung, Verbreitung und Wiedergabe in jeglichem Medium und Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle ordnungsgemäß nennen, einen Link zur Creative Commons Lizenz beifügen und angeben, ob Änderungen vorgenommen wurden. Die Lizenz gibt Ihnen nicht das Recht, bearbeitete oder sonst wie umgestaltete Fassungen dieses Werkes zu verbreiten oder öffentlich wiederzugeben.
Die in diesem Kapitel enthaltenen Bilder und sonstiges Drittmaterial unterliegen ebenfalls der genannten Creative Commons Lizenz, sofern sich aus der Abbildungslegende nichts anderes ergibt. Sofern das betreffende Material nicht unter der genannten Creative Commons Lizenz steht und die betreffende Handlung nicht nach gesetzlichen Vorschriften erlaubt ist, ist auch für die oben aufgeführten nicht-kommerziellen Weiterverwendungen des Materials die Einwilligung des jeweiligen Rechteinhabers einzuholen.
Basel, et al. (2024). Vertrauen, ein anwendungsorientierter und interdiszplinärer Überblick. In Basel & Henrizi (Hrsg.), Psychologie von Risiko und Vertrauen. Springer.CrossRef
EIDAS. (2014). Regulation: Regulation (EU) No 910/2014 of the European Parliament and of the Council of 23 July 2014 on electronic identification and trust services for electronic transactions in the internal market and repealing Directive 1999/93/EC. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=uriserv:OJ.L_.2014.257.01.0073.01.ENG. Zugegriffen am 18.04.2024.
Lu, Q., et al. (2023). Reponsible AI: Best practice for creating trustworthy AI systems. Addison-Wesley.
Luhmann. (2014). Vertrauen – Ein Mechanimus der Reduktion sozialer Komplexität (5. Aufl.). UVK Verlagsgesellschaft, Konstanz.CrossRef
Malej, et al. (2024). The AI Index 2024 Annual Report. AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, April 2024. https://aiindex.stanford.edu/report/. Zugegriffen am 26.04.2024.
Mayer, et al. (1995). An integrative Model of organizational trust. Academy of Management Review, 20, 709–734.CrossRef
Oswald (2006). Vertrauen in Personen und Organisationen. In Bierhoff & Frey (Hrsg.), Handbuch der Sozialpsychologie und Kommunikationspsychologie (1. Aufl.). Hogrefe.
