Risikoanalyse Künstliche Intelligenz
- 2026
- Buch
- Herausgegeben von
- Maximilian Wanderwitz
- Verlag
- Springer Berlin Heidelberg
Über dieses Buch
Das Buch illustriert die facettenreiche Komplexität der KI-Risiken. Denn Anwendungen Künstlicher Intelligenzen reichern zunehmend unzählige Lebensbereiche an, was zu mannigfaltigen und immer neuen Ausformungen dieser Technologie führt – und damit einhergehend zu vielschichtigen Risikoaspekten und Risikolagen. Deshalb stammen die Autoren dieses Buches aus unterschiedlichsten fachlichen Sphären und beleuchten das Thema aus ihrer jeweils ganz eigenen Sachexpertise. Behandelt wird die KI in einzelnen Sektoren, namentlich im justiziellen, sicherheitsbehördlichen, medizinischen sowie psychologisch-therapeutischen Bereich. Die KI-Technologie selbst wird anhand ihrer Halluzinationen sowie der synthetischen Kommunikation zwischen Künstlichen Intelligenzen thematisiert. Dargestellte Möglichkeiten der KI-Risikomitigation umfassen die außerstaatliche Regelsetzung ebenso wie das Konzept eines Computerprogramms, das Verhaltensweisen von Künstlichen Intelligenzen überwachen soll. Das Verhältnis des Menschen zur KI ist Thema von Untersuchungen zu autonomen Künstlichen Intelligenzen und menschlichem Entscheidungshandeln. Risiken der KI-Regulierung wiederum liegen einer Untersuchung des Spannungsverhältnisses von AI-Act und der geostrategischen Wettbewerbsfähigkeit Europas zugrunde. Der Begriff der Cyberresilienz wird im Lichte der Künstlichen Intelligenz ergänzt um einen proaktiven und präventiven Begriff der Cybervigilanz. In ethischer Hinsicht wird das strukturelle Verhältnis von Bias, Diskriminierung und Fairness analysiert, eine umfassende weltanschaulich-religiöse Risikoperspektive entwickelt sowie die Prägung unserer moralisch-normativen Einstellungen durch synthetische KI-Realitäten untersucht. Durch all dies entsteht ein aufgefächerter Blick auf mannigfaltige Problemlagen, was bei der Leserschaft ein umfassendes und ganzheitliches Begreifen ermöglicht.
Inhaltsverzeichnis
-
Frontmatter
-
Theorie und Ethik
-
Frontmatter
-
1. Die normative Kraft des synthetischen Faktischen
Maximilian WanderwitzIn diesem Kapitel wird die normative Kraft des Faktischen, wie sie von Georg Jellinek beschrieben wurde, mit der synthetischen Faktizität durch KI-generierte Inhalte und Technologien verbunden. Es wird untersucht, wie diese synthetische Faktizität normative Kraft entfalten kann und welche Risiken daraus entstehen können. Der Text beginnt mit einer Erklärung der normativen Kraft des Faktischen im Sinne Jellineks, gefolgt von einer Darstellung der normativen Kraft des synthetischen Faktischen. Es werden verschiedene synthetische Technologien wie humanoide Roboter, Deepfakes, Augmented Reality und Virtual Reality sowie synthetische Daten und ihre Erzeugung durch statistische und Simulationsansätze vorgestellt. Anschließend wird die normative Kraftentfaltung synthetischer Faktizität anhand von Persuasive Technology, Automation Bias und KI-Psychose erläutert. Abschließend werden die Risiken der Entkopplung des Synthetischen vom Realen und mögliche Gegenmaßnahmen wie Kopplungsgebote diskutiert. Der Text bietet eine umfassende Analyse der normativen Kraft des synthetischen Faktischen und der damit verbundenen Herausforderungen und Risiken.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDas Kapitel beleuchtet die Prägung unserer normativen und moralischen Einstellungen durch artifizielle Wirklichkeitsebenen, die von Künstlichen Intelligenzen konstituiert werden. Hierzu wird das Konzept der normativen Kraft des Faktischen von Georg Jellinek zunächst dargestellt und sodann auf die durch Künstliche Intelligenzen generierte Ebene des Synthetischen übertragen. Hierbei wird zum einen der Begriff einer synthetischen Faktizität eingeführt und zum anderen deren normative Kraftentfaltung illustriert. Im Rahmen der sich anschließenden Risikobewertung werden zunächst die Risiken einer Entkopplung des Synthetischen vom Realen thematisiert und sodann zwei Kopplungsgebote formuliert, die solchen Risiken entgegenwirken können. Das Kapitel schließt mit dem Begriff des Automation-Bias-Dilemmas. -
2. Die Dualität des KI-Risikoeffekts Verzerrung – zum strukturellen Verhältnis von Bias, Diskriminierung und Fairness im Lichte der Künstlichen Intelligenz
Maximilian Wanderwitz, Francesca HeppDer Fachbeitrag untersucht die Dualität des KI-Risikoeffekts Verzerrung und analysiert das strukturelle Verhältnis von Bias, Diskriminierung und Fairness im Kontext Künstlicher Intelligenz. Es werden die verschiedenen Biasvarianten und deren Ursachen detailliert dargestellt, darunter Aggregation Bias, Algorithmic Bias, Evaluation Bias, Historical Bias, Measurement Bias und Representation Bias. Der Beitrag beleuchtet auch die unterschiedlichen Diskriminierungsvarianten und deren Ursachen, einschließlich direkter und indirekter Diskriminierung sowie systemischer und statistischer Diskriminierung. Ein weiterer Schwerpunkt liegt auf den verschiedenen Fairnesskategorien und -varianten, wie Group Fairness, Individual Fairness, Separation Metrics, Treatment Equality und Counterfactual Fairness. Abschließend wird die Struktur der Dualität des KI-Risikoeffekts Verzerrung skizziert und die Bedeutung der Fairness für die Mitigation moralisch verwerflicher Diskriminierung hervorgehoben. Der Beitrag bietet eine umfassende Analyse der komplexen Zusammenhänge und liefert wertvolle Einblicke in die ethischen und praktischen Herausforderungen der KI-Entwicklung und -Nutzung.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDas Kapitel illustriert den dualen Charakter des KI-Risikoeffekts Verzerrung. Hierzu wird das strukturelle Verhältnis der Begriffe Bias, Diskriminierung und Fairness im Lichte der Künstlichen Intelligenz untersucht. Dabei zeigt sich zunächst, dass diese Begriffe eine Dualität bilden, deren negativer Pol aus Bias und Diskriminierung besteht, deren positiver Pol hingegen die Fairness beinhaltet. Die Diskriminierung nunmehr bildet eine Schnittstelle zwischen Bias und Fairness, denn sie ist weder Quelle einer Ungleichbehandlung, noch vermag sie eine solche moralisch zu bewerten. Vielmehr ist der Bias die Ursache der Ungleichbehandlung, wohingegen die Fairness die moralischen Kriterien dafür liefert, diese als moralisch gerechtfertigt oder moralisch verwerflich einzuordnen. Nur im Verbund dieser drei Elemente vervollständigt sich diese Dualität des KI-Risikoeffekts Verzerrung und wird restlos verstehbar. -
3. Von Resilienz zu Vigilanz. Über die Verantwortung von Maschinen
Christian HummertIn diesem Kapitel wird die Verantwortung von Maschinen im Kontext von Künstlicher Intelligenz (KI) diskutiert. Es wird zwischen Resilienz und Vigilanz unterschieden, wobei Resilienz die Fähigkeit eines Systems beschreibt, sich trotz Störungen selbst aufrechtzuerhalten, während Vigilanz die Wachsamkeit und Sorgfalt umfasst. Der Text beleuchtet die Bedeutung dieser Begriffe für den Umgang mit KI, insbesondere in Bereichen wie Medizin, Cybersicherheit und Gesichtserkennung. Ein zentrales Thema ist die Delegation von Aufgaben an KI-Systeme und die damit verbundenen ethischen und gesellschaftlichen Herausforderungen. Der Autor diskutiert auch die Rolle von KI in kriegerischen Auseinandersetzungen und die Notwendigkeit einer regulierten Nutzung. Abschließend wird die Frage aufgeworfen, wie die Menschheit die Verantwortung für KI-Systeme tragen kann und welche Technologien wie Gehirn-Computer-Schnittstellen dabei helfen könnten, die Vigilanz zu stärken. Der Text bietet eine umfassende Analyse der aktuellen Entwicklungen und Herausforderungen im Bereich der Künstlichen Intelligenz und regt dazu an, über die zukünftige Rolle von Maschinen in unserer Gesellschaft nachzudenken.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungUm sich dem verantwortungsvollen Umgang mit Künstlicher Intelligenz (KI) zu nähern, werden die Begriffe Resilienz und Vigilanz eingeführt. Resilienz ist ein moderner Terminus, der in vielen Bereichen verlangt wird. Das vorliegende Kapitel führt den seltener verwendeten Terminus der Vigilanz ein und entwickelt beide Begriffe zu Cyberresilienz und Cybervigilanz weiter. Dabei zeigt sich auf der einen Seite, dass der Einsatz von KI für cybervigilante IT-Systeme unverzichtbar ist. Auf der anderen Seite fordert der massenhafte und nur schwach regulierte Einsatz von KI von uns ein vigilantes Verhalten gegenüber der KI ein. Das wird an aktuellen Beispielen, wie Robojudges („KI als Richter“) oder KI-gesteuerten Waffensystemen gezeigt. Neben der Notwendigkeit eines vigilanten Verhaltens werden auch mögliche Auswege aus dem Dilemma beschrieben. -
4. Künstliche Intelligenz – Eine ethische Risikoperspektive
Dieter BuddeDer Fachbeitrag untersucht die ethischen Risiken und Herausforderungen der Künstlichen Intelligenz (KI) und deren Auswirkungen auf Gesellschaft und Individuum. Es werden die grundlegenden ethischen Prinzipien wie Autonomie, Freiheit, Menschenwürde und Menschenrechte analysiert. Der Text beleuchtet verschiedene philosophische Theorien und glaubensfundierte Ethiken, die als Grundlage für die Bewertung von KI dienen können. Zudem werden die Risiken und möglichen Auswirkungen von KI auf das Individuum und die Gesellschaft detailliert dargestellt. Abschließend werden Lösungsansätze und ethische Rahmenbedingungen für die Entwicklung und Anwendung von KI diskutiert. Der Beitrag bietet eine umfassende und detaillierte Analyse der ethischen Implikationen von KI, die sowohl philosophische Theorien als auch glaubensfundierte Ethiken berücksichtigt. Er bietet eine breite Perspektive auf die Auswirkungen von KI auf Individuum und Gesellschaft und diskutiert Lösungsansätze und ethische Rahmenbedingungen für die Entwicklung und Anwendung von KI.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungIn diesem Kapitel werden die wesentlichen Aspekte von Ethik und Moral im Hinblick auf die Risiken der Künstlichen Intelligenz (KI) diskutiert. Im Rahmen der Untersuchung werden zunächst die Auswirkungen der KI auf Gesellschaft und Individuum, die Bedeutung der ermittelten und angewendeten Daten, die Relevanz von Computern, Netzwerken, Informatik, Internet und Cyber sowie der Einfluss von KI auf die Gesellschaft analysiert. Die Grundlagen der ethischen und moralischen Bewertungen bilden die Kategorien Ethik, Moral, Werte, Autonomie, Freiheit, Menschenwürde, Menschenrechte, Gleichheit, Gerechtigkeit und Verantwortung. Für eine Bewertung sind weitere Elemente von Relevanz, zu denen philosophische Theorien und Ethiken wie Deontologie, Tugendethik, Utilitarismus, Konfuzianismus und Buddhismus sowie glaubensfundierte Ethiken wie Christentum, Judentum, Islam, Hinduismus und Atheismus zählen. Die Entwicklung und Nutzung von KI bergen potenziell ethische und moralische Risiken. Im Folgenden werden die Risiken und Auswirkungen auf das Individuum, die Gesellschaft und das Militär dargelegt. Im Rahmen der ethischen Risikoprävention erfolgt die Darstellung von Normen, Regeln und Leitfäden. Das vorliegende Kapitel untersucht die ethischen Implikationen von Künstlicher Intelligenz (KI) unter Zuhilfenahme tabellarischer ethischer Bewertungsschemata sowie anhand von Fallbeispielen wie Knieoperationen, der Steuerung von Stromnetzen, vollautomatischer Kampfdrohnen und Cyborgs. Die Analyse erfolgt mithilfe grafischer Darstellungen. Des Weiteren werden Bewertungskriterien für die Dimensionen Mensch und Gesellschaft, Philosophie und Religion sowie KI und Technik dargelegt. Zur Minimierung des Risikos einer KI sowie zur Einhaltung ethischer und moralischer Normen, Werte und Regeln, wurde ein Fragenkatalog entwickelt. Die aufgeworfenen Fragestellungen lassen sich auf die praktische Anwendung von KI übertragen. Dieser Prozess ermöglicht die Evaluierung der Grenzen und Möglichkeiten von KI. -
5. Das Spannungsverhältnis von EU AI Act und geostrategischer Wettbewerbsfähigkeit Europas
Diane Robers, Bernard B. BråtenDer Fachbeitrag beleuchtet das Spannungsverhältnis zwischen dem EU AI Act und der geostrategischen Wettbewerbsfähigkeit Europas. Künstliche Intelligenz (KI) wird als Schlüsseltechnologie betrachtet, die Wirtschaft, Politik und Gesellschaft transformiert. Der EU AI Act zielt darauf ab, Risiken zu minimieren und Innovationen zu fördern, steht jedoch vor Herausforderungen wie Bürokratie und globalem Wettbewerb. Europa muss seine digitale Souveränität stärken, um im globalen Wettbewerb mit den USA und China mitzuhalten. Der Beitrag analysiert die regulatorischen Ansätze der drei Wirtschaftsblöcke und zeigt auf, wie Europa durch gezielte Maßnahmen seine Position im KI-Sektor verbessern kann. Besonders betont wird die Notwendigkeit einer risikobasierten Regulierung, die Innovation fördert, ohne Sicherheitsstandards zu opfern. Zudem werden die wirtschaftlichen und geopolitischen Implikationen der KI-Regulierung diskutiert, einschließlich der Auswirkungen auf die Wettbewerbsfähigkeit und die digitale Souveränität Europas. Der Beitrag schließt mit einem Ausblick auf notwendige Maßnahmen, um Europas Position im globalen KI-Wettbewerb zu stärken.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDer Beitrag untersucht das Zusammenspiel zwischen dem risikobasierten Regulierungsrahmen des EU AI Act und der geostrategischen Wettbewerbsfähigkeit Europas im globalen KI-Wettbewerb. Künstliche Intelligenz (KI) gilt als wichtige Schlüsseltechnologie mit großem Potenzial für Effizienz, Innovation und Wachstum. Die Wettbewerbslage bei der Entwicklung von digitalen Technologien und Geschäftsmodellen zeigt die besondere Herausforderung für die zukünftige Aufstellung in Europa auf. Vor dem Hintergrund des Systemdesigns adaptiver Regulierung, wird der EU AI Act als risikobasiertes Regelwerk mit besonderem Fokus auf Wettbewerbsfähigkeit aber auch hinsichtlich der Schaffung eines fairen Marktes mit innovationsförderlichen Komponenten betrachtet. Die politischen Strategien zur Regulierung von Künstlicher Intelligenz unterscheiden sich in der Balance zwischen Innovation und Risikominimierung. Ein Vergleich der EU mit den USA und China zeigt unterschiedliche Schwerpunkte: Innovationsfreiheit, Ethik- und Datensouveränität bzw. staatliche Lenkung. Abschließend formuliert der Beitrag einen Fünf-Punkte-Call-to-Action für die EU: differenzierte Aufsichtspraxis für KMU, rasche Einrichtung von AI-Sandboxes, paneuropäische Finanzierungsmechanismen, internationale Normharmonisierung sowie Einbezug der Quantentechnologie. Nur so kann Europa seine digitale Souveränität stärken und im globalen Wettbewerb eine führende Rolle einnehmen.
-
-
KI-Technologien
-
Frontmatter
-
6. Wesen und Risiken synthetischer KI-Interaktionen
Matthias Memmesheimer Mainz, Maximilian WanderwitzIn diesem Kapitel wird das Wesen und die Risiken synthetischer KI-Interaktionen untersucht. Synthetische Daten, die von KI-Systemen generiert werden, können selbst wieder Gegenstand von KI-Verarbeitung sein, was mit verschiedenen Risiken verbunden ist. Der Text analysiert unterschiedliche Konstellationen, bei denen synthetische Daten von KI-Systemen verwendet werden, einschließlich der Verwendung als Trainingsdaten, einfacher und komplexer Verarbeitungsketten sowie selbstlernender Systeme. Ein zentraler Fokus liegt auf der Untersuchung von Fehlerhaftigkeiten in algorithmischen und synthetischen Verarbeitungsketten. Es wird gezeigt, wie sich Fehler in solchen Ketten fortsetzen und welche Auswirkungen sie haben können. Zudem werden die Besonderheiten synthetischer Verarbeitungsketten, wie die Möglichkeit von Datenverzerrungen und die Schwierigkeit exakter Ergebnisprognosen, detailliert erläutert. Der Text diskutiert auch die Rolle menschlicher Feedback-Mechanismen und autonom lernender KI-Systeme zur Risikominderung. Abschließend werden die Vor- und Nachteile synthetischer Daten sowie die Notwendigkeit technischer und organisatorischer Kontrollmechanismen hervorgehoben. Das Kapitel bietet einen umfassenden Überblick über die Herausforderungen und Lösungsansätze im Umgang mit synthetischen KI-Interaktionen und zeigt auf, wie diese Technologien sicher und effektiv eingesetzt werden können.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDas Kapitel beleuchtet den Begriff der synthetischen Daten sowie Erscheinungsformen der hierauf aufbauenden synthetischen Verarbeitungsketten und bewertet die damit zusammenhängenden Risiken. Zunächst werden die Unterschiede zwischen algorithmischen und synthetischen Verarbeitungsketten, bei denen KI-Systeme im Verbund und nacheinander agieren, illustriert. Sodann wird vertieft auf den Begriff der synthetischen Daten eingegangen und hierbei deren Verwendung als KI-Trainingsdaten thematisiert. Anschließend werden drei Arten von synthetischen Verarbeitungsketten dargestellt, namentlich einfache synthetische Verarbeitungsketten, synthetische Verarbeitungsketten mit menschlichem Feedback sowie selbst lernende synthetische Verarbeitungsketten. Risikoaspekte werden implizit im Rahmen der einzelnen Themenaspekte adressiert und erörtert. -
7. Wenn KI träumt – Halluzinationen als Risikoaspekt Künstlicher Intelligenzen
Klaus MeffertIn diesem Kapitel wird das Phänomen der Halluzinationen in Künstlicher Intelligenz (KI) untersucht. Es wird erklärt, wie KI-Systeme durch die Verarbeitung von semantischen Vektoren falsche Antworten erzeugen können, obwohl sie auf korrektem Faktenwissen basieren. Die Entstehung von Halluzinationen wird detailliert beschrieben, wobei die Rolle von künstlichen neuronalen Netzen und der Transformer-Ansatz hervorgehoben werden. Der Text analysiert verschiedene Arten von Halluzinationen, wie faktische, konzeptuelle, Quellen- und logische Halluzinationen, und zeigt auf, wie diese zu falschen Entscheidungen führen können. Zudem werden die Risiken von Halluzinationen in verschiedenen Anwendungsbereichen, wie Bildverarbeitung, Videoanalyse und Agentensystemen, diskutiert. Abschließend wird eine Risikobewertung vorgenommen, die die potenziellen negativen Auswirkungen von KI-Halluzinationen aufzeigt. Das Kapitel bietet einen umfassenden Überblick über die Funktionsweise von KI-Modellen und die Herausforderungen, die mit Halluzinationen verbunden sind.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungSysteme der Künstlichen Intelligenz erzeugen gelegentlich Antworten, die als Halluzinationen bezeichnet werden. Halluzinationen sind unzutreffende Informationen, die durch unerwünschte Kombination von korrektem Hintergrundwissen entstehen. Im Kapitel „Wenn KI träumt“ wird dieses Phänomen aus technischer Sicht näher betrachtet. Eine Risikobetrachtung stellt mögliche Gefahren dar, die von Halluzinationen ausgehen können.
-
-
Autonomie und Entscheidungen
-
Frontmatter
-
8. Die Bedeutung von Unsicherheitsmodellierung für KI-Entscheidungsprozesse von autonomen Systemen
Christoph SteupIn diesem Fachbeitrag wird die Bedeutung der Unsicherheitsmodellierung für autonome Systeme untersucht, insbesondere im Kontext von KI-Entscheidungsprozessen. Es wird die Notwendigkeit einer unsicherheitsbewussten Datenpipeline betont, um die Zuverlässigkeit und Sicherheit in dynamischen Umgebungen zu gewährleisten. Der Text diskutiert die Herausforderungen der Funktionalen Sicherheit und die Notwendigkeit von standardisierten Regularien für autonome Systeme. Es werden verschiedene Ansätze zur Unsicherheitsmodellierung vorgestellt, darunter die Bayesianische Fusion und PyramidEnsembles, die dazu beitragen, die Robustheit und Genauigkeit von KI-Modellen zu verbessern. Zudem wird die Bedeutung von hochwertigen und vielfältigen Trainingsdaten für die Weiterentwicklung autonomer Systeme hervorgehoben. Der Beitrag schließt mit der Feststellung, dass die Standardisierung und Normierung von Trainingsdaten sowie eine Verpflichtung zu Open Data entscheidend für die zukünftige Entwicklung autonomer Systeme sind.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDer Artikel beleuchtet die zentralen Herausforderungen und Lösungsansätze für autonome Fahr- und Drohnensysteme mit besonderem Schwerpunkt auf regulatorischen, technischen und datenbezogenen Aspekten. Er zeigt, dass klare und standardisierte Regularien essenziell sind, um Sicherheitsstandards, Haftungsfragen, Datenzugänge und Systeminteroperabilität zu gewährleisten. Technisch wird auf die Schwierigkeiten bei der Verifizierung und Validierung von KI-Modellen eingegangen, insbesondere aufgrund unvorhersehbarer Szenarien und mangelnder Transparenz in Entscheidungsprozessen. Als Lösungsansätze werden die Modellierung von Unsicherheiten, die Bayesianische Fusion zur Datenintegration sowie PyramidEnsembles zur Erhöhung der Modellrobustheit vorgestellt. Diese Methoden verbessern die Fähigkeit autonomer Systeme, Unsicherheiten zu quantifizieren und präzisere Entscheidungen zu treffen. Zudem wird der Mangel an hochwertigen und standardisierten Trainingsdaten als zentrales Hindernis identifiziert. Der Artikel plädiert für eine Standardisierung und Öffnung von Daten, um die Qualität von KI-Modellen zu steigern und die Zusammenarbeit zwischen Forschung und Industrie zu fördern. -
9. Wenn die KI mitentscheidet – ein praxisnahes Bewertungskonzept für datenbasierte Smart City Technologien als Grundlage für besseres Verständnis und transparente Kommunikation
Julia Mayer, Martin MemmelDas Kapitel widmet sich der Analyse kommunaler Entscheidungstypologien und datenbasierter Decision Support Systems (DSS) im Kontext der Smart City. Es wird ein Bewertungsschema entwickelt, das sowohl Potenziale als auch Risiken dieser Systeme berücksichtigt. Vier konkrete Projekte aus der DACH-Region werden anhand dieses Schemas untersucht und beschrieben. Das Kapitel betont die Bedeutung von Transparenz, ethischen Überlegungen und rechtlichen Rahmenbedingungen bei der Implementierung und Nutzung von DSS. Es wird gezeigt, wie diese Systeme die Qualität und Transparenz von Entscheidungsprozessen fördern können, und welche Herausforderungen dabei zu beachten sind. Abschließend wird die Notwendigkeit einer reflektierten, verantwortungsbewussten und transparenten Nutzung digitaler Entscheidungssysteme betont, deren Auswirkungen potenziell alle Einwohnenden betreffen.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDer zunehmende Einsatz datenbasierter Entscheidungsunterstützungssysteme (Decision Support Systems, DSS) im Kontext smarter Städte bietet vielfältige Potenziale zur Effizienzsteigerung, Transparenzförderung und verbesserten Informationsaufbereitung in kommunalen Entscheidungsprozessen. Gleichzeitig werfen solche Systeme grundlegende rechtliche, ethische und soziale Fragen auf, insbesondere im Hinblick auf Diskriminierungsrisiken, fehlende Nachvollziehbarkeit und Verantwortungsdiffusion. Vor diesem Hintergrund präsentiert das Kapitel ein praxisnahes, merkmalsbasiertes Bewertungsschema zur systematischen Einordnung datengetriebener Smart-City-Technologien. Ziel ist es, sowohl technische als auch nicht-technische Merkmale wie Problemkomplexität, Automatisierungsgrad, zeitliche Relevanz, Reversibilität oder Transparenz zu erfassen und damit eine interdisziplinär anschlussfähige Bewertungsgrundlage zu schaffen. Aufbauend auf einer theoretischen Auseinandersetzung mit kommunalen Entscheidungstypologien und der Rolle hybrider Entscheidungsformen (Mensch-Maschine-Interaktion) werden 14 zentrale Merkmalsdimensionen identifiziert und anhand existierender Smart-City-Projekte aus der DACH-Region empirisch angewendet. Die Bandbreite reicht von prädiktiver Ampelsteuerung über KI-gestütztes Straßenmanagement bis zur algorithmischen Fördermittelvergabe. Die Analyse zeigt: Eine fundierte Bewertung erfordert niederschwellige, zugleich strukturierte Bewertungsansätze, die auch ohne tiefgehendes technisches Wissen anwendbar sind. Das Kapitel richtet sich an Praktiker:innen aus Verwaltung und Politik, an Entwickler:innen und Forschende mit Interesse an partizipativer Technikgestaltung sowie an alle, die Entscheidungsprozesse in der Smart City kritisch reflektieren und gestalten wollen. Der Beitrag leistet einen konzeptionellen und methodischen Impuls für den verantwortungsbewussten Einsatz algorithmischer Systeme im kommunalen Raum und unterstreicht die Notwendigkeit einer kontinuierlichen interdisziplinären Auseinandersetzung mit deren Wirkungslogiken, Grenzen und Gestaltungsräumen.
-
-
Risikomitigation
-
Frontmatter
-
10. Bewältigung der Risiken von KI durch außerstaatliche Regelsetzung
Filiz Elmas-Arslan, Amelie LeipprandDer Fachbeitrag beleuchtet die zentrale Rolle von Normen und Standards bei der Bewältigung der Risiken von Künstlicher Intelligenz (KI). Er erklärt die Bedeutung der außerstaatlichen Regelsetzung, insbesondere der technischen Normung und Standardisierung, und zeigt auf, wie diese Prozesse funktionieren und welche Akteure daran beteiligt sind. Ein Schwerpunkt liegt auf der Deutschen Normungsroadmap KI, die im Auftrag des Bundesministeriums für Wirtschaft und Klimaschutz erarbeitet wurde. Diese Roadmap gibt einen umfassenden Überblick über bestehende Normen, laufende Normungsaktivitäten und identifizierte Bedarfe im Bereich KI. Der Beitrag diskutiert auch die Zusammenarbeit zwischen staatlicher und außerstaatlicher Regelsetzung, insbesondere im Kontext des europäischen AI-Acts. Es wird aufgezeigt, wie Normen und Standards dazu beitragen können, Vertrauen und Markterfolg zu fördern, und wie sie als Werkzeug für die Umsetzung regulatorischer Vorgaben dienen. Abschließend wird die Bedeutung der Normung für die Zukunft der KI-Technologie und die Notwendigkeit einer aktiven Beteiligung von Unternehmen und Experten betont.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungNormen und Standards sind entscheidende Bausteine für den vertrauenswürdigen und innovationsfreundlichen Einsatz von Künstlicher Intelligenz. Die Deutsche Normungsroadmap KI hat sich als wirksames Instrument etabliert, um regulatorische, technische und gesellschaftliche Anforderungen systematisch zu erfassen und in konkrete Normungsaktivitäten zu überführen. Sie demonstriert, wie ein partizipativer Prozess mit breiter fachlicher Beteiligung tragfähige und wirkungsvolle Beiträge zur europäischen und internationalen Standardisierung hervorbringen kann. Mit dem Inkrafttreten des AI Acts gewinnt die Bedeutung von Normen weiter an Gewicht – sie übersetzen gesetzliche Anforderungen in praktische Umsetzungswege. Für Unternehmen, insbesondere den Mittelstand, bieten sich dadurch vielfältige Chancen, die Zukunft der KI aktiv mitzugestalten und sich frühzeitig auf neue Herausforderungen vorzubereiten. Normung wird somit zum strategischen Instrument europäischer Technologiepolitik, das Werteorientierung, Wettbewerbsfähigkeit und globale Anschlussfähigkeit vereint. -
11. Automating Lifecycle Compliance: A Continuous Assessment Framework for High-Risk and GPAI Obligations in the EU AI Act
Dorian Knoblauch, Jürgen GroßmannDer Fachbeitrag behandelt die Umsetzung der EU-KI-Verordnung, insbesondere die lebenslange Compliance für Hochrisiko-KI-Systeme und allgemeine KI-Modelle mit systemischem Risiko. Er unterscheidet zwischen systemischem Risiko und Hochrisiko und erläutert die jeweiligen regulatorischen Implikationen. Der Beitrag stellt den Continuous Auditing-Based Conformity Assessment (CABCA) Rahmen vor, der die Compliance durch Automatisierung und lebenslange Überwachung sicherstellt. CABCA integriert Systemebenen- und Modellebenen-Audit-Trails in eine einheitliche, maschinenlesbare Konformitäts-Pipeline. Der Beitrag beschreibt die Kernverpflichtungen für Hochrisiko-KI-Systeme, einschließlich Risikomanagement, technischer Dokumentation, Qualitätsmanagementsystemen und Nachmarktüberwachung. Zudem werden die Kernverpflichtungen für allgemeine KI-Modelle mit systemischem Risiko behandelt, wie Modellbewertung, Risikobewertung und -minderung, Vorfallverfolgung und -meldung, Cybersicherheit und technische Dokumentation. Der Beitrag zeigt, wie CABCA diese Verpflichtungen erfüllt und die Compliance für Anbieter von Hochrisiko-KI-Systemen und allgemeinen KI-Modellen mit systemischem Risiko vereinfacht und effizienter gestaltet. Abschließend wird die Bedeutung von CABCA für die Einhaltung der EU-KI-Verordnung und die Notwendigkeit eines kontinuierlichen und automatisierten Ansatzes zur Compliance betont.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractThe EU AI Act specifies legal obligations for both providers of high-risk AI systems and providers of general-purpose AI (GPAI) models with systemic risk potential. Satisfying these obligations at scale requires an automated framework that can operationalize the Act’s key operational compliance clauses, risk management (Art. 9), technical documentation (Art. 11), quality management (Art. 17), conformity assessment (Art. 43), EU Declaration of Conformity (Art. 47), and post-market monitoring (Art. 72), as well as capability monitoring and transparency duties for GPAI providers (Arts. 53 & 55). We introduce Continuous Auditing-Based Conformity Assessment (CABCA), a framework that translates legal requirements into actionable, machine-readable metrics and continuously updated conformity declarations. CABCA first uses a Scoping process to define a formal Conformity Specification, which is then translated into a machine-readable Operationalization Specification containing quality dimensions, traceable risks, measurable controls, and automated evaluation pipelines. These components collectively support the assessment of both system-level risks in high-risk domains and model-level risks from GPAI deployment.Once configured, the CABCA pipeline (i) gathers operational and behavioral data, (ii) evaluates capability and risk thresholds against declared objectives, and (iii) produces a continuously valid declaration of conformity or model compliance statement.By integrating system-level conformity obligations and GPAI-specific oversight requirements into a single, continuous workflow, CABCA provides a scalable path to bring and keep high-risk AI systems and GPAI models into maintaining compliance throughout the model lifecycle.
-
-
KI in einzelnen Sektoren
-
Frontmatter
-
12. Varianten und Risikoaspekte des psychologisch-therapeutischen KI-Einsatzes
Maximilian Wanderwitz, Emily WeberDer Fachbeitrag beleuchtet die vielfältigen Einsatzmöglichkeiten von Künstlicher Intelligenz (KI) im psychologisch-therapeutischen Bereich und die damit verbundenen Risiken. Es werden drei Kategorien des KI-Einsatzes unterschieden: enge Ersetzung, Ersetzung mittleren Ausmaßes und weitreichende Ersetzung. Die enge Ersetzung umfasst beispielsweise Entscheidungsunterstützungssysteme in der Diagnostik, während die weitreichende Ersetzung den vollständigen Ersatz menschlicher Therapeuten durch KI-Systeme, wie Chatbots, beinhaltet. Der Beitrag diskutiert auch die Risiken des KI-Einsatzes, darunter Verzerrungen in der Diagnostik und die Disruption des Patient-Therapeut-Verhältnisses. Zudem werden Beispiele für den diagnostischen, prognostischen und therapeutischen Einsatz von KI-Systemen vorgestellt, einschließlich der Verwendung von KI-gestützten Apps und virtuellen Therapeuten. Abschließend wird die Bedeutung einer kritischen Überprüfung und ethischen Reflexion des KI-Einsatzes im psychologisch-therapeutischen Bereich betont.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDas Kapitel thematisiert den Einsatz Künstlicher Intelligenzen im psychologisch-therapeutischen Bereich. Nach einer generellen Einordnung eines solchen Einsatzes als Teil der umfassenden digitalen Transformation des Gesundheitssektors werden zunächst grundlegende Einsatzkategorien diskutiert, insbesondere die Unterscheidung zwischen ersetzendem und ergänzendem Einsatz der Künstlichen Intelligenz im psychologisch-therapeutischen Bereich. Sodann werden konkrete Beispiele eines solchen Einsatzes dargestellt und thematisch gruppiert in den diagnostischen, den prognostischen sowie den – im engeren Sinne verstandenen – therapeutischen Einsatz. Abschließend werden einige Risikoaspekte erörtert, namentlich der KI-Risikoeffekt Verzerrung im psychologisch-therapeutischen Kontext, die Disruption des Verhältnisses zwischen Patient und Therapeut sowie potenzielle mittelbare Risikolagen. -
13. Personalised Medicine? The Risks of Patient-Facing Medical AI for Human Personal Identity
Stephen MilfordPatientenorientierte medizinische KI-Systeme, insbesondere Chatbots, revolutionieren die Gesundheitsversorgung durch personalisierte Diagnosen und Behandlungspläne. Diese Systeme versprechen verbesserte Gesundheitsversorgung, bergen aber Risiken für die menschliche persönliche Identität. Der Fachbeitrag untersucht fünf potenzielle Risiken: ontologische Verwirrung, Isolation durch personalisierte Selbstversorgung, das Gefühl, von einer KI gesehen zu werden, delegierte moralische Arbeit und die Erosion gemeinschaftlicher Gesundheitsnarrative. Die ontologische Verwirrung entsteht durch die Tendenz, KI-Systeme als persönliche Wesen zu behandeln, was zu relationalen Fehlschüssen führen kann. Die Isolation durch personalisierte Selbstversorgung kann die relationalen Interaktionen untergraben, die für die Bildung und Aufrechterhaltung der persönlichen Identität entscheidend sind. Das Gefühl, von einer KI gesehen zu werden, kann zu einer oberflächlichen und klinischen Sichtweise führen, die die persönliche Identität nicht wirklich anerkennt. Die Delegation moralischer Arbeit an KI-Systeme kann die moralische Verantwortung und die persönliche Identität untergraben. Schließlich kann die Erosion gemeinschaftlicher Gesundheitsnarrative die persönliche Identität und die gemeinschaftliche Bedeutung von Krankheit und Heilung untergraben. Der Fachbeitrag betont die Bedeutung der relationalen und narrativen Aspekte der Gesundheitsversorgung und warnt vor den Risiken der Integration von KI-Systemen in die Gesundheitsversorgung. Er plädiert für eine sorgfältige und verantwortungsvolle Integration von KI-Systemen in die Gesundheitsversorgung, die die relationalen und narrativen Aspekte der Gesundheitsversorgung nicht untergräbt.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
AbstractAs patient-facing medical AI tools—particularly chatbots—become increasingly integrated into healthcare, they raise important ethical challenges that go beyond technical accuracy or safety. This chapter explores some of these key challenges posed by these particular AIs through the lens of relational ontology and narrative identity. While these tools offer remarkable diagnostic capabilities and promise improved access and efficiency across healthcare systems, they risk undermining the relational structures that constitute personal identity. The chapter argues that patient-facing medical AIs, by mimicking relational cues without true recognition or presence, may lead to ontological confusion, relational isolation, and the displacement of moral responsibility. Patients may be ‘seen’ through a clinical gaze that flattens their complexity into optimised, legible data points, and thereby erodes communal health narratives and dialogical self-understanding. These risks are not peripheral but structurally embedded in systems incentivised to replace the moral labour of care with algorithmic compliance. This chapter concludes by affirming that while medical AI can support diagnosis and treatment planning, it must never replace the human moral agent. Instead, AI must be built to complement, not displace, the relational work that is essential to creating and sustaining personal identity through care. -
14. Der Einsatz von KI-Systemen bei den Gerichten – Versuch einer chancenorientierten Risikobetrachtung
Dennis MüllerIn diesem Kapitel wird der Einsatz von KI-Systemen in der Justiz umfassend analysiert, wobei der Fokus auf den tatsächlichen Potentialen und nicht auf dem oft diskutierten Robo Judge liegt. Es werden aktuelle KI-Projekte in der deutschen Justiz vorgestellt, die sich auf verschiedene Bereiche wie Automatisierung im Unterstützungsbereich, KI als Rechercheassistenz, Datenstrukturierung und KI-Assistenzsysteme für Richter konzentrieren. Die rechtlichen Grundlagen einer Risikobetrachtung werden detailliert dargestellt, wobei insbesondere die verfassungsrechtlichen Aspekte und die KI-Verordnung betrachtet werden. Es werden Risikoklassen gebildet und konkrete Vorhaben diesen zugeordnet, um die verschiedenen Anforderungen an das Risikomanagement und die Risikoprävention zu verdeutlichen. Abschließend wird die Bedeutung des KI-Einsatzes für die Justiz betont, wobei die Notwendigkeit einer verantwortungsvollen und risikobewussten Nutzung von KI-Systemen hervorgehoben wird. Der Text bietet einen detaillierten Überblick über den aktuellen Stand und die zukünftigen Perspektiven des KI-Einsatzes in der Justiz.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDas Kapitel „Der Einsatz von KI-Systemen bei den Gerichten – Versuch einer chancenorientierten Risikobetrachtung“ befasst sich mit der Frage, wie die Justiz und insbesondere die Gerichte mit dem allgemein-gesellschaftlichen Trend zum Einsatz von KI-Systemen wie Large Language Models bereits umgeht, welche Projekte und Projektideen es bislang gibt und welche rechtlichen und tatsächlichen Risiken der Einsatz von KI bei Gerichten mit sich bringt. Das Kapitel versucht dabei auf Basis der verfassungsrechtlichen und europarechtlichen Vorgaben eine Einteilung in Risikostufen vorzuschlagen und dabei aufzuzeigen, in welchen Bereichen ein KI-Einsatz bei Gerichten ohne nennenswerte Risiken bereits möglich ist und in welchen Einsatzszenarien sich besondere Risiken stellen, denen durch Risikoprävention und Risikomanagement zu begegnen ist. Dabei zeigt sich, dass der Robo Judge, der die öffentliche Diskussion bislang bestimmt, nur einen kleinen Ausschnitt der Thematik, gewissermaßen die „Spitze des KI-Bergs“, darstellt und in anderen Bereichen der gerichtlichen Arbeit deutlich früher Potentiale für KI-Systeme entdeckt und gehoben werden können. -
15. Die Bedrohung der menschlichen Erfinderstellung durch Künstliche Intelligenz
Michael ZapfDer Fachbeitrag untersucht die rechtlichen Aspekte des Einsatzes von Künstlicher Intelligenz (KI) bei technischen Entwicklungen, insbesondere im Hinblick auf die Anerkennung von KI-Systemen als Erfinder im Patentrecht. Es wird die Frage aufgeworfen, ob KI-Systeme wie DABUS als Erfinder im Sinne des geltenden Patentrechts anerkannt werden können. Der Text analysiert die DABUS-Testfälle, die von Dr. S. Thaler eingereicht wurden und die weltweit von Patentbehörden zurückgewiesen wurden, da eine KI nicht als Erfinder im Sinne der gesetzlichen Regelungen in Betracht kommt. Die Autoren diskutieren die patentrechtlichen Hintergründe und die Differenzierung zwischen KI-assistierten und KI-generierten technischen Entwicklungen. Es wird hervorgehoben, dass das geltende Patentrecht einen menschlichen Erfinder voraussetzt und dass KI-Systeme derzeit nicht als Erfinder anerkannt werden können. Der Beitrag beleuchtet auch die potenziellen Auswirkungen auf den Schutz geistigen Eigentums und die Erfindervergütung, insbesondere im Hinblick auf die zunehmende Nutzung von KI-Systemen in der Technologieentwicklung. Abschließend wird die Frage aufgeworfen, wie das Patentrecht und das Arbeitnehmererfinderrecht mit den sich ändernden technischen Gegebenheiten umgehen können und welche Herausforderungen sich daraus ergeben. Der Text bietet eine fundierte und umfassende Analyse der aktuellen Rechtsprechung und der potenziellen Auswirkungen auf das Patentrecht und die Technologieentwicklung.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungDie als Künstliche Intelligenz bezeichneten Technologien entwickeln sich derzeit nicht nur rasant. Sie stellen auch, wenn KI-Systeme als Werkzeuge im Kontext technischer Entwicklungen eingesetzt werden, neue Herausforderungen für das zum Technologieschutz und als Anreiz für F&E-Tätigkeiten gedachte Patentrechtssystem dar. Eine bewusste Herausforderung stellten die sogenannten DABUS-Fälle dar bei denen ein KI-System selbständig technische Entwicklungen generiert haben soll. Nach einer Hinführung werden letztinstanzliche Entscheidungen zu diesen Testfällen sowie daran anknüpfende, mögliche Auswirkungen des Einsatzes von KI-Systemen in F&E unter den Blickwinkeln des Patent- und des Erfinderrechts erörtert. Ob eine technische Entwicklung KI-assistiert, KI-generiert oder in denkbar fernster Entwicklungsstufe erfinderlos entstanden ist, hängt zusammen mit der Verteilung der erfindungswesentlichen Beiträge auf natürliche Personen als Erfinder im klassischen Sinn und auf KI-Systeme als neue Player. Diese Verteilung birgt risikobehaftete Implikationen, welche die Erfinder, die Erfindervergütungen und den Erfindungsschutz betreffen können. Ein weiterer Aspekt ist, dass KI-Systeme auch für Defensivpublikationen eingesetzt werden können und so ein Risiko anderer Art für den Erfindungsschutz darstellen. -
16. KI für eine sichere Gesellschaft
Christoph Tobias Wirth, Mihai Maftei, Hartmut Hilpert, Lisa-Marie Goltz, Iris MergetKI-Systeme revolutionieren die Arbeit von Polizei und Strafverfolgungsbehörden, indem sie Daten aus Notrufen, Polizeiberichten und sozialen Medien analysieren, um Muster zu erkennen und Risikobewertungen zu erstellen. Diese Technologien ermöglichen es, potenzielle Straftaten vorherzusagen und präventive Maßnahmen zu ergreifen. Ein Beispiel ist die Verwendung von KI-gestützter Videoüberwachung, die verdächtige Bewegungsmuster erkennt und menschliche Entscheidungsträger alarmiert. Auch Big Data spielt eine Rolle, indem Fluggastdaten analysiert werden, um potenzielle Risiken im Zusammenhang mit Terrorismus oder schwerer Kriminalität zu erkennen. Trotz der Vorteile werfen diese Technologien ethische und rechtliche Fragen auf, insbesondere in Bezug auf Datenschutz und Privatsphäre. Der Einsatz von KI in der Strafverfolgung erfordert eine sorgfältige Abwägung zwischen Sicherheit und Grundrechten. Der Text beleuchtet die verschiedenen Anwendungsbereiche von KI in der Strafverfolgung und diskutiert die damit verbundenen Herausforderungen. Er zeigt auf, wie KI-Systeme die Arbeit der Sicherheitsbehörden unterstützen können, ohne dabei die Grundrechte und Privatsphäre der Bürger zu gefährden. Der Text bietet eine fundierte Analyse und zeigt auf, wie KI-Systeme die Arbeit der Sicherheitsbehörden unterstützen können, ohne dabei die Grundrechte und Privatsphäre der Bürger zu gefährden.KI-Generiert
Diese Zusammenfassung des Fachinhalts wurde mit Hilfe von KI generiert.
ZusammenfassungKünstliche Intelligenz (KI) wird zunehmender Bestandteil der Sicherheitsarchitektur moderner Gesellschaften sein. Das Kapitel beleuchtet die Rolle von generativer KI in der Kriminalitätsbekämpfung, die Chancen und Risiken prädiktiver Polizeiarbeit, die Wirkmechanismen von Sozialkreditsystemen, staatliches Hacking sowie die für KI notwendigen Datenräume. Anhand realer Beispiele wird gezeigt, wie algorithmische Risikobewertungssysteme Diskriminierungen verstärken können. Es werden aktuelle KI-Anwendungen im praktischen Einsatz bei Sicherheitsbehörden vorgestellt. Abschließend werden Anforderungen an safe-by-design KI-Systeme formuliert, welche Sicherheit unter einer rechtsstaatlichen Einbettung ermöglichen.
-
- Titel
- Risikoanalyse Künstliche Intelligenz
- Herausgegeben von
-
Maximilian Wanderwitz
- Copyright-Jahr
- 2026
- Verlag
- Springer Berlin Heidelberg
- Electronic ISBN
- 978-3-662-72661-7
- Print ISBN
- 978-3-662-72660-0
- DOI
- https://doi.org/10.1007/978-3-662-72661-7
Die PDF-Dateien dieses Buches wurden gemäß dem PDF/UA-1-Standard erstellt, um die Barrierefreiheit zu verbessern. Dazu gehören Bildschirmlesegeräte, beschriebene nicht-textuelle Inhalte (Bilder, Grafiken), Lesezeichen für eine einfache Navigation, tastaturfreundliche Links und Formulare sowie durchsuchbarer und auswählbarer Text. Wir sind uns der Bedeutung von Barrierefreiheit bewusst und freuen uns über Anfragen zur Barrierefreiheit unserer Produkte. Bei Fragen oder Bedarf an Barrierefreiheit kontaktieren Sie uns bitte unter accessibilitysupport@springernature.com.