Die Komplexität und Selbstständigkeit von KI sowie die Zunahme der Lebensbereiche, in der sie Entscheidungen unterstützen oder gar selbst treffen soll, stellen die Ethik und das Recht vor neue Herausforderungen. Gerade weil die Entscheidungen lernender Systeme ex ante kaum vorhersehbar und ex post kaum beweisbar sind, birgt ihr Einsatz besondere, bisher unbekannte Risiken. Dies führt zu Problemen bei der Kosten-Nutzen-Analyse der Technologie, bei der Zulassung – insbesondere weil die Maschinen sich ja auch während der Nutzung noch weiterentwickeln sollen – aber auch bei etwa der Aufklärung von Patienten, die mit diesen Maschinen behandelt werden. Schließlich ergeben sich auch neue Risiken und Gefahren, etwa die einer nicht sofort erkennbaren Diskriminierung durch eine scheinbar neutrale Maschine. Auf diese Entwicklungen muss die Gesellschaft aktuell dringend Antworten finden, insbesondere ist zu diskutieren, in welchen Lebensbereichen Entscheidungen überhaupt auf Maschinen übertragen werden dürfen, welche Korrelationen und Kategorisierungen akzeptabel und welche diskriminierend sind, ob Entscheidungen zwangsläufig auch kausal begründet werden müssen, etc. Zudem stellt sich die Frage, wem die (Teil-)Entscheidungen der Maschine normativ zuzurechnen sind – problematisch kann es jedenfalls sein, insofern primär auf den die Entscheidung absegnenden Menschen, den „human in the loop“, abzustellen (Sharkey 2016, S. 23–38; Zanzotto 2018. S. 247–248). Denn nicht selten ist der letztentscheidende Mensch hiermit überfordert – und die Schwierigkeit, sich gegen einen maschinellen Vorschlag zu entscheiden, von dem man weiß, dass er auf sehr vielen Informationen und sehr schneller Rechenleistung beruht, ist auch normativ nachvollziehbar. Insofern ist nicht verwunderlich, dass sich gerade das Konzept der Verantwortung sowohl auf moralischer als auch auf rechtlicher Ebene durch die neuen Entwicklungen fundamental ändert.
