Die größte Verwundbarkeit ist die Unwissenheit *(1)

Über eine gesetzliche Pflicht der Schaffung von Nachvollziehbarkeit künstlich intelligenter Entscheidungen (aus: Recht innovativ 03/2018) Autor: Claudia Otto I. Einleitende Worte In dem Beitrag „Das dritte Ich“ in der Recht innovativ 02/2018 wurde gefordert, dass Entscheidungen künstlich intelligenter Systeme nachvollziehbar sein müssen. (2) Etwas vorhersehbar Unvorhersehbares dürfe nicht verselbständigt in den Rechts- verkehr entlassen werden. Jemand, aber nicht die Maschine selbst, müsse für eventuell schadhafte Folgen haftbar sein. Um Ansprüche an die negativen Folgen von Entscheidungen künstlich intelligenter Systeme zu knüpfen, müssen diese Entscheidungen auf einen Fehler oder ein Fehlverhalten zurückführbar sein, welche wiederum einem Haftungssubjekt (3) zuordenbar sein müssen. Die Herstellung künstlich intelligenter Systeme und das Angebot von Leistungen basierend auf künstlich intelligenten Systemen dürfen nicht der Entziehung oder gar Verschleierung von Verantwortlichkeit dienen, so wie es die Schaffung einer elektronischen Person im Ergebnis erlauben würde. Die Nachvollziehbarkeit der Entscheidungen künstlich intelligenter Systeme ist von gesellschaftlicher Notwendigkeit, denn die fehlende Nachvollziehbarkeit schafft Vulnerabilität von unbekanntem Ausmaß. Künstlich intelligente Systeme werden unsere Zukunft stark beeinflussen, deswegen dürfen sie diese nicht einseitig bestimmen. Das deutsche Recht bietet bereits einen hinreichenden Rechtsrahmen zur Beurteilung der zivilrechtlichen und strafrechtlichen Haftung. Eine solche Beurteilung ist jedoch überhaupt erst möglich, wenn eine schadenauslösende Entscheidung, basierend auf reinen Rechenvorgängen, einem Verantwortlichen zugeordnet werden kann. Dieser Beitrag soll daher der Frage nachgehen, wie eine konkrete, gesetzliche Pflicht der Herstellung von Nachvollziehbarkeit künstlich intelligent zustande gekommener Entscheidungen umgesetzt werden könnte. II. Die Abgrenzung der Nachvollziehbarkeit von Transparenz und Erklärbarkeit 1. Transparenz Der Begriff der Nachvollziehbarkeit muss von der Transparenz von Algorithmen und Rechenprozessen etwa im Rahmen von maschinellem Lernen (Machine Learning, ML) unterschieden werden. Eine synonyme Verwendung verbietet sich. Denn die Transparenz von Algorithmen et al.(4) bedeutet nicht notwendigerweise auch die Nachvollziehbarkeit der unter ihrer Anwendung zustande gekommenen Entscheidungen, insbesondere nicht die Möglichkeit der Bestimmung von zivil- oder strafrechtlicher Verantwortlichkeit. So bestimmen im Wesentlichen die Daten, die von einem Algorithmus oder System verarbeitet werden, das Ergebnis – nicht der Rechenprozess selbst. Ein Algorithmus oder Rechenprozess kann fehlerfrei, doch die verwendeten Daten fehlerhaft, tendenziell diskriminierend(5), gar „vergiftet“)6) sein. Die in einer Maschine verbauten Sensoren eines anderen Herstellers können Informationen der Umwelt fehlerhaft aufnehmen, bewerten und an den dennoch korrekt arbeitenden Algorithmus bzw. nächsten Verarbeitungsschritt weiterleiten. Die für das Lernen erforderlichen Feedbacks können ebenso fehlleitender Natur sein. Ein transparenter Algorithmus bzw. Rechenprozess ist daher nur ein, aber ein wichtiger Aspekt der Nachvollziehbarkeit einer künstlich intelligent gefällten Entscheidung. Die Transparenz eines Algorithmus bzw. Rechenprozesses findet vor allem im Bereich der Forschung und Entwicklung, der Wartung im Rahmen von Leistungspflichten aber auch der Fehlerbehebung im Bereich von Gewährleistungspflichten seinen Bedeutungsschwerpunkt. Hier ist in der Regel nicht der Hersteller, sondern ein Dritter Verpflichteter, der ohne Verständnis für die Abläufe seine vertraglichen Pflichten nicht erfüllen könnte. 2. Erklärbarkeit Die Bedeutung der ebenfalls vielseitig geforderten Erklärbarkeit künstlich intelligenter Entscheidungen wird hier in dem der Nutzung künstlich intelligenter Systeme zeitlich vorausgehenden Abschnitt verortet: Etwa bei der Aufklärung des potentiellen Nutzers, damit dieser eine informierte Entscheidung für bzw. gegen den Kauf oder die im Rahmen sonstiger Verträge stattfindende Nutzung treffen kann. Die Erklärbarkeit verlangt nicht die umfassende Erläuterung der technischen Vorgänge; eine solche können in der Regel nur wenige Menschen verstehen. Ein umfassendes Verständnis herzustellen kann nicht erwartet werden. Jedoch muss die Erklärung künstlich intelligenter Entscheidungsfindung dem Erklärungsempfänger ermöglichen zu verstehen, welche Risiken sich aus der Nutzung ergeben und was mit seinen personenbezogenen Daten(7) geschieht, die im Rahmen der Nutzung verarbeitet werden (müssen). Ein solches Verständnis kann in der Regel nur mit einer einfachen Darstellung geschaffen werden, die komplexe technische Ausführungen ausschließt. Eine einfache Erklärung, die nicht falsch ist, erfordert jedoch ein umfassendes Verständnis des Erklärenden. Mit Transparenz allein ist es also noch nicht getan. 3. Begriffe zweckorientiert bestimmen Natürlich ist nicht ausgeschlossen, dass auch andere Begriffe sinnvoll verwendet werden können. Wichtig ist jedoch, um Regelungslücken zu vermeiden, dass stets unterschieden wird, was der Zweck der Offenlegung von Entscheidungskomponenten ist. Eine alleinige gesetzliche Pflicht zur Herstellung von Transparenz von Algorithmen bzw. Rechenprozessen kann jedenfalls keine Pflicht zur Bereitstellung qualitativ hochwertiger Daten desjenigen (mit-)begründen, der einen korrekt arbeitenden Algorithmus bzw. Rechenprozess mit „Datenmüll“ zu fehlerhaften Entscheidungen bringen könnte. Hierfür bedarf es einer zusätzlichen Transparenz von Interagierenden, Interaktionen und Interdependenzen, um zumindest Fehlerquellen quantitativ eingrenzen zu können. Die Bestimmung der Fehler, der Fehlerquelle, der Fehlerqualität und ihre Zuordnung zu einem Verantwortlichen sind daher im Wesentlichen die Ziele, welche mit der geforderten Nachvollziehbarkeit künstlich intelligenter Entscheidungen erreicht werden sollen. Was nachvollziehbar ist, kann im Übrigen auch einfach erklärt werden. 4. Klammerwirkung der Nachvollziehbarkeit zwecks Reduzierung von Vulnerabilität Die Nachvollziehbarkeit umfasst also notwendigerweise alles der Aufklärung dienliche Verstehensnotwendige und -mögliche. Kurzum: Nachvollziehbarkeit bedeutet nach hiesiger Auffassung die von Anfang an regelmäßige Dokumentation sämtlicher Vorgänge und der hieran mitwirkenden Kompo- nenten, ob menschlicher, oranisatorischer, mechanischer, elektronischer oder informatorischer Natur. Ihr wird daher eine Klammerwirkung zugeschrieben. Die Erklärbarkeit der Entscheidungsfindung künstlich intelligenter Systeme vor der Nutzung, ihre Transparenz u.a. während der Nutzung und die Genannten umklammernde Nachvollziehbarkeit nach einer ein Schadensereignis auslösenden Nutzung werden hier in ihrem Zusammenspiel als notwendig und als das realisierbare Gegenteil der angeblichen „Black Box“ Künstliche Intelligenz angesehen. Deren Ge- und Verschlossenheit (Opacity) verhindert jede Form des Verstehens und schafft hierdurch nicht nur Misstrauen, sondern auch Angst. Angst bedeutet Vulnerabilität und die gilt es weitmöglich zu reduzieren. III. Warum müssen Entscheidungen künstlich intelligenter Systeme nachvollziehbar sein? Die Rekonstruktion und damit Sichtbarmachung entscheidungserheblicher Vorgänge und Fehler im Rahmen sog. Reverse Engineerings darf nicht die Aufgabe des Geschädigten sein, etwa zur Erbringung des Nachweises der Fehlerkausalität und des Herstellervertretenmüssens. Eine Umkehr der Beweislast(8) zu seinen Gunsten infolge fehlenden Einblicks in die Organisation des Herstellers führt auch zu keinen befriedigenden Ergebnissen, wenn dieser auf die „Black Box“ und damit vermeintlich unmögliche Nachvollziehbarkeit der Entscheidungsfindung künstlich intelligenter Systeme verweisen darf. Eine solche Enttäuschung schadet der Innovation langfristig, denn sie beeinträchtigt nachhaltig das Vertrauen in die technologische Fortentwicklung und verhindert Verbesserungen an den mangelhaften Vorgängern. IV. Wie macht man Entscheidungen künstlich intelligenter Systeme nachvollziehbar? 1. Man muss nicht alles detailliert nachvollziehen können um Verantwortung zuzuordnen Vorweg muss klargestellt werden, dass bereits heute nicht alle Entscheidungen künstlich intelligenter Anwendungen zu 100 Prozent nachvollzogen werden können. Je komplexer die Systeme künstlicher Intelligenz werden, desto größer wird das Risiko unvollständiger Fehleraufklärung und unsicherer Haftungsbestimmung. Insbesondere Machine Learning lehrt uns, dass mit zunehmender Zahl von Layers(9), Neuronen(10) oder „Knoten“ die Übersicht und Kontrolle des schaffenden Menschen sinkt. Dennoch muss stets eine bestmögliche Bestimmung von Verantwortlichkeit gewährleistet sein. Der Fakt, dass menschliche Intelligenz bis heute nicht definier- und nachvollziehbar bis ins Detail ist(11), hat noch keinen Menschen vor strafrechtlicher und zivilrechtlicher Verantwortlichkeit bewahrt. 2. Nachvollziehbarkeitsanforderungen gestuft nach Bedeutung und Eingriffsqualität Das bedeutet, vor dem Hintergrund sehr unterschiedlicher Stufen von Relevanz und Eingriffsqualität künstlich intelligenter Entscheidungen für Menschen, dass eine hieran orientierte Stufung der Anforderungen an die Nachvollziehbarkeit geschaffen werden muss: Nachvollziehbarkeit bedeutet nicht die dauerhafte, gar behördliche Überwachung, wenn es etwa um maschinelle Texterkennung und Autokorrektur geht. Eine ausschließlich rückwirkende, schadensanlässliche Beurteilung künstlich intelligenter Entscheidungen verbietet sich dagegen etwa bei Pflegerobotern, die mit der menschlichen Gesundheit und dem menschlichen Leben „arbeiten“. Nachvollziehbarkeit heißt auch nicht, dass der Hersteller steten Zugriff auf im Eigentum des Nutzers stehende Geräte haben darf. Mit sich aus den Unwägbarkeiten des (Zusammen-)Lebens ergebenden Zweifeln müssen wir weiterhin leben, vor allem zugunsten der grundgesetzlich garantierten Freiheiten; das gehört zum allgemeinen Lebensrisiko. Zweifel von darüber hinausgehendem Charakter müssen allerdings zulasten desjenigen gehen, der diese, herrührend aus der von Anfang an bestehenden und vorhersehbaren Unvorhersehbarkeit bei Inverkehrbringen, bewusst geschaffen bzw. in Kauf genommen hat. Die Grenzen zwischen allgemeinem Lebensrisiko und zu verantwortendem Risiko sind nicht klar, waren nie klar und werden immer verschwimmen. Für diese Fälle gibt es im deutschen Recht unbestimmte Rechtsbegriffe wie das „öffentliche Interesse“ oder „Gemeinwohl“ mit einem für die Exekutive eröffneten Beurteilungsspielraum. Dieser ist jedoch wiederum ohne ein Minimum an Nachvollziehbarkeit nicht ausfüllbar. 3. Welches Risiko ist hinnehmbar und kann sogar vertrag- lich übernommen werden? „Risiko“ bedeutet auch, dass unter Umständen, etwa im Falle einer umfassenden Auf- und Erklärung vor der Nutzung nicht vorhersehbarer künstlich intelligenter Entscheidungs- systeme, die Verantwortlichkeit des Herstellers oder Anbieters unter Verweis auf das Mitverschulden des Nutzers im Sinne von § 254 BGB reduziert werden kann. Diese Reduktion kommt jedoch nicht in Betracht, wenn etwa unter Verstoß gegen die Vorschriften über Allgemeine Geschäftsbedingungen (§ 305 ff. BGB), den Grundsatz von Treu und Glauben (§ 242 BGB), das Wucherverbot sowie Sitten- widrigkeit (§ 138 BGB), gesetzliche Verbote (§ 134 BGB) und Spezialgesetze wie das Gesetz gegen den unlauteren Wettbewerb (UWG) aber auch die Datenschutzgrundverordnung (DSGVO) versucht wird, Verantwortung abzuwälzen. Müßiggang und Ignoranz, Gewinnmaximierung durch Einsparungen bei der Qualität sowie juristische Winkelzüge dürfen keine Mittel der Enthaftung von Herstellern und Anbietern steigend nachgefragter Produkte künstlicher Intelligenz sein. Aus diesem Grund wurde auch hier die juristische Konstruktion der elektronischen Person abgelehnt.(12) Sie setzt einen komplett falschen Anreiz und würde dazu führen, dass Entscheidungen künstlich intelligenter Systeme nicht einmal dem Versuch der Nachvollziehbarmachung unterzogen werden – mit denkbar schlimmen Folgen für die Geschädigten und nichtsahnenden Folgenutzer nicht verbesserbarer Systeme künstlicher Intelligenz. Der Schutz Schwächerer im Falle von Informationsasymmetrien, der etwa im Rahmen der Vorschriften über die Allgemeinen Geschäftsbedingungen (§§ 305 ff. BGB) und auch der von der Rechtsprechung entwickelten Beweislastumkehr im Rahmen der deliktischen Produzentenhaftung (§ 823 ff. BGB)(13) zur Tragen kommt, darf nicht einfach durch eine Verlagerung der Entschädigungspflicht auf Maschinen ausgehöhlt werden. Schaden sollte, so objektiv vermeidbar, gar nicht erst passieren müssen. Zumindest muss seine Eintrittswahrscheinlichkeit vom Nutzer weitmöglich eingeschätzt werden können, um seine körperliche und finanzielle Integrität von Anfang an schützen zu können. Geht er ganz bewusst ein solches gravierendes Risiko ein, kann die alleinige Verantwortlichkeit nicht beim Hersteller bzw. Anbieter verortet werden. 4. Nachvollziehbarkeit in einem multidimensionalen Raum ist eine Herausforderung Die geforderte Nachvollziehbarkeit spannt sich also, partiell mal straffer, mal lockerer, durch und über einen großen, mehrdimensionalen Raum von möglichen Anwendungen künstlich intelligenter Systeme, mit den verschiedenen Horizonten und damit Interessen der Nutzer, Anbieter, Hersteller und Behörden. Dieser mehrdimensionale Raum muss zum einen öffentlich-rechtlich, etwa im Hinblick auf die Produktsicherheit, aber auch im Rahmen der vertraglichen Risikoverteilung und deliktischen Produzentenhaftung abgesteckt sein. Jeder Einzelfall kann natürlich nicht geregelt werden. Nicht alles kann überwacht und überprüft werden. Gesetze müssen zudem, um ein Mindestmaß an Flexibilität bieten zu können, grundsätzlich technologieneutral sein. Ein Gesetz darf weder seine Umgehung durch Anwendung anderer Technologien ermöglichen, noch eine (auch-)nützliche Technologie verbieten(14).(15) Erklärbar, transparent und nachvollziehbar macht man die Entscheidungen künstlich intelligenter Systeme als Gesetzgeber in diesem nicht vollumfänglich begrenzbaren Bereich dann im Wesentlichen durch eine klare, die beteiligten Interessen bestmöglich ausgleichende Verteilung von Rechten und Pflichten sowie Vorteilen und Nachteilen. V. Wie kann man Interessenausgleich und dabei Standortattraktivität schaffen? Diese Anforderungen lesen sich geradezu lähmend. Aber dieser Eindruck darf nicht das Verwehren juristischen Aufarbeitens und damit des Herausarbeitens von Nachvollziehbarkeit zugunsten der Feststellung von Verantwortlichkeit für schadensverursachende, künstlich intelligente Entscheidungen begründen. Ein Weg muss gefunden werden. 1. Mehr Pflichten und weniger Rechte führen zu mehr Standortunattraktivität Bei der ausgleichenden Verteilung rechtlicher Verantwortung stellen sich jedoch vor allem folgende, zu lösende Probleme: Je umfassender die Pflicht zur Nachvollziehbarmachung der Entscheidungen künstlich intelligenter Systeme ist, desto größer und abschreckender ist das daran geknüpfte Haftungsrisiko für innovative Entwickler und Anbieter. Es besteht die Gefahr des Abwanderns, ins Ausland oder in die rechtliche Grau- bzw. Schwarzzone. Je größer das eigene Haftungsrisiko ist, desto geringer ist das Interesse an der Nachvollziehbarmachung. Niemand möchte sich selbst belasten müssen oder gar schädigen. Es besteht auch hier die Gefahr des Abwanderns. Zudem bedeutet eine umfassende rechtliche Pflicht der Nachvollziehbarmachung auch eine Erschwernis bis hin zur Verzögerung der Markteinführung unter Überholung durch andere, weniger restriktive Nationen. Infolge der geringen Standortattraktivität bedeutet dies auch hier wieder die Gefahr des Abwanderns. Wie kann Deutschland also die Risiken für die Nutzer klein- sowie die Tore zu den Chancen freier, kreativer Entwicklung offenhalten, um sich als eine der führenden Nationen im Bereich der Künstlichen Intelligenz zu etablieren? Mehr Pflichten allein können keine Lösung sein. Dies gilt im gleichen Maße für nicht (mehr) herstellereigene Angebote sich, v.a. im Rahmen von Machine Learning, weiterentwickelnder künstlich intelligenter Entscheidungssysteme. 2. Ausgleichende Lösungsansätze zugunsten mehr Entwicklungsfreiheit Die Lösung kann allerdings auch nicht sein, die innovativen Unternehmen nicht zur Nachvollziehbarkeit der Entscheidungen ihrer künstlich intelligenten Systeme zu verpflichten. Ein befriedigendes Ergebnis kann nur durch das Fördern der Entwicklung und des Zusammenwirkens vieler Faktoren erreicht werden. Diese kann der Beitrag nicht vollumfänglich darstellen, jedoch sollen die folgenden wesentlichen Faktoren und möglichen Stellschrauben benannt werden: a) Entwicklungserleichterungen müssen in das deutsche Rechtssystem eingepasst werden Dem zu findenden Interessenausgleich wird der immer wieder getätigte Verweis auf US-amerikanische Verhältnisse nicht gerecht. In den USA sind die Bedingungen für innovative Entwicklungen angeblich besser(16), weil z.B. Anforderungen an den Datenschutz(17) geringer sind und Neuerungen mehr Raum gegeben wird.(18) Allerdings stehen dieser vom Silicon Valley repräsentierten, günstigeren Sach- und Rechtslage(19) realisierbare (Straf-)Schadensersatz- und Schmerzensgeldforderungen in einem dem deutschen Rechtssystem unbekannten Ausmaß gegenüber. Der Standort Deutschland kann die rechtlichen Anforderungen an Hersteller und Anbieter innovativer und risikobehafteter Produkte nicht absenken ohne die (zivilrechtlichen) Rechtsfolgen entsprechend, vor allem nach oben hin, anzupassen. Es ist nicht erkennbar, dass die erreichbaren (Straf-)Schadensersatz- und Schmerzensgeldsummen in den USA abschreckende Wirkung haben. Allerdings sind die Möglichkeiten Deutschlands begrenzt: Die Generalüberholung eines sich historisch und organisch entwickelten Rechtssystems ist nicht angemessen. Daher muss geschaut werden, mit welchen bekannten und bewährten Instrumenten die gewünschten Ziele auch erreichbar sind. Anderenfalls wird die Einheit und damit Widerspruchsfreiheit der Rechtsordnung(20) gefährdet. Im Hinblick auf die staatlicherseits ausgleichende Gewährleistung von verfassungsrechtlich garantierten Grundrechten kann an dieser Stelle beispielhaft auf das deutsche Gewerberecht verwiesen werden. Stark vereinfacht gesprochen können öffentliche Nutzungsangebote künstlich intelligenter Entscheidungssysteme nicht unähnliche Risiken wie Spielgeräte im Sinne des § 33c Gewerbeordnung (GewO) mit sich bringen; sie gehen unter Umständen sogar erheblich über reine Vermögensverluste hinaus. So sieht § 33c Abs. 1 S. 1 GewO vor, dass derjenige, [der] gewerbsmäßig Spielgeräte, die mit einer den Spielausgang beeinflussenden technischen Vorrichtung ausgestattet sind, und die die Möglichkeit eines Gewinnes bieten, aufstellen will, […] der Erlaubnis der zuständigen Behörde [bedarf]. Betrachtet man Facebook-Algorithmen und Machine Learning-basierte Blasenbildung in ebensolchen sozialen Netzwerken, die bisweilen wie beim Glücksspiel(21), da Aufmerksamkeit begehrend und zum Anbietervorteil bindend,(22) suchtähnliche, selbstschädigende und realitätsentfernende Resultate bei den Nutzern auslösen können,(23) liegt es nicht fern, zur Anwendung kommende künstlich intelligente Entscheidungssysteme einem Verbot mit Erlaubnisvorbehalt wie im Falle von § 33c GewO zu unterstellen. b) Entwicklungserleichterungen erfordern die Erleichterung der Anspruchsverfolgung im Schadensfalle Die mit (Weiter-)Entwicklungserleichterungen notwendigerweise korrespondierende Erleichterung der Anspruchsverfolgung Geschädigter könnte auch durch die Schaffung einer spezialgesetzlichen Gefährdungshaftung(24) geschaffen werden.(25) In diesem Fall bedürfte es keines Verschuldens und insofern auch keines Verschuldensnachweises des Geschädigten. Hersteller bzw. Anbieter haften für die Schaffung und Aufrechterhaltung einer erlaubten Gefahr. Auch hilft ein erneuter Verweis auf die USA nicht weiter, denn das US-amerikanische Prozessrecht ist erheblich anders ausgestaltet, um Geschädigten die Anspruchsverfolgung zu erleichtern. Dementsprechend müsste das deutsche Zivilprozessrecht erheblich verändert werden, um eine Verschiebung der rechtlichen Vorteile hin zu den Hersteller- und Anbieterinteressen in der Entwicklungs- und Markteinführungsphase wiederum auf Geschädigten- und Anspruchstellerseite auszugleichen. Denkbar sind spezielle Verfahrensarten. Musterfeststellungsklagen sind jedoch ob ihrer vorwiegenden Verzögerungswirkung(26) gerade kein Beispiel für die Erleichterung der Anspruchsverfolgung. Sie haben sich unter Verweis auf das Kapitalanleger-Musterverfahrensgesetz (KapMuG) auch nicht bewährt. c) Selbstverwaltung zur Sicherung kontinuierlicher Qualität von Entwicklung und Leistungen Vorstellbar ist das Schaffen einer weiteren Kontrollinstanz mit dem Ziel der Qualitätssicherung. Gerade im Falle der Resultate von Machine Learning, welche sich immer mehr der menschlichen Nachvollziehbarkeit entziehen, sollte langfristig überlegt werden, wie man Fachkenntnisse, fachlich versierte Kontrolle und Überwachung effizient gebündelt und dabei das erforderliche Maß an objektiver, ggf. maschinell hergestellter Nachvollziehbarkeit ermöglichen kann. Die Pflichtmitgliedschaft bei juristischen Personen des öffentlichen Rechts mit Selbstverwaltungsaufgaben, etwa wie der Rechtsanwälte in örtlichen Rechtsanwaltskammern(27) mit zugeordneten Anwaltsgerichten, die über die Einhaltung berufs- bzw. bereichsspezifischer Pflichten wachen und richten, ist eine Möglichkeit, Erleichterungen in der Entwicklung innovativer, künstlich intelligenter Systeme einerseits zu ermöglichen (vgl. die Unabhängigkeit des Rechtsanwalts, § 1 Bundesrechtsanwaltsordnung, BRAO) und andererseits in einem gesetzlich abgesteckten Pflichtenkorridor zu halten (vgl. die Pflichten des Rechtsanwalts, §§ 43 ff. BRAO). Ungeachtet der nicht ins Gewicht fallenden Schwächen und Nachteile der Verkammerung könnte diese Selbstverwaltungslösung grundsätzlich gewährleisten, dass Gewissenhaftigkeit (vgl. § 43 S. 1 BRAO) Sachnähe (§ 43b BRAO) und Fachkunde (§ 43a Abs. 6 BRAO) mehr in den Fokus rücken als wirtschaftliche Interessen. Reißerisches Marketing mittels Verzerrung der Wirklichkeit wäre dann entsprechend un- tersagt (vgl. § 43b BRAO).(28) In Selbstverwaltung organisierte Fortbildungspflichten und ausgestellte Nachweis besonderer Fachkenntnisse könnten die Qualität in der Entwicklung künstlich intelligenter Systeme fördern. Dabei wäre sichergestellt, dass im Wesentlichen nur Fachkundige entscheiden. d) Schaffung von neuen, die Freiheiten flankierenden Pflichten: Pflichtversicherungen Will man die Entwicklung künstlich intelligenter Systeme und damit die Eröffnung neuer Gefahrenquellen in Deutschland fördern, müssen die neuen Freiheiten von ebenso neuen, mit diesen Gefahren korrespondierenden Pflichten flankiert werden: Sinnvoll wäre die Schaffung einer Pflichtversicherung (vgl. Pflichtversicherungsgesetz, PflVG) ähnlich der Berufshaftpflichtversicherung für Rechtsanwälte (§ 51 BRAO), die im Schadensfalle gemäß § 117 Abs. 1 Versicherungsvertragsgesetz (VVG) auch unabhängig von vertragsverletzendem Verhalten des Versicherungsnehmers gegenüber Geschädigten eintritt. Wesentlich wäre in dieser Konstellation, dass ihr gegenüber Offenlegungs- und Risikoberichtspflichten bestehen, die erfüllt werden müssen, um den Versicherungsschutz im Innenverhältnis nicht zu gefährden. 3. Die Schaffung von bestmöglicher Nachvollziehbarkeit sollte verpflichtend, aber v.a. im eigenen Interesse sein Doch nicht nur gegenüber einer Pflichtversicherung sollten besondere Dokumentations- und Aufklärungspflichten bestehen, die eine bestmögliche Nachvollziehbarkeit künstlich intelligenter Entscheidungen ermöglicht. Ähnlich der anwaltlichen Aktenführungspflicht (§ 50 Abs. 1 S. 1 BRAO), die vor allem dem Nachweis pflichtgemäßen Handelns im Falle der Inanspruchnahme wegen Verletzungen der Pflichten aus dem Mandatsvertrag dient,(29) sollte die eine Nachvollziehbarkeit ermöglichende, umfassende, d.h. lückenlose chronologische Dokumentation der (Weiter-)Entwicklung künstlich intelligenter Systeme verpflichtend sein. Auch wenn die Verletzung dieser Pflicht nicht überwacht und verfolgt wird, allenfalls im Falle einer Beschwerde der Kammer vorgelegt werden muss (vgl. § 56 Abs. 1 BRAO), besteht doch ein Anreiz zur bestmöglichen Nachvollziehbarmachung. Die lückenlose Dokumentationspflicht dient hier nämlich dem eigenen Schutz. Eine solche Dokumentation im eigenen Interesse ermöglicht nicht zuletzt die im Einzelfall erforderliche Einholung einer behördlichen Erlaubnis für das öffentliche Angebot der Nutzung künstlich intelligenter Entscheidungssysteme, die ggf. erforderliche regelmäßige Überprüfung der Erfüllung der Erlaubnisanforderungen und den Schutz vor dem behördlichen Verbot (vgl. hierzu die Gewerbeuntersagung wegen Unzuverlässigkeit des Gewerbetreibenden zum Schutze der Allgemeinheit, § 35 GewO). VI. Fazit Es ist nicht von der Hand zu weisen, dass Deutschland als Standort für innovative Entwicklungen im Bereich der Künstlichen Intelligenz attraktiver werden muss.(30) Die nötige Attraktivität für Wissenschaftler und Entwickler aus aller Welt wird allerdings nicht binnen kurzer Zeit hergestellt werden können. Insbesondere ist es nicht möglich, von heute auf morgen Silicon Valley-Verhältnisse zu schaffen, da die Rechtssysteme Deutschlands und der USA völlig unterschiedlich gewachsen und ausgestaltet sind. Beide haben ihre Vor- und Nachteile. Optimierungsbedarf gibt es dennoch und der wird hier tatsächlich darin gesehen, (weiter-) entwickelnden Unternehme(r)n mehr Freiheiten einzuräumen. Allerdings darf das deutsche Rechtssystem nicht aus dem Gleichgewicht geraten: Seine Struktur dient vor allem dem Interessenausgleich. Dieser muss nun entsprechend neu „verhandelt“ werden. Neue Freiräume bringen neue Pflichten, Risiken und Rechtsfolgen mit sich. Die wichtigste Pflicht ist diejenige zur Schaffung der bestmöglichen Nachvollziehbarkeit künstlich intelligenter Entscheidungen. Am einfachsten ist diese zugunsten aller umzusetzen, wenn sie zuvörderst dem eigenen Schutz dient. Diese Pflicht sollte eingekleidet sein in eine Regelungssystematik, die dem deutschen Rechtssystem vertraut ist und sich überwiegend bewährt hat. Als Vorbild bietet sich hier die umfassende, chronologische Handaktenführungs- und damit Dokumentationspflicht des Rechtsanwalts an. Autorin Claudia Otto ist Rechtsanwältin, Herausgeberin und Chefredakteurin der Zeitschrift "Recht innovativ". Dieser Beitrag stammt aus der Zeitschrift Recht innovativ (03/2018). Möchten Sie mehr solcher Beiträge auf Springer Professional lesen? Dann beteiligen Sie sich bitte an unserer kurzen Leserumfrage! 1 Sun Tsu (ca. 500 v. Chr.), „Die Kunst des Krieges“. 2 Otto, Ri 2018, 68 ff. 3 So ist auch in der Folge das generische Maskulinum geschlechtsunabhängig gemeint. 4 Das andere technische Datenverarbeitungsmöglichkeiten meinende „et alia“ wird hier für eindeutiger als etwa „u.a.“ gehalten, das für Verwirrung beim Lesen sorgen dürfte. 5 Weil etwa überwiegend Fotos von hellhäutigen Menschen verwendet werden. 6 Otto, Ri 2018, 68 (84 f.). 7 Vgl. Erwägungsgrund 71 Abs. 1 S. 3 aE, Art. 4 Nr. 11, 22 Abs. 2 lit. c DSGVO (Einwilligung in informierter Weise in automatisierte Entscheidungen). 8 Vgl. insbesondere die sog. Hühnerpest-Entscheidung des BGH, Urteil vom 26. November 1968, Az. VI ZR 212/66 (BGHZ 51,91): „Wird bei bestimmungsgemäßer Verwendung eines Indust- rieerzeugnisses eine Person oder eine Sache dadurch geschädigt, daß das Produkt fehlerhaft hergestellt war, so muß der Hersteller beweisen, daß ihn hinsichtlich des Fehlers kein Verschulden trifft. Erbringt der Hersteller diesen Beweis nicht, so haftet er nach Deliktsgrundsätzen. Ein Zwischenerwerber kann den bei einem Dritten eingetretenen Schaden nicht nach Vertragsrecht liquidieren.“ (Amtlicher Leitsatz). 9 Otto, Ri 2018, 68 (81), mwN. 10 Otto, Ri 2018, 68 (81), mwN. 11 Otto, Ri 2018, 68 (71 f.), mwN. 12 Otto, Ri 2018, 68 ff. mwN. 13 Vgl. insbesondere die sog. Hühnerpest-Entscheidung des BGH, Urteil vom 26. November 1968, Az. VI ZR 212/66 (BGHZ 51,91): „Wird bei bestimmungsgemäßer Verwendung eines Indust- rieerzeugnisses eine Person oder eine Sache dadurch geschädigt, daß das Produkt fehlerhaft hergestellt war, so muß der Hersteller beweisen, daß ihn hinsichtlich des Fehlers kein Verschulden trifft. Erbringt der Hersteller diesen Beweis nicht, so haftet er nach Deliktsgrundsätzen. Ein Zwischenerwerber kann den bei einem Dritten eingetretenen Schaden nicht nach Vertragsrecht liquidieren.“ (Amtlicher Leitsatz). 14 Otto, Ri 2018, 68 (85). 15 Otto, Ri 2018, 164 (166) 16 Vgl. Burfeind, „Ist im Silicon Valley wirklich alles besser?“, 19. Juni 2017, https://www.sueddeutsche.de/wirtschaft/start-ups-ist-im-silicon-valley-wirklich-alles-besser-1.3547524 (zuletzt abgerufen am 7. Oktober 2018). 17 Eine abgeschwächte Alternative der DSGVO gibt es für Kalifornien erst seit dem 27. Juni 2018, vgl. Spies, USA: Neues kalifornisches Datenschutzrecht CCPA als Vorreiter, „Als Reakti- on hat das Parlament am 27.6.2018 kurz vor Ablauf der Rücknahmefrist für die Volksbefragung den California Consumer Privacy Act (CCPA) verabschiedet, der weniger belastend für die Industrie ist und Rechtssicherheit schaffen soll.“, „Trotz seiner gegenüber der Volksbefragung zu Gunsten der Industrie abgemilderten Vorschriften wird der CCPA zu einschneidenden Maßnahmen und Compliance-Aktivitäten bei Unternehmen zu Gunsten von Verbraucherrechten führen, die sich durchaus mit der DS-GVO in manchen Bereichen messen können.“, ZD-Aktuell 2018, 04318. 18 Beispielhaft: Bhuiyan, „Driverless cars can operate in California as early as April“, 26. Februar 2018, https://www.recode.net/2018/2/26/17053898/driverless-cars-self-driving-califor- nia-dmv-remote-operated-autonomous-testing (zuletzt abgerufen am 7. Oktober 2018). 19 Beispielhaft: Waschinski, „Wie fünf Start-ups einen Hauch von Silicon Valley ins Gesundheitsministerium bringen“, 28. Juni 2018, https://www.handelsblatt.com/politik/deutschland/ digital-health-wie-fuenf-start-ups-einen-hauch-von-silicon-valley-ins-gesundheitsministerium-bringen/22746296.html?ticket=ST-10834119-aaEKf9aba3NoGVIZbdp4-ap3; Stüber, „Investoren im Silicon Valley zahlen sieben Mal mehr“, 3. Juli 2013, https://www.morgenpost.de/berlin-aktuell/startups/article117679785/Investoren-im-Silicon-Valley-zahlen-sie- ben-Mal-mehr.html (zuletzt abgerufen am 7. Oktober 2018). 20 Dieser Grundsatz wurde vom Bundesverfassungsgericht aufgestellt, BVerfGE 98, 106 (130 f., Rn 61 f.), 98, 265 (298 ff., Rn 167). 21 15 § 33c GewO dient u.a. dem Schutz vor den Folgen des Glücksspiels, vgl. § 33c Abs. 2 Nr. 3 GewO: „Die Erlaubnis ist zu versagen, wenn (…) der Antragsteller nicht nachweist, dass er über ein Sozialkonzept einer öffentlich anerkannten Institution verfügt, in dem dargelegt wird, mit welchen Maßnahmen den sozialschädlichen Auswirkungen des Glücksspiels vorgebeugt werden soll.“ 22 Vgl. Tufekci, “How Is Our Attention Packaged And Sold As A Commodity?”, TED Radio Hour, 25. Mai 2018, https://www.wnyc.org/story/zeynep-tufekci-how-is-our-attention-packa- ged-and-sold-as-a-commodity/ (zuletzt abgerufen am 7. Oktober 2018); Singh, “Mark Zuckerberg Is More Dangerous than Donald Trump”, 2. Oktober 2018, Fair Observer, https://www. fairobserver.com/region/north_america/mark-zuckerberg-facebook-cambridge-analytica-scandal-data-business-news-headlines-today-23490/ (zuletzt abgerufen am 7. Oktober 2018). 23 Osnos, “Can Mark Zuckerberg Fix Facebook Before it Breaks Democracy?”, 17. September 2018, The New Yorker, https://www.newyorker.com/magazine/2018/09/17/can-mark-zuck- erberg-fix-facebook-before-it-breaks-democracy; Taub, Fisher, „Facebook Fueled Anti-Refugee Attacks in Germany, New Research Suggests”, 21. August 2018, Yew York Times, https:// www.nytimes.com/2018/08/21/world/europe/facebook-refugee-attacks-germany.html (beide zuletzt abgerufen am 7. Oktober 2018). 24 Beispiel: Die Haftung des KfZ-Halters nach § 7 Abs. 1 Straßenverkehrsordnung (StVG). 25 Vgl. hier § 276 Abs. 1 BGB, der Ausnahmen von der grundsätzlichen Verantwortlichkeit wegen Vorsatzes und Fahrlässigkeit (= Verschulden) zugunsten einer strengeren (oder milderen) Haftung als möglich benennt. 26 Ein Feststellungsurteil beinhaltet nur eine gerichtliche Feststellung; für ein vollstreckbares Leistungsurteil muss der Betroffene eine weitere Leistungsklage erheben. 27 Natürlich könnte man hier auch die Handelskammern anführen, doch korrespondieren die Vorschriften über Rechtsanwälte wesentlich besser mit den hier im Fokus stehenden Bedürfnissen. 28 Vgl. AGH Nordrhein-Westfalen vom 3. Juni 2016, Az. 2 AGH 1/16: JurionRS 2016, 21310, https://www.jurion.de/urteile/agh-nordrhein-westfalen/2016-06-03/2-agh-1_16/ (zuletzt abgerufen am 7. Oktober 2018). 29 So hat wegen § 280 Abs. 1 S. 2 BGB der in Anspruch genommene Schuldner das zu seinen Lasten vermutete „Vertretenmüssen“ auszuräumen, was allerdings nicht immer Verantwort- lichkeit i.S. eines Verschulden bedeuten muss (weil § 276 BGB Ausnahmen von Vorsatz oder Fahrlässigkeit i.S. der strengeren oder milderen Haftung zulässt).3 30 Vgl. die Eckpunkte für eine Strategie Künstliche Intelligenz der Bundesregierung, https://www.bmwi.de/Redaktion/DE/Downloads/E/eckpunktepapier-ki.pdf? blob=publicationFi- le&v=10 (zuletzt abgerufen am 7. Oktober 2018).

Springer Professional

Die größte Verwundbarkeit ist die Unwissenheit *(1)

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft"

Springer Professional "Wirtschaft+Technik"

Das könnte Sie auch interessieren

Die geheimnislose Gesellschaft – Eine kleine Utopie der Transparenz (aus: Recht innovativ 03/2018)

„Haste mal 'nen Token?“ – Ein Aufruf zu einem bewussteren Umgang mit dem Buzzword „Token“ (aus: Recht innovativ 03/2018)

Wo man mehr weiß, argwöhnt man weniger – Warum Blockchain-Technologie und DSGVO eigentlich ganz gut miteinander können (aus: Recht innovativ 03/2018)

Premium Partner

Springer Professional

Die größte Verwundbarkeit ist die Unwissenheit *(1)

Bitte loggen Sie sich ein, um Zugang zu Ihrer Lizenz zu erhalten.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft"

Springer Professional "Wirtschaft+Technik"

Das könnte Sie auch interessieren

Die geheimnislose Gesellschaft – Eine kleine Utopie der Transparenz (aus: Recht innovativ 03/2018)

„Haste mal 'nen Token?“ – Ein Aufruf zu einem bewussteren Umgang mit dem Buzzword „Token“ (aus: Recht innovativ 03/2018)

Wo man mehr weiß, argwöhnt man weniger – Warum Blockchain-Technologie und DSGVO eigentlich ganz gut miteinander können (aus: Recht innovativ 03/2018)

Premium Partner