A. Algorithmen als DNA der digitalen Zukunft

Vgl. dazu Lobe, Die Uhr tickt, FAZ vom 06.01.2017, S. 13; Beck, Can a Death-Predicting Algorithm Improve Care?, Wall Street Journal Online vom 02.12.2016.

Ähnlich haben Forscher der Universität Stanford ein Modell entwickelt, das auf der Grundlage tausender Patientendaten mit Hilfe neuronaler Netze binnen 24 Stunden nach der Einweisung eines Patienten in ein Krankenhaus den wahrscheinlichsten Todeszeitpunkt voraussagen kann. Die Daten sollen Patienten die Möglichkeit eröffnen, den Prozess des Sterbens möglichst angenehm zu gestalten, ihnen insbesondere – auf der Grundlage zuverlässiger Prognosen – die Entscheidung in die Hand geben, ob sie im Krankenhaus oder zu Hause sterben möchten. Hintergrund der Bemühungen ist nicht zuletzt eine empirische Erkenntnis: Rund 80 % der US-Amerikaner möchten ihren letzten Lebenstag am liebsten zu Hause verbringen; tatsächlich geschieht das aber nur in 20 % der Fälle. Die Entscheidung für die Einweisung in die Palliativversorgung des Krankenhauses ist also häufig fehlerhaft. Die computergenerierte Ermittlung soll dem Personal darüber hinaus mehr Zeit für die Versorgung der Patienten verschaffen. Ein Algorithmus soll den handelnden Personen die schwierige Entscheidung über die Behandlung in den letzten Lebenstagen abnehmen. Mit seinem Einsatz verbindet sich gleichwohl ein nicht unerhebliches Fehlerrisiko: Das System kann nicht nur individuelle Besonderheiten des Einzelfalls, etwa einen ungebrochenen Überlebenswillen, nicht treffsicher berücksichtigen. Es birgt auch das Risiko, dass das Klinikpersonal Patienten, denen das Computersystem eine negative Prognose ausstellt, kaum noch Mühe um die Lebensrettung angedeihen lässt. Sofern ein solches Palliativ-Prognoseinstrument rechtspolitisch überhaupt denkbar ist, dann jedenfalls nicht als vollautomatisiertes Verfahren, sondern als Assistenz-Tool einer originär ärztlichen Entscheidung. Vgl. zu dem Modell: Avati/Jung et al., BMC Medical Informatics and Decision Making 18 (2018), 55 (55 ff.) sowie Scherchel, Forschung: Künstliche Intelligenz sagt den Todeszeitpunkt voraus, heise online vom 26.01.2018; Tolmein, Meine Zeit steht in Rechners Händen, FAZ vom 30.01.2018, S. 11.

Ausführlich zur Zulässigkeit von Kosten-Nutzen-Abwägungen im Gesundheitswesen Deutscher Ethikrat, Nutzen und Kosten im Gesundheitswesen – Zur normativen Funktion ihrer Bewertung, 2011, S. 76 ff.; Brech, Triage und Recht, 2008, S. 180 ff. sowie Martini, JöR 63 (2015), 213 (224 ff.).

Angwin/Larson et al., Machine Bias, ProPublica vom 23.05.2016; Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 5.

Dazu auch Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 5; O’Neil, Angriff der Algorithmen, 2017, S. 38 ff.

Die Abkürzung steht für „Correctional Offender Management Profiling for Alternative Sanctions“.

Vgl. aber auch die Berichterstattung über die diskriminierende Tendenz der algorithmischen Entscheidung bei Angwin/Larson et al., Machine Bias, ProPublica vom 23.05.2016 sowie den realen Fragebogen unter Northpointe, Risk Assessment, https://​www.​documentcloud.​org/​documents/​2702103-Sample-Risk-Assessment-COMPAS-CORE.​html (20.06.2018); vgl. auch Barry-Jester/Casselman et al., The New Science of Sentencing, The Marshall Project vom 08.04.2015; dazu auch Lobe, Die Macht der Datenkonzerne und Algorithmen, FAZ vom 14.09.2016, S. 13; Lischka/Klingel, Wenn Maschinen Menschen bewerten, 2017, S. 9 ff. Der Hersteller der Software hat eine Gegendarstellung veröffentlicht, die der ProPublica-Analyse zahlreiche statistische und technische Mängel vorwirft, Dieterich/Mendoza et al., COMPAS Risk Scales: Demonstrating Accuracy Equity and Predictive Parity, 2016, S. 1, 20 ff.; eine Zusammenfassung findet sich bei Spielkamp, Technology Review Deutschland 8/2017, 36. Aufgeschlossen gegenüber Risk-Assessment-Software (bei sachgerechter Aufsicht) etwa auch Neufeld, In Defense of Risk-Assessment Tools, The Marshall Project vom 22.10.2017.

Gerstner, Predictive Policing als Instrument zur Prävention von Wohnungseinbruchdiebstahl, 2017, S. 1 ff.; zum Predictive Policing allgemein Gluba, Predictive Policing – eine Bestandsaufnahme, 2014; Legnaro/Kretschmann, Krim. Journal 2015, 94 (94 ff.); Rademacher, AöR 142 (2017), 366 (366 ff.).

Kurz, Wenn Daten Bürger verdächtig machen, FAZ vom 19.03.2018, S. 12; Winston, Palantir Has Secrety Been Using New Orleans to Test Its Predictive Policing Technology, The Verge vom 27.02.2018.

Zur wachsenden Bedeutung von Algorithmen statt vieler Coglianese/Lehr, Georgetown Law Journal 105 (2017), 1147 (1149 ff.); Hoffmann-Riem, AöR 142 (2017), 1 (4 f.); Tutt, Administrative Law Review 69 (2017), 83 (84 ff.).

Zu lernenden Algorithmen siehe A. III. 2.

Sogar aus dem Rhythmus des Tastaturanschlags lässt sich mit Hilfe technischer Analyseverfahren auf die Konsumneigung rückschließen. Dazu Christl, Kommerzielle digitale Überwachung im Alltag, 2014, S. 21; Epp/Lippold et al., Identifying Emotional States using Keystroke Dynamics, in: Tan (Hrsg.), Proceedings of the 29th Annual ACM CHI Conference on Human Factors in Computing Systems, 2011, S. 715 ff. Zur Vorhersage postpartaler Stimmungs- und Verhaltensänderungen von Müttern via Social Media siehe Choudhury/Counts et al., Predicting Postpartum Changes in Emotion and Behavior via Social Media, 2013, S. 3267 ff.

Vgl. Fron, Kann ein Algorithmus eine Gefährdung erkennen?, Deutschlandfunk Kultur vom 11.01.2018; Heller, Automatische Ferndiagnose, FAZ online vom 11.12.2017; Eggertson, CMAJ 187 (2015), 333 (333).

Das hat eine Recherche der Agentur Associated Press im Jahr 2018 ergeben; dazu Nakashima, Google tracks your movements, like it or not, Associated Press vom 13.08.2018; vgl. auch Weidemann, Standortpolitik, FAZ vom 15.08.2018, S. 13.

Vgl. die Zusammenfassung zeitgenössischer Quellen bei Fischer-Homberger, Sudhoffs Archiv 56 (1972), 297 (302 ff.). Nicht sicher belegbar ist dagegen die viel zitierte Warnung des bayerischen Obermedizinalkollegiums vor einer Überforderung des Gehirns durch die neuen Geschwindigkeiten, vgl. Roth, „Das Jahrhundert der Eisenbahn“. Die Herrschaft über Raum und Zeit 1800 bis 1914, 2005, S. 50.

Mohr, Treibstoff aus der Apotheke, Spiegel Geschichte vom 28.05.2013, S. 84; Es gibt aber reichlich Irrungen in die umgekehrte Richtung. So wagte der Staubsaugerhersteller Alex Lewyt im Jahre 1955 die Prognose: „Staubsauger, die durch Kernkraft angetrieben werden, sind vermutlich in zehn Jahren Realität“.

Dazu unten B. I. 2.

Dazu unten B. I. 1.

Vgl. die entsprechende Begriffsschöpfung und phänomenologische Einordnung bei Pariser, The Filter Bubble, 2011; vgl. auch Merkel, Rede zur Eröffnung der 30. Medientage am 25. Oktober 2016 in München, 2016, S. 4.

An der Existenz des Phänomens zweifeln nicht wenige Beobachter, so bspw. Flaxman/Goel et al., PUBOPQ 80 (2016), 298 (298 ff.) und Bakshy/Messing et al., science 348 (2015), 1130 (1130 ff.); dazu auch Behrens, Der Mythos von der Filterblase, Süddeutsche Zeitung Online vom 28.11.2016; Fletcher/Nielsen, new media & society 2017, DOI: 10.1177/1461444817724170, S. 13 f. Die Beiträge sind allerdings unter Beteiligung von großen IT-Unternehmen entstanden (Microsoft, Facebook und Google). Ablehnend auch der Psychologe Michal Kosinsky (Stanford University), der datengestützte Persönlichkeitsbestimmungen untersucht; vgl. Schulz, Die Filterbubble ist ein Mythos, taz online vom 17.12.2016, S. 7. Siehe auch die ausführliche Zusammenfassung bei Zuiderveen Borgesius/Trilling et al., Internet Policy Review 5 (2016), 1 (1 ff.).

A. a. O., S. 17.

A. a. O., S. 24.

A. a. O., S. 25.

A. a. O., S. 12 ff.

A. a. O., S. 21, 27. Der Grund dafür kann aber darin liegen, dass IT-Experten aufgrund einer gewissen „Betriebsblindheit“ für die Nachteile der Technologie weniger empfänglich sind.

Das Bedürfnis nach normativen Vorgaben für ethisch sensible algorithmenbasierte Entscheidungen ist beispielhaft markant ablesbar an der (idealtypischen) Dilemmasituation, in der ein selbstfahrendes Fahrzeug im Falle eines unvermeidbaren Unfalls entscheiden muss, ob es das Leben eines Kindes, des Fahrers oder einer Gruppe Senioren gefährdet. Um diese Frage ist eine breite Diskussion entbrannt. Eine Ethik-Kommission des Bundesministers für Verkehr und digitale Infrastruktur hat sie diskutiert. Ihr Bericht stellt ethische Regeln für den automatisierten und vernetzten Fahrzeugverkehr auf. „Dilemmatische Entscheidungen, wie die Entscheidung Leben gegen Leben“ hält sie für „von der konkreten tatsächlichen Situation […] abhängig […] nicht eindeutig normierbar und auch nicht ethisch zweifelsfrei programmierbar. Technische Systeme“ könnten „die Entscheidung eines sittlich urteilsfähigen, verantwortlichen Fahrzeugführers [nicht] ersetzen oder vorwegnehmen“. Jedenfalls bei „unausweichlichen Unfallsituationen [sei] jede Qualifizierung nach persönlichen Merkmalen (Alter, Geschlecht, körperliche oder geistige Konstitution) strikt untersagt“. Eine Programmierung, die sich auf die Minderung der Zahl von Personenschäden richtet, hält die Kommission aber für vertretbar, obgleich an der Erzeugung von Mobilitätsrisiken Unbeteiligte nicht geopfert werden dürften. Ethik-Kommission Automatisiertes und Vernetztes Fahren, Bericht Juni 2017, 2017, S. 11. Zu Dilemmata beim autonomen Fahren bspw. Weber, NZV 2016, 249 (249 ff.). Zu den Regelungsbedürfnissen für autonomes Fahren siehe auch Gasser, Grundlegende und spezielle Rechtsfragen für autonome Fahrzeuge, in: Maurer/Gerdes/Lenz et al. (Hrsg.), Autonomes Fahren: Technische, rechtliche und gesellschaftliche Aspekte, 2015, S. 543 (551 ff.); Kaler/Wieser, NVwZ 2018, 369 (369 ff.); Lange, NZV 2017, 345 (345 ff.).

O’Neil, Weapons of Math Destruction, 2016, S. 3.

Vgl. die von einem breiten Unterstützerkreis aus vielen Bereichen des öffentlichen Lebens getragene Initiative der ZEIT-Stiftung Ebelin und Gerd Bucerius, Wir fordern Digitale Grundrechte – Charta der Digitalen Grundrechte der Europäischen Union, 2016, dort insbesondere die Art. 7 und 8. Siehe auch Álvarez, Künstliche Intelligenz – Algorithmen als Freund und Helfer?, tagesspiegel.de vom 06.02.2018; Beuth, Die Automaten brauchen Aufsicht, Zeit Online vom 25.10.2017; Sauer, Algorithmen kennen keine Moral, haz.de vom 26.05.2018; Thiel, Wissen sie überhaupt, was sie tun?, FAZ online vom 23.06.2018; Werner, Robotergehirne brauchen Regeln, Süddeutsche Zeitung Online vom 16.03.2018.

Vgl. etwa Carr, The Manipulators: Facebook’s Social Engineering Project, Los Angeles Review of Books online vom 14.09.2014; Hamann/Soboczynski, Der Angriff der Intelligenz, Zeit Online vom 10.09.2014; Kroll/Huey et al., University of Pennsylvania Law Review 165 (2017), 633 (636) mit zahlreichen weiteren Beispielen; Kroll, Accountable Algorithms, 2015, S. 79 ff., 156 ff.; Lanier, Who owns the future?, 2013, insbesondere S. 204; Morozov, The rise of data and the death of politics, The Guardian online vom 20.07.2014.

Etwa Ernst, JZ 2017, 1026 (1026, 1031 ff.); Hoffmann-Riem, AöR 142 (2017), 1 (20 ff.); Wischmeyer, AöR 143 (2018), 1 (18 ff.). Für die internationale Diskussion vgl. Citron/Pasquale, Washington Law Review 89 (2014), 1 ff.; Edwards/Veale, Duke Law & Technology Review 16 (2017), 18 (18 ff.) m. w. N. (insbesondere Fn. 4), welche die politische Diskussion mit der unsichtbaren Hand des Marktes im 19. Jahrhundert vergleichen (19 f.); Pasquale, The Black Box Society, 2015; Tene/Polonetsky, Northwestern Journal of Technology and Intellectual Property 11 (2013), 239 (239 ff.); Tufekci, Colorado Technology Law Journal 2015, 203 (203 ff.). Bezogen auf den Anwendungsfall „Autonome Fahrzeuge“ etwa Gasser, Grundlegende und spezielle Rechtsfragen für autonome Fahrzeuge, in: Maurer/Gerdes/Lenz et al. (Hrsg.), Autonomes Fahren: Technische, rechtliche und gesellschaftliche Aspekte, 2015, S. 543 (556 ff.); mit Blick auf die Autocomplete-Funktion von Google Search siehe Kastl, GRUR 2015, 136 (136 ff.); Müller-Hengstenberg/Kirn, MMR 2014, 307 (307 ff.). Zu Diskriminierungen durch datengestützte Einstellungsassistenten im Arbeitsrecht von Lewinski/de Barros Fritz, NZA 2018, 620 ff. Für den Unterbereich Robotik vgl. Beck, JR 2009, 225 (225 ff.); Spranger/Wegmann, Öffentlich-rechtliche Dimensionen der Robotik, in: Beck (Hrsg.), Jenseits von Mensch und Maschine, 2012, S. 105 (105 ff.).

Vgl. etwa Merkel, Rede zur Eröffnung der 30. Medientage am 25. Oktober 2016 in München, 2016, S. 4: „Algorithmen gewinnen sozusagen eine gesamtgesellschaftliche Bedeutung“. Entschließung des Europäischen Parlaments vom 14.03.2017, 2016/2225(INI), insbesondere ErwGrd M mit einigen Empfehlungen zum Umgang mit Algorithmen Punkte 4, 5, 7; Christlich Demokratische Union Deutschlands/Christlich Soziale Union in Bayern et al., Koalitionsvertrag zwischen CDU, CSU und SPD, 2018, Zeile 2053 ff., 6266 ff. Für die Politikberatung vgl. Sachverständigenrat für Verbraucherfragen beim Bundesministerium der Justiz und für Verbraucherschutz, Verbraucherrecht 2.0, Dez. 2016, S. 56 ff.

BT-Drucks. 19/2978. Im Auftrag des Bundestagsausschusses für Kultur und Medien forscht auch das Büro für Technikfolgenabschätzung beim Deutschen Bundestag in einem Projekt unter dem Titel „Algorithmen in digitalen Medien und ihr Einfluss auf die Meinungsbildung“; dazu Oertel, Welchen Einfluss haben Algorithmen auf die Meinungsbildung?, TAB-Brief Nr. 48, S. 13. Vgl. auch das Thesenpapier des Bundesverbands der Verbraucherzentralen und Verbraucherverbände Verbraucherzentrale Bundesverband, Algorithmenbasierte Entscheidungsprozesse, 07.12.2017. Vgl. ferner die Nachweise bei Wischmeyer, AöR 143 (2018), 1 (6).

Sie fasst 52 Experten zusammen, die unter Einbeziehung verschiedener Stakeholder mittelfristig Vorschläge für ethische Leitlinien für Künstliche Intelligenzen entwickeln soll. Europäische Kommission, High-Level Group on Artificial Intelligence, https://​ec.​europa.​eu/​digital-single-market/​en/​high-level-group-artificial-intelligence (20.06.2018).

Vgl. Dachwitz, OpenSCHUFA: Mehr als 15.000 Auskunftsanfragen in einem Monat, netzpolitik.​org vom 13.03.2018. Zur Kritik der SCHUFA an der Initiative SCHUFA Holding AG, „OpenSchufa“-Kampagne irreführend und gegen Sicherheit und Datenschutz in Deutschland, Pressemitteilung v. 15.02.2018.

Goliathwatch, Google macht hetzerische Suchvorschläge wie „Migration ist Völkermord“, Pressemitteilung v. 03.08.2018. In Deutschland wurde bisher vor allem über Persönlichkeitsrechtsverletzungen bei der Autovervollständigung diskutiert, vgl. den Fall Bettina Wulff: Trenkamp, Bettina Wulff gegen Google – Attacke auf den Algorithmus, Spiegel Online vom 08.09.2012. In der englischsprachigen Welt tobt die Diskussion schon seit 2016, vgl. Gibbs, Google alters search autocomplete to remove ‚are Jews evil‘ suggestion, The Guardian online vom 05.12.2016.

Etwa Microsoft Research mit sieben Niederlassungen weltweit, Research at Google u. a. mit seinem Team Security, Privacy and Abuse Prevention sowie facebook research u. a. mit der Gruppe Security & Privacy.

Vgl. für viele Ananny/Crawford, new media & society 20 (2018), 973 (973 ff.); Bakshy/Messing et al., science 348 (2015), 1130 (1130 ff.); Flaxman/Goel et al., PUBOPQ 80 (2016), 298 (298 ff.).

Mit diesem Slogan betitelte das Weiße Haus im Jahre 2013 eine Veranstaltung zur Vorstellung einer Reihe neuer Kollaborationsprojekte rund um das Thema „Big Data“.

Eine unmittelbare virtuelle „Verlängerung“ des menschlichen Gehirns sind Computersysteme schon deshalb gegenwärtig nicht, weil sie grundsätzlich (mit Ausnahme von Quantencomputern [dazu Fn. 81]) binär und eben nicht organisch funktionieren. Zu der Frage, inwiefern sich die Arbeit eines Computers und die des menschlichen Gehirns ähneln, hat sich eine lebhafte wissenschaftliche Debatte entwickelt. Zur Kritik der Computermetapher („Information processing metaphor“) als Hilfsmittel, um die Funktionsweise und den Aufbau des menschlichen Gehirns als digital zu beschreiben; vgl. bspw. Epstein, The empty brain, https://​aeon.​co/​essays/​your-brain-does-not-process-information-and-it-is-not-a-computer (07.02.2017). Aus dem deutschen Sprachraum besonders engagiert für die menschliche Eigenständigkeit argumentierend Gabriel, Ich ist nicht Gehirn, 2015, S. 303 ff.

Siehe dazu die Beispiele bei Martini, Big Data, in: Hill/Martini/Wagner (Hrsg.), Digitale Lebenswelt, 2015, S. 97 (109 ff.); Weichert, Big Data im Gesundheitsbereich, 2018, S. 64 ff.

Dazu allgemein Susto/Schirru et al., IEEE Transactions On Industrial Informatics 11 (2015), 812 ff. Zur predictive maintenance, um die Schnelligkeit des Schienennetzes zu verbessern Li/Parikh et al., Transportation Research Part C 45 (2014), 17 (18 ff.). Für eine Einführung in die Möglichkeiten der Technologie vgl. Mobley, An Introduction To Predictive Maintenance, 2. Aufl., 2002, S. 60 ff.

Dazu Christ/Ebert, HMD Praxis der Wirtschaftsinformatik 53 (2016), 298 (299 ff.); Strohmeier, Analysen der Human Resource Intelligence und Analytics, in: Strohmeier/Piazza (Hrsg.), Human Resource Intelligence und Analytics, 2015, S. 3 (3 f.).

Shallue/Vanderburg, AJ 155 (2018), 1 (1 ff.); Google Team, Blogpost: Mit KI neue Planeten entdecken!, https://​germany.​googleblog.​com/​2017/​12/​planeten-mit-KI-entdecken.​html (29.01.2018).

Brown, ‚New Rembrandt‘ to be unveiled in Amsterdam, The Guardian online vom 05.04.2016; Floridi, Philosophy & Technology 31 (2018), 317 (319 f.).

Die Relevanz von Big Data für die öffentliche Aufgabenwahrnehmung beleuchten etwa Falkenberg/Kisker et al., Big-Data-Technologien – Wissen für Entscheider, 2014; KPMG, Der öffentliche Sektor auf dem Weg zu Big Data?, 2016, S. 8 ff.; Mergel, Big Data und Data-Science-Ansätze in der öffentlichen Verwaltung, in: Mohabbat Kar/Thapa/Parycek (Hrsg.), (Un)Berechenbar?, 2018, S. 76 (82 ff.); Schuppan/Köhl, Verwaltung und Management 22 (2016), 27 (29 ff.) und The White House, Big Data: Seizing Opportunities, Preserving Values, Mai 2014, S. 58.

Gesetz zur Modernisierung des Besteuerungsverfahrens vom 18. Juli 2016, BGBl. I, S. 1679; vgl. hierzu bspw. Braun Binder, NVwZ 2016, 960 (960 ff.); Martini/Nink, NVwZ-Extra 10/2017, 1 (1 ff.); Schmitz/Prell, NVwZ 2016, 1273 (1273 ff.); Siegel, DVBl 2017, 24 (24 ff.).

BT-Drs. 18/7457, S. 48 f., 69 f., 82 f. Das Gesetz trifft nur rudimentäre Vorgaben für den technischen Aufbau eines solchen Programms; vgl. die umfassende Kritik hierzu anlässlich der Sachverständigenanhörung im Finanzausschuss des Bundestages, Wortprotokoll der 75. Sitzung der 18. Wahlperiode vom 13.04.2016, S. 23 ff.

Vgl. statt vieler Güting/Dieker, Datenstrukturen und Algorithmen, 4. Aufl., 2018, S. 33 f.; Zweig/Krafft, Fairness und Qualität algorithmischer Entscheidungen, in: Mohabbat Kar/Thapa/Parycek (Hrsg.), (Un)Berechenbar?, 2018, S. 204 (207).

Vgl. etwa Heise, Algorithmen, in: Heesen (Hrsg.), Handbuch Medien- und Informationsethik, 2016, S. 202 (202 f.); Barth, Algorithmik für Einsteiger, 2. Aufl., 2014, S. 10 ff.; Ziegenbalg/Ziegenbalg et al., Algorithmen von Hammurapi bis Gödel, 4. Aufl., 2016, S. 33 ff.

Vgl. etwa Gross/Lentin, Mathematische Linguistik, 1971, S. 42 ff.; zusammenfassend m. w. N. auch Kroll, Accountable Algorithms, 2015, S. 2 f., Fn. 1 und Kroll/Huey et al., University of Pennsylvania Law Review 165 (2017), 633 (640 f., Fn. 14). Vgl. auch Ernst, JZ 2017, 1026 (1026); Kastl, GRUR 2015, 136 (136) m. w. N. Zu den Forderungen der Endlichkeit und Determiniertheit auch Barth, Algorithmik für Einsteiger, 2. Aufl., 2014, S. 8.

Auch Kochrezepte und Bedienungsanleitungen sind streng genommen Algorithmen.

Soweit dieses Werk von „Algorithmen“ spricht, meint es regelmäßig verkürzend Computeralgorithmen, insbesondere ihre digitale Ausgestaltung mittels Programmcode; so auch bspw. Tutt, Administrative Law Review 69 (2017), 83 (85 mit Fn. 2). Kritisch zur Verwendung des Begriffs „Algorithmus“ in der Literatur Kroll/Huey et al., University of Pennsylvania Law Review 165 (2017), 633 (640 f., Fn. 14) und Wischmeyer, AöR 143 (2018), 1 (4, Fn. 9), die eher von Computer-„Systemen“ sprechen möchten.

Quantencomputer folgen demgegenüber keiner binären Logik. Sie arbeiten in der Rechnungseinheit sog. Qubits: Bei ihnen können sich die Zustände „0“ und „1“ überlagern. Vergleichbar mit einer Münze, die in die Luft geworfen wird und gleichzeitig sowohl „Kopf“ als auch „Zahl“ anzeigt, gestatten sie den Semizustand eines Sowohl-als-auch-Modus: Qubits sind in der Lage, eine unbegrenzt große Zahl von Zuständen einzunehmen. Sie bieten dadurch im Vergleich zu herkömmlichen Systemen eine exponentiell höhere Rechenleistung. Ihre Fähigkeiten eignen sich insbesondere, um komplexe Sachverhalte zu analysieren und zu simulieren, z. B. Klima- oder Wetterdaten, Reaktionen zwischen Molekülen oder, um Staus vorherzusagen oder neue Medikamente zu entwickeln. Quantencomputer sind dazu prädestiniert, sehr große Datenbestände nach verdächtigen Mustern zu durchsuchen. Ihre Rechenkapazität kann nicht zuletzt herkömmliche Verschlüsselungsverfahren durchbrechen. Das wird die Mechanismen der Datensicherheit, die bisher als unangreifbare Goldstandards gelten, vor Herausforderungen stellen. Zu Quantencomputern siehe bspw. Homeister, Quantum Computing verstehen, 5. Aufl., 2018, S. 253 ff.; Nielsen/Chuang, Quantum Computation and Quantum Information, 2000, S. 171 ff.

„Softwareanwendung“ beschreibt mit anderen Worten ein durch einen Programmcode gesteuertes Gesamtsystem, das – vermittelt durch ein Endgerät – Außenwirkung gegenüber einem Nutzer entfaltet, sei es auf der Grundlage eines (heruntergeladenen) Programms, sei es eines Telemediendienstes (etwa einer E-Commerce-Plattform). Im Gegensatz zu einer „Hardwareanwendung“ (bspw. einem Roboter) wirkt eine Softwareanwendung grundsätzlich nicht als solche physisch in die reale Lebenswelt hinein, sondern beschränkt sich auf Prozesse der Datenverarbeitung und Entscheidungsfindung innerhalb eines informationstechnischen Systems. Eine Softwareanwendung agiert nicht allein aufgrund der Programmierung bestimmter Befehle. Neben den Algorithmen, welche die konkrete Datenverarbeitung steuern, ist sie zugleich auf andere Bauteile (etwa eine Datenbasis) angewiesen, um ihre Leistungen erbringen zu können; vgl. dazu Ottmann/Widmayer, Algorithmen und Datenstrukturen, 6. Aufl., 2017, S. 24 ff. Fehler, die sich in eine Softwareanwendung einschleichen, sind daher auch nicht notwendig das Produkt eines fehlerhaften Algorithmus. Der Fehler kann ebenso gut auch in der verwendeten Datengrundlage liegen. Es spränge daher zu kurz, alleine Algorithmen als Regulierungsgegenstand in den Blick zu nehmen, um die Risiken moderner Softwareanwendungen zu beherrschen. Die Rechtsordnung ist vielmehr aufgerufen, das gesamte Handlungsinstrumentarium der Softwareanwendungen – insbesondere die Datengrundlage, die Trainingsumgebung eines lernfähigen Systems, aber auch Aspekte der IT-Sicherheit – zu erfassen, um sachgerechte Antworten auf Regulierungsbedürfnisse zu finden.

So wie auch der Mensch bei intuitiven oder erfahrungsbasierten Entscheidungen nicht nach formalisierten oder gar formalisierbaren Maßstäben handelt, verfolgt auch die Informatik Wege, einen Suchraum für einen Algorithmus mit Hilfe stochastischer Methoden durch Abkürzungsmodelle durchschreitbar zu gestalten; vgl. Ertel, Grundkurs Künstliche Intelligenz, 4. Aufl., 2016, S. 71 ff. Vgl. dazu auch Mainzer, Künstliche Intelligenz – Wann übernehmen die Maschinen?, 2016, S. 15 ff.

Häufig ist auch von „selbstlernenden“ Algorithmen die Rede. Der Begriff ist jedoch genau genommen eine Tautologie. Denn „selbst“ zu lernen, ist einem Lernprozess bereits als solchem immanent.

Ein digitales System, das den Zielen Künstlicher Intelligenz verschrieben ist, bezeichnet die Informatik aufgrund seiner nicht-deterministischen, eigenständigen Lösungssuche als – handelnden – „Agenten“, vgl. zur Definition etwa Ertel, Grundkurs Künstliche Intelligenz, 4. Aufl., 2016, S. 18 ff.; Kirn/Müller-Hengstenberg, MMR 2014, 225 (226) m. w. N.

Vgl. etwa die Ausführungen bei Ertel, Grundkurs Künstliche Intelligenz, 4. Aufl., 2016, S. 195: „Ein Agent heißt lernfähig, wenn sich seine Leistungsfähigkeit auf neuen, unbekannten Daten im Laufe der Zeit (nachdem er viele Trainingsbeispiele gesehen hat) verbessert (gemessen auf einem geeigneten Maßstab).“ Er zeichnet sich durch den Vorteil aus, „in zunächst unbekannten Umgebungen zu arbeiten und kompetenter zu werden, als sein Ausgangswissen es erlauben würde“; Russell/Norvig, Künstliche Intelligenz, 3. Aufl., 2012, S. 83.

Intelligentes von nicht-intelligentem Verhalten abzugrenzen, ist keineswegs trivial, sondern eine fast unlösbare Aufgabe. Bereits in Bezug auf organisches Leben ist umstritten und unklar, was „Intelligenz“ im Detail bedeutet; dazu etwa Mainzer, Künstliche Intelligenz – Wann übernehmen die Maschinen?, 2016, S. 2 ff. m. w. N. Als – dynamisch angelegte – Arbeitsdefinition schlägt er vor: „Ein System heißt intelligent, wenn es selbstständig und effizient Probleme lösen kann. Der Grad der Intelligenz hängt vom Grad der Selbstständigkeit, […] der Komplexität und […] der Effizienz des Problemlösungsverfahrens ab.“ (S. 3). Vgl. darüber hinaus Schael, DuD 2018, 547 (547) zur Diskussion, ob und inwieweit das dem Menschen als natürlicher Faktor eingeborene Merkmal der Intelligenz sich überhaupt als fachlich korrekter Begriff für moderne Technik eignet.

Darin liegt aber auch eine immanente Erkenntnisgrenze: Daten, die (noch) nicht in Maschinensprache übertragbar sind (etwa, ob jemand Gefühle empfindet) oder auf die das System nicht zugreifen kann (etwa aufgrund datenschutzrechtlichen Verbots), können in die Entscheidung nicht einfließen. Der Horizont eines lernfähigen Systems ist dadurch gegenüber einem Menschen erheblich limitiert.

Kirn/Müller-Hengstenberg, MMR 2014, 225 (229). Zur Funktionsweise wissensbasierter Systeme, in denen Verfahren und Wissensbasis voneinander getrennt sind, Ertel, Grundkurs Künstliche Intelligenz, 4. Aufl., 2016, S. 20 ff. Siehe auch Mainzer, Künstliche Intelligenz – Wann übernehmen die Maschinen?, 2016, S. 43 ff.

Copeland, What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?, https://​blogs.​nvidia.​com/​blog/​2016/​07/​29/​whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/​ (20.06.2018). Vgl. auch Domingos, Communications of the ACM 55 (2012), 78 (78 ff.); Jones, Nature 2014, 146 ff.; Scherk/Pöchhacker-Tröscher et al., Künstliche Intelligenz – Artificial Intelligence, 2017, S. 14 ff.; Wischmeyer, AöR 143 (2018), 1 (11 ff., insb. Fn. 42) m. w. N.

Beim überwachten Lernen geben Menschen ein erhebliches Maß an Anleitung: Der Algorithmus trainiert das Modell unter Anleitung eines Menschen mit einer Sammlung von Stichprobenelementen (Samples), denen jeweils eine Klassenbezeichnung (Label) zugewiesen wird (z. B. „auf dem Bild ist eine Katze zu sehen“). Der Trainingsprozess mündet in ein Klassifikationsmodell, das die Klassen neuer Stichprobenelemente erkennen kann. Algorithmen wenden die Erkenntnisse dann auf neue Daten an, z. B. wenn sie Katzenbilder als solche erkennen und ohne Eingriffe eines Menschen einer Kategorie zuordnen. Vgl. Ertel, Grundkurs Künstliche Intelligenz, 4. Aufl., 2016, S. 3. Im Gegensatz zum menschlichen Experten verfügt ein solches System aber über „kein allgemeines Hintergrundwissen, keine Erinnerungen, Gefühle und Motivationen“; Mainzer, Künstliche Intelligenz – Wann übernehmen die Maschinen?, 2016, S. 12; Rich, University of Pennsylvania Law Review 164 (2016), 871 (881 mit Fn. 61).

Kamarinou/Millard et al., Machine Learning with Personal Data, 2016, S. 3 ff. m. w. N.; Scherk/Pöchhacker-Tröscher et al., Künstliche Intelligenz – Artificial Intelligence, 2017, S. 16 ff.

Dazu Mainzer, Künstliche Intelligenz – Wann übernehmen die Maschinen?, 2016, S. 99 ff. Die jüngere informatische Forschung hat interessante und wesentliche Unterschiede zwischen der Funktion des menschlichen Gehirns und neuronalen Netzen bei der Bilderkennung festgestellt. Gut funktionierende Bilderkennungsprogramme lassen sich mit – für den Menschen – nichtssagenden Bildern, wie abstrakten Mustern oder „Fernsehrauschen“, hinters Licht führen, obwohl sie gegen ähnliche Fehlfunktionen trainiert wurden. Das lässt auf entscheidende Unterschiede zwischen den Funktionsweisen des Gehirns und neuronaler Softwareprodukte schließen; vgl. Nguyen/Yosinski et al., Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images, in: Institute of Electrical and Electronics Engineers (Hrsg.), Proceedings of the 28th IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 07.–12.06.2015, 2016, S. 427 ff. m. w. N. und instruktiven Bild-Beispielen.

Dort, wo die Programme hierzu noch nicht in der Lage sind („Human Intelligence Tasks“), kommen menschliche Arbeiter zum Einsatz, die über Crowdsourcing-Plattformen, wie Amazon Mechanical Turks, Aufgaben weltweit an sog. Turker outsourcen; vgl. den Bericht des Pew Research Center Hitlin, Research in the Crowdsourcing Age, Case Study, 2016, S. 3, 8 f.; vgl. auch Kamarinou/Millard et al., Machine Learning with Personal Data, 2016, S. 4 m. w. N.

Buxmann/Schmidt, Grundlagen der Künstlichen Intelligenz und des Maschinellen Lernens, in: dies. (Hrsg.), Künstliche Intelligenz, 2019, S. 3, 29; Schlieter, Die Herrschaftsformel, 2015, S. 29 f.