Auswirkungen der Medizinprodukteverordnung auf ML-Lösungen in Schweizer Spitälern

Eine der ersten Anwendungen von Künstlicher Intelligenz (KI) im Gesundheitswesen erfolgte bereits in den 1970er-Jahren mit MYCIN (Glauner 2022). Dies war ein auf Basis von Lisp programmiertes Expertensystem, welches zur Diagnose von bakteriellen Infektionskrankheiten eingesetzt wurde. Seit diesen ersten Versuchen haben sich sowohl die Rechenleistung, Datenverfügbarkeit und Vernetzung, als auch die KI-Technologie und Algorithmen massiv weiterentwickelt. Daraus hat sich ein breites Spektrum von Anwendungsmöglichkeiten im Gesundheitsbereich etabliert. Speziell in Spitälern, als die größten Leistungserbringer in der Schweiz, sind die Potentialerwartungen immens. Die Aussichten erstrecken sich von der Effizienzsteigerung und Optimierung von internen Spitalprozessen bis zu einem effektiveren Patientenpfad, während und nach dem Aufenthalt im Spital. Hier kann KI als Querschnittstechnologie und in Kombination mit anderen Technologien wie z. B. Cloud Computing, Virtuelle Realität und Internet-of-Things klare Vorteile aufzeigen (Angerer und Berger 2023).

Somit kann KI als wesentliches Hilfsmittel angesehen werden und es verwundert, warum bereits vorhandene KI-Lösungen nicht durchgehend im Gesundheitswesen eingesetzt werden. Neben einer gewissen Vorsicht gegenüber neuen Technologien und dem Widerstand gegen Veränderungen sind sicher die regulatorischen und gesetzlichen Vorgaben zum korrekten Einsatz von KI in Spitälern ein wichtiger Faktor für diese Zurückhaltung. Dies sind Vorgaben wie das Datenschutzgesetz DSG und im Speziellen die Schweizer Medizinprodukteverordnung (MepV) sowie die mit ihr auf europäischer Ebene eng verknüpfte Medical Device Regulation (MDR), welche oftmals einige offenen Fragen hinterlassen. Ziel dieser Regulatorien ist es, den Schutz von Leib und Leben der Patient:Innen zu gewährleisten und dies mittels nachvollziehbaren Qualitätssicherungsmaßnahmen möglichst zu garantieren. Jedoch stoßen gewisse KI-Technologien wie Maschinelles Lernen (ML) und Deep Learning genau hier an ihre Grenzen, da ihre Ergebnisse zumeist nicht vollständig erklärbar und nachvollziehbar sind. Die Nutzung der aktuell sehr im Fokus stehenden Generativen KI mit z. B. ChatGPT verschärft diese Nicht-Erklärbarkeit noch zusätzlich.

Erschwerend kommt der Umstand hinzu, dass KI-Modelle oftmals in einer Public-Cloud-Umgebung betrieben werden. Dies kann aus Kosten- und Ressourcengründen sinnvoll sein, jedoch entstehen hiermit zusätzliche regulatorische Anforderungen an die Datenverarbeiter der Gesundheitsdaten (Russ et al. 2023) und an die Prüfung der medizinischen regulatorischen Vorgaben (Reinsch 2021). In dieser Arbeit wird ein erster Vorschlag bezgl. Maßnahmen erarbeitet, welche die ML-basierte Softwareentwicklung mit der MepV/MDR besser in Einklang bringen können.

Die Arbeit stützt sich auf eine qualitative und quantitative Datenerhebung (Wilde und Hess 2007) zum Stand der KI-Nutzung in allgemeinen Schweizer Spitälern. Diese wurde anhand einer online Umfrage an die IT-Verantwortlichen in Spitälern und mit zusätzlichen Experteninterviews durchgeführt. Als Vorarbeit wurde die bestehende Literatur zur Einteilung und Funktionsweise von Künstlicher Intelligenz kompakt aufgearbeitet und eine einfache Literaturrecherche und Prüfung der rechtlichen Vorgaben im Bereich MepV/MDR durchgeführt. Daraus wurden die regulatorischen Voraussetzungen für den Einsatz von ML in Schweizer Spitälern analysiert und die wichtigsten Schritte dazu argumentativ-deduktiv in einem Phasenmodell abgeleitet (Wilde und Hess 2007). Dieses entwickelte Modell wurde mit aktuellen Angaben von europäischen Prüfungsstellen (Benannten Stellen) und US-Regulatoren ergänzt.

Der Einsatz von KI ist aufgrund der erheblichen Verbesserungen der Rechenleistung und der Speichertechnologien, welche die Verarbeitung großer Datenmengen (Big Data) ermöglichen, zu einem allgegenwärtigen Thema in vielen Bereichen des menschlichen Lebens geworden. KI verwendet maschinelle und/oder menschliche Eingaben, um reale Umgebungen automatisiert in Bezug auf ein gewisses Ziel oder Ergebnis zu analysieren und daraus Erkenntnisse und Handlungsmöglichkeiten abzuleiten (Zimmer 2022; Angerer und Berger 2023). Wie in Abb. 1 dargestellt, gibt es zwei wichtige Technologierichtungen in der KI: Die symbolische und die subsymbolische KI, aus welchen auch kombinierte in-between Ansätze entstanden sind.

Die Technologie der symbolischen KI führt zu logischen Schlussfolgerungen und wird durch explizite symbolische Methoden, wie formale Methoden und Programmiersprachen, definiert (Abb. 1). Sie wird in der Regel mit Wissensdatenbanken und Expertensystemen in Verbindung gebracht und bietet einen für den Menschen verständlichen Berechnungsablauf, der die Fehlersuche, Erklärung und Kontrolle erleichtert. Andererseits liefert die subsymbolische/statistische KI assoziative Ergebnisse und stellt Korrelationen zwischen Eingabe- und Ausgabevariablen her. Sie umfasst statistische Lernmethoden, wie Bayes’sches Lernen, Maschinelles Lernen und genetische Algorithmen (Ilkou und Koutraki 2020).

Das Maschinelle Lernen (ML) in Abb. 1 stellt einen wichtigen Teilbereich der subsymbolischen KI dar, welcher ohne explizite Programmierung aus Daten lernen und Vorhersagen treffen kann. Deep Learning ist ein Teilbereich des MLs, bei dem tiefe neuronale Netze (Deep Neural Networks, DNNs) eingesetzt werden, um wesentliche Merkmale aus unstrukturierten Daten wie Bildern und Texten zu extrahieren und zu interpretieren. In der Medizin kommt Deep Learning beispielsweise zum Einsatz, um in medizinischen Scans, Pathologiepräparaten, Bildern von Hautläsionen, Elektrokardiogrammen oder sonstigen Vitaldaten aussagekräftige Muster zu erkennen und diese zu interpretieren (Zimmer 2022).

Die in-between Methoden (Abb. 1) zielen darauf ab, die Lücke zwischen symbolischen und subsymbolischen Paradigmen zu schließen, indem sie die Fähigkeit, aus der Umgebung zu lernen, mit der Fähigkeit, die Ergebnisse zu verstehen, kombinieren. Sie verbinden statistisches Lernen mit logischem Denken und eignen sich auch für Anwendungen, die große Mengen heterogener Daten verwenden und Wissensbeschreibungen benötigen. Dies kann zum Beispiel ein ML Modell zur medizinischen Bilderkennung kombiniert mit einer von medizinischen Experten:Innen erstellten Wissensbasis sein, um Krankheiten zu erkennen und ihre Ursache zu erklären (Nolle et al. 2023). Die bestehenden hybriden Modelle sind jedoch nicht allgemeingültig und können nur in spezifischen Bereichen eingesetzt werden. Da die Abgrenzung und Definition der Ansätze noch immer in Bewegung sind, werden sie auch als neuronal-symbolische, hybride oder vereinheitlichte Methoden bezeichnet (Ilkou und Koutraki 2020).

Ein neuer Spezialbereich des ML ist die „Generative KI“ (GenKI), wie in Abb. 1 dargestellt, welche darauf ausgelegt ist, neue Datenmuster zu generieren. Sie nutzt Technologien wie Deep Learning und setzt neuronale Netze ein, um Muster in den Daten zu verstehen und zu replizieren. Die generative KI findet in verschiedenen Bereichen Anwendung. Im Gesundheitswesen hilft sie z. B. bei der Synthese medizinischer Bilder für Forschungs- und Schulungszwecke. Darüber hinaus unterstützt sie bei Aufgaben der natürlichen Sprachverarbeitung wie Textvervollständigung, Übersetzung und Dialoggenerierung (Meskó und Topol 2023).

Das zugrunde liegende Modell einer generativen KI wird als Foundation Model bezeichnet, wobei sogenannte Transformatoren die Schlüsselkomponenten von solchen Modellen darstellen. Ein Transformator ist eine Art künstliches neuronales Netzwerk, das mit Deep Learning trainiert wird. Aufgrund der Art und Weise, wie aktuelle Foundation Models funktionieren, sind diese nicht für alle Anwendungen geeignet. Sie können zum Beispiel zu „Halluzinationen“ (nicht durch Trainingsdaten begründete Resultate) neigen oder Fragen mit plausiblen, aber unwahren Behauptungen beantworten. Zudem werden oft die zugrundeliegenden Überlegungen (explainability) oder Quellen für eine Antwort nicht angegeben (Chui et al. 2023).

Ziel der Medizinprodukteverordnung ist es, die öffentliche Gesundheit und die Patientensicherheit besser zu schützen und für mehr Transparenz und Qualität in der Medizintechnik zu sorgen. Die neue Schweizer Medizinprodukteverordnung (MepV) SR 812.213 ist 2021 in Kraft getreten und löste die Medical Device Directive (MDD) der EU damit ab (Swissmedic 2021b, 2019). Laut eHealthSuisse (2022) muss ein marktfähiges Medizinprodukt allen anwendbaren Schweizer und EU-Richtlinien entsprechen und ein rechtmäßiges Konformitätsbewertungsverfahren erfolgreich durchlaufen haben. Die Konformität (Zertifizierung) wird dann durch ein CE-Zeichen auf dem Medizinprodukt sichtbar gemacht. Im europäischen Raum wird diese Konformität durch sogenannte Benannte Stellen (Notified Bodies) geprüft (eHealthSuisse 2022, p. 13).

Somit darf ein medizinisches Produkt nur in Verkehr gebracht oder in Betrieb genommen werden, wenn es bei sachgemäßer Lieferung, korrekter Installation und bei seiner Verwendung dieser Verordnung entspricht. Da die europäische Medical Device Regulation (MDR) auch für Schweizer Medizinprodukte im europäischen Raum zur Geltung kommt, sind ein Großteil der MDR-Vorgaben auch für die Schweizer MepV relevant. Schlussendlich müssen diese Produkte unter Berücksichtigung ihrer medizinischen Zweckbestimmung den grundlegenden Sicherheits- und Leistungsanforderungen nach MDR genügen (Eur-Lex 2017; Fedlex 2020).

Es bestehen vier MDR-Klassen (Klasse I, Klasse IIA, IIB, und Klasse III), welche aufsteigend umfassendere Anforderungen an die Dokumentation und Sorgfalt der Medizinproduktehersteller stellen. Speziell bei Software, welche als mobile App, als standalone Produkt oder als Ergänzung zu einem Hardware-Medizingerät mitgeliefert wird, muss nach der MDR Regel 11 eine Klassifizierung vorgenommen werden (eHealthSuisse 2022, p. 28). Generell muss Software zur Speicherung, Verarbeitung oder Weitergabe von Medizindaten nicht gemäß MDR qualifiziert werden, solange kein medizinischer Zweck angepriesen wird (Gerhart 2021; Swissmedic 2021a). Werden jedoch Informationen generiert, welche bei Entscheidungen für diagnostische oder therapeutische Zwecke berücksichtigt werden, so ist dies bezüglich MDR relevant und es wird gemäß Regel 11 in Klasse IIa oder höher eingestuft (MDCG 2019, 2021, p. 23). Anhand dieser umfangreichen Formulierungen in Regel 11 ist anzunehmen, dass beinahe jede Software mit einem medizinischen Zweck in die Klasse IIa oder höher fällt (Johner 2017). Dies bedeutet, dass ab Klasse IIa die technische Dokumentation für die Software mindestens die Einhaltung bestimmter ISO und IEC Standards beinhalten muss (eHealthSuisse 2022, p. 17).

Für Medizinprodukte der Klasse I erklären die Hersteller die Konformität selbst und benötigen keine „Benannte Stelle“ zur Anmeldung des Produktes (Gebhart 2023). Sie können selbstständig das CE-Zeichen anbringen, wenn sie die MDR-Anforderungen inkl. Technische Dokumentation (TD) und somit die grundlegenden Sicherheits- und Leistungsanforderungen erfüllen (Eur-Lex 2017). Für Produkte, welche in höhere Klassen fallen, ist entweder ein vollständiges Qualitätsmanagementsystem gemäß ISO 13485 erforderlich oder die Hersteller müssen Anhang XI zur Konformitätsbewertung anhand der MDR (Eur-Lex 2017) befolgen. Somit bedeutet jede höhere Klassifikation eine umfassendere und aufwendigere Dokumentation und Verifizierung der Lösung.

Schlussendlich lassen sich zwar softwarebasierte Medizinprodukte qualifizieren und einer Klassifikation zuweisen, jedoch wird keine konkrete Aussage zu KI-gesteuerten Produkten vorgenommen (Zimmer 2022; Reinsch 2021). Damit besteht hier eine Unsicherheit zwischen den klaren Vorschriften und Vorgaben der MDR und den technischen Verhaltensweisen speziell von sub-symbolischen Technologien. Teilweise könnte dies auch als Widerspruch gesehen werden, schreibt doch die MDR den Nachweis der Funktion und der Leistungsfähigkeit des Produktes und damit des ML-Algorithmus vor. Dies inkludiert eine Dokumentation und Validierung der Nachvollziehbarkeit, Transparenz, Sicherheit, Wiederholbarkeit und Zuverlässigkeit der Lösung (Reinsch 2023b).

Ziel der Befragung war es, den aktuellen Wissensstand und das Nutzungsverhalten bezgl. KI in Schweizer Spitälern zu erfahren. Aus einer Grundgesamtheit aller 104 Spitäler (BfS 2021) wurden 79 allgemeine Spitäler der Schweiz im Frühling 2023 angeschrieben, wobei die verantwortlichen ICT-Leiter:Innen der Spitäler kontaktiert wurden. Die Umfrage wurde in Deutsch und auch Französisch erstellt und versendet, die 20 Fragen in drei Fragethemen aufgeteilt. Mit ersten Einstiegsfragen wurde der aktuelle Wissenstand zum Thema KI ermittelt, dann folgten Fragen zum aktuellen Einsatz von KI, sowie zu deren Vorteilen und Hindernissen. Der Abschluss der Umfrage erfasste demografische Daten, Anzahl der Patientenbetten und die Funktion der teilnehmenden Personen. Bei einer Rücklaufquote von 45 Spitälern (rund 57 %) haben 7 % der Spitäler mit bis zu 100 Betten, 47 % bis zu 200 Betten, 22 % bis zu 500 Betten und 24 % mit über 500 Betten geantwortet. Zusätzlich wurden die Umfrageergebnisse mit insgesamt zehn Experten:Innen von Medizinprodukteherstellern, Consultingfirmen und KI-Fachexperten:Innen aus der Schweiz in einem qualitativen Interview besprochen und die daraus resultierenden Erkenntnisse für die Auswertung der Studie verwendet. In dieser Arbeit werden jedoch nur einige der wichtigsten quantitativen Auswertungen aufgeführt und mit qualitativen Expertenaussagen ergänzt.

Es ist erkennbar, dass das Grundwissen zur KI bei den Befragten nicht zweifelsfrei gefestigt ist. Wie in Abb. 2 visualisiert, werden auch Begriffe wie „Elektro Learning“ und „Blockchain“ von einer kleinen Anzahl der Befragten fälschlicherweise mit KI in Bezug gebracht. Zusätzlich zeigen sich in der darunter angeführten Tabelle die unterschiedliche Bettenanzahl und ihre Verteilung bei der Beantwortung der Fragen.

Beim Einsatz von bekannten KI-Technologien und -Systemen (Abb. 3) dominiert offensichtlich die Spracherkennungssoftware, für den medizinischen Bereich liegt der Schwerpunkt in der Radiologie von Spitälern aller Betriebsgrössen. Gemäß den befragten Experten:Innen ist die Verwendung hochpreisiger Operationsroboter erst in größeren Spitälern vorhanden, wobei Pflegeroboter noch nicht eingesetzt werden. Als dritthäufigste Antwort wurde „keine KI-Lösungen“ angegeben und dies lässt laut Experteninterviews vermuten, dass den befragten Personen der KI-Einsatz nicht bewusst ist. In die Rubrik „Sonstige Einsatzbereiche“ fallen Sonderfälle wie z. B. IT-Security Lösungen mit KI-Features.

Bei den zu erwartenden Vorteilen durch den Einsatz von KI (Abb. 4) steht die Qualitätsverbesserung der medizinischen Diagnose an erster Stelle, auch die höhere Effizienz bei der Patientenbehandlung wird als relevant angesehen. Der Einsatz von KI soll hilfreich für Zweitmeinungen bei der Diagnosestellung sein und auch die Behandlungsqualität verbessern. Weiter wird eine effizientere Organisation der Patientenbehandlungen erwartet, jedoch nicht wirklich mehr verfügbare Zeit für die einzelnen Patienten und Patientinnen vermutet.

Bei den Gründen gegen den Einsatz von KI-Technologien (Abb. 5) dominiert einerseits der finanzielle Aspekt bei der Beschaffung und während des Betriebes, jedoch wurde die Antwort „Keine der genannten Gründe“ genauso häufig genannt. Laut Expertenaussagen kann dies durch Aspekte wie fehlendes fachliches Know-how und technische Defizite teilweise erklärt werden. Die medizinischen Regulatorien sind als weiterer Grund nicht zu vernachlässigen, ebenso die Rubrik „andere spezifische Hindernisse“, worunter Projektmanagement, Kosten und limitierte Ressourcen zusammengefasst werden.

Abschließend ist zu sagen, dass die Auswertung der Umfrage und der Experteninterviews überraschenderweise keine Unterschiede bezgl. der KI-Nutzung infolge der Spitalgrößen ergeben hat. In kleinen wie auch in größeren Schweizer Spitälern zeigt sich überraschenderweise das Verständnis bezgl. KI wie auch der KI-Einsatz ähnlich. Speziell das Thema GenKI war zu diesem Zeitpunkt noch nicht wirklich im Bewusstsein der IT-Verantwortlichen angekommen. Mangelndes Vertrauen in die KI und die Angst vor Jobverlust wurde erstaunlicherweise nicht hoch bewertet, was wahrscheinlich der IT-affinen Zielgruppe geschuldet ist. Die Befragung des medizinischen Personals würde wohl zu anderen Erkenntnissen führen. Die Thematik der regulatorischen Vorgaben und Verordnungen wird in der Umfrage wie auch in den Experteninterviews ambivalent dargestellt. Es sind sich viele einig, dass Regulatorien wie die MDR notwendig sind, aber auch ein Hindernis für die Einführung von neuen KI-Lösungen darstellen können. Bei der Frage, wer die Verantwortung für die Konformität der KI-Lösungen zu tragen hat, ergibt sich kein klares Bild. Swissmedic (2021a) schreibt jedoch auch bei einer eigenständig entwickelten KI-Erweiterung eine regulatorische Prüfung und Einhaltung der Vorschriften vor. Dies ist für viele Spitäler und deren IT-Verantwortlichen noch unbekanntes Neuland.

Wie bereits im Abschn. 4 angeführt, unterliegen Softwareprodukte mit einem medizinischen Zweck der europäischen Medical Device Regulation (MDR). Dies gilt ebenso für KI-basierte Lösungen und bringt die Tatsache mit sich, dass gewisse Zielsetzungen der MDR besondere Aufmerksamkeit benötigen. Diese werden bei Abächerli und Reinsch relativ umfassend aufgeführt und würden mit all den Vorgaben, Normen und Standards den Rahmen dieser Arbeit sprengen (Abächerli 2022; Reinsch 2023b). Daher wurde hier der Schwerpunkt auf den KI-spezifischen Teil der Qualitätssicherung und Dokumentation gelegt. Im Speziellen wird davon ausgegangen, dass symbolische KI-Ansätze durch ihre Nachvollziehbarkeit und Vorhersagbarkeit einfacher zu prüfen sind. Daher wird in diesem Artikel auf subsymbolische ML-Modelle fokussiert.

Wie in Abb. 6 als Vorschlag dargestellt, kann der Kern einer ML-basierten Medizinprodukteentwicklung drei Phasen beinhalten. Dabei werden wesentliche Inhalte aus den Leitfäden der „Interessengemeinschaft Notified Bodies“ und dem Johner Institut verwendet und hier zusammengeführt (IG NB 2022; Johner et al. 2023):

Mit einem genaueren Blick auf die Phase 2 von Abb. 6 werden die zwei Teilschritte der Entwicklung einer ML-basierten Lösungen folgend beschrieben:

Es ist aus der kurzen Beschreibung des Phasenmodells von Abb. 6 ersichtlich, dass der Mehraufwand zur Prüfung von ML-basierten Medizinprodukten deutlich erhöht ausfallen kann. Deshalb wurde als Ergänzung in Phase 3 (Abb. 6) der Punkt „Performanz und Re-Training von ML-Modellen“ als Anregung der U.S. Food and Drug Administration (FDA) zum dargestellten Phasenmodell angeführt (FDA 2021b). Dieser Aspekt adressiert die in der MDR noch fehlende Thematik, dass ML-Modelle sich über die Zeit weiterentwickeln und dies die Notwendigkeit einer regelmäßigen Rezertifizierung des gesamten KI-basierten Medizinproduktes bedeuten würde. Dazu hat sich die FDA bereits Gedanken gemacht und einen Aktionsplan zur besseren Handhabung der kontinuierlichen Weiterentwicklung von ML-Modellen vorgeschlagen (FDA 2021a).

Das Spital, als einer der größten Leistungserbringer im Gesundheitswesen, zeigt noch immer große Nutzungspotentiale, welche mittels Digital Health und Medizintechnik angegangen werden können. Jedoch ist den Spitälern neben den bestehenden Herausforderungen und den technischen Voraussetzungen (D’Onofrio 2022) teilweise noch gar nicht bewusst, welche zusätzlichen Hürden beim Einsatz von KI-Lösungen genommen werden müssen. Wie anhand unserer empirischen Datenerhebung in Schweizer Spitälern festgestellt wurde, ist KI bereits mehrheitlich im Einsatz, jedoch ist das Wissen zur KI und den entsprechenden regulatorischen Vorgaben nur bedingt vorhanden. Ebenso fehlt es zum Teil am Bewusstsein, dass Spitäler aktiv die Einhaltung der Konformität auch von eigenentwickelten KI-Anwendungen vorantreiben müssen. Der zukünftig zunehmende Einsatz von GenKI verschärft diese Situation noch zusätzlich.

Aktuell gibt es in der Schweiz keine Gesetze und harmonisierte Normen, die speziell den Einsatz der KI in Medizinprodukten regulieren. Jedoch existiert eine Vielzahl von Leitfäden, Best Practices und Teilnormen für den Einsatz von Verfahren der künstlichen Intelligenz (Reinsch 2021). Rechtsgutachten geben einen ersten umfassenden Einblick, wie KI-basierte Software im Bereich computergestützter Elektrokardiogramm-Diagnostik in der Schweiz auf Basis von MDR eingeführt werden könnte (Abächerli 2022). Jedoch wird auf die Details dieser ML-Modelle und deren Qualitätssicherung nicht genauer eingegangen. Hier bietet das Phasenmodell in Abb. 6 einen ersten Vorschlag für eine sequenzielle Prüfung von ML-Modellen. In Zukunft werden zunehmend iterative Ansätze benötigt, da sich die meisten ML-Modelle dynamisch verhalten und dies aus Sicht der MDR qualitätsgesichert und dokumentiert sein muss. Erste Überlegungen dazu wurden bereits im Phasenmodell mit dem Action Plan der FDA (FDA 2021b) angedeutet. Als nächster Schritt wäre eine Validierung des vorgestellten Phasenmodelles anzugehen.

Weitere Herausforderungen für Spitäler sind neben der Erklärbarkeit und Nachvollziehbarkeit auch Basisvoraussetzungen wie das Fehlen von geeigneten KI-Experten:Innen, genügend eigene Datensets für das Trainieren und Validieren von ML-Modellen, geeignete Entwicklungs- und Laufzeitumgebungen für die ML-Lösungen und am Ende die Verrechenbarkeit der Zusatzleistungen, wenn sie sich nicht in Form von Produktivitätssteigerungen realisieren lassen.

Eine neue Hürde stellt die aktuell noch unabhängige Behandlung der Europäischen AI-Act und der MDR in Punkto Klassifizierung und Abgleich dar (Reinsch 2023b; Abächerli 2022). Daraus könnte resultieren, dass der Einsatz von KI bei Medizinprodukten weitere Komplexitäten, Verwirrung und Unsicherheit erzeugt, welches sowohl Innovation verhindern als auch neue Anbieter und Anwender abschrecken kann (Quaranta et al. 2023).

Gemäß Jiang ist Interpretable/Explainable AI (XAI) der Schlüssel zu einer umfassenden und generischen Anwendung von KI-Systemen für zuverlässigkeitskritische Aufgaben wie z. B. im Spitalumfeld, die Forschung zu XAI kann dabei zwei Wege einschlagen. Erstens können KI-Systeme als äquivalente oder angenäherte Lösungen zu konventionellen Nicht-KI-Lösungen mit klarer symbolisch-logischer Bedeutung entwickelt werden, es wird also eine in-between Methode angestrebt (Abb. 1). Auf diese Weise wird klar definiert, was genau gelernt werden soll, und zudem kann die starke Abhängigkeit von Versuch und Irrtum während der Phase des Designs durch Lernen aus vertrauenswürdigen Daten reduziert werden. Zweitens widmet man sich der Untersuchung der Eigenschaften der KI-Modelle, um nachträglich eine für den Menschen verständliche Logik mittels unterschiedlicher Analyseprozesse abzuleiten. Obwohl auf diesem zweiten Weg die Entscheidungen der KI interpretiert werden können, sollten KI-Systeme in solchen Fällen nur als Überwachungsinstrumente eingesetzt werden, was deren Nutzung im Spitalumfeld einschränken würde (Adadi und Berrada 2018; Jiang et al. 2022; Nolle et al. 2023).

Amann et al. (2020) kommen jedoch zur Ansicht, dass der Verzicht auf Erklärbarkeit in klinischen KI-Systemen eine Bedrohung für die ethischen Grundwerte in der Medizin darstellt und nachteilige Folgen für die individuelle und öffentliche Gesundheit haben kann. Rudin (2019) hatte entsprechend auf der technischen Seite gefordert, dass wir bezgl. KI nicht versuchen, die Black Box zu erklären, sondern von Beginn weg Modelle entwickeln, welche interpretierbar sind. Es wird sich zeigen müssen, in welcher Weise und auf welchen rechtlichen und regulatorischen Grundlagen die „Erklärbarkeit von klinischen KI-Systemen“ eingefordert und umgesetzt werden kann, gerade auch wenn zukünftig GenKI in den Vordergrund drängt. Zusammenfassend geht es in den gesamten beschriebenen Bestrebungen um das Spannungsfeld zwischen Regulierung und Flexibilität. Dabei muss einerseits die Souveränität und Sicherheit der Betroffenen gewahrt werden und andererseits die Entfaltung von Innovation und die wirtschaftliche Freiheit für die KI-Lösungsanbieter gegeben sein. Dieser Balanceakt muss aktiv von Behörden, der Wirtschaft, der Forschung und der Gesellschaft vorangetrieben werden. Inwieweit der EU AI-Act 2024 noch zusätzliche Herausforderungen bereit hält, bleibt abzuwarten (European Parliament 2023b).