Interview zum Einsatz von Systemen wie ChatGPT im Medizinwesen
Die KI-Verordnung soll für mehr Rechtssicherheit beim Einsatz von KI-Systemen wie ChatGPT sorgen. Rechtsanwalt Philipp Müller-Peltzer gibt eine Einschätzung.
(Bild: thinkhubstudio/Shutterstock.com)
(Bild: Schürmann Rosenthal Dreyer Rechtsanwälte / Robert Recker)
Die bevorstehende KI-Verordnung soll Anwendern und Herstellern mehr Rechtssicherheit bei der Verwendung von sich rasch entwickelnden KI-Systemen wie ChatGPT geben. Erst kürzlich hat Microsoft neue Datenanalyse-Tools in Microsoft Fabric und Azure AI für Organisationen im Gesundheitswesen angekündigt, die Daten aus Quellen wie elektronischen Patientenakten und medizinischen Geräten extrahieren sollen, damit sich Ärzte auf die Versorgung konzentrieren können. Vor wenigen Tagen sprach auch Gesundheitsminister Karl Lauterbach über den möglichen Einsatz von Microsoft-Produkten und dem neuesten Sprachmodell GPT-4, das auch im deutschen Gesundheitswesen die Bürokratie verringern könnte. Für eine erste Einschätzung solcher Anwendungsszenarien im medizinischen Bereich haben wir mit dem Rechtsanwalt Philipp Müller-Peltzer gesprochen.
Dies ist der letzte Teil einer dreiteiligen Interview-Serie.
Was ist Ihrer Ansicht wichtig bei dem Einsatz von Large Language Models im Medizinbereich?
Die Large Language Models (LLM) haben sich unglaublich schnell entwickelt. Sie sind so marktreif geworden, dass wirklich jeder damit seine Erfahrungen machen kann und sollte. Es ist wichtig, zu sehen, was möglich ist. Allerdings müssen auch die Risiken gesehen werden. Im Endeffekt ist es vor allem eine Frage der Sensibilisierung.
Die Einsatzweisen von ChatGPT im Medizinbereich werden derzeit diskutiert. In Israel wurde ChatGPT beispielsweise auch schon in einem Krankenhaus zur Triage eingesetzt. Wäre das in Deutschland auch denkbar?
Theoretisch könnte es möglich sein, aber in Deutschland und im übrigen EU-Raum wird es unter der neuen KI-Verordnung wohl nicht erlaubt sein. Dies hängt aber wesentlich davon ab, ob in Medizinprodukten künftig kontinuierlich lernende KI-Systeme enthalten sein dürfen. ChatGPT ist als generative, also als dynamische KI, keine sogenannte statische Black-Box-KI im Sinne der Medical Device Regulation (MDR) und würde daher nach aktuellem Stand keine Zertifizierung nach der MDR erhalten.
Selbst wenn man die vorstehenden Erwägungen ausklammert, wäre ein Triage-ChatGPT ein KI-System, das bestimmungsgemäß für die Entsendung oder Priorisierung des Einsatzes von Not- und Rettungsdiensten, einschließlich Feuerwehr und medizinischer Nothilfe, verwendet werden soll und damit eine Hochrisiko-KI (nach Anhang III Nr. 5 lit. c KI-Verordnung). Aus regulatorischer Sicht wird hier eine Art Textgenerator in einem medizinischen Kontext eingesetzt, ohne dass das Produkt als Medizinprodukt konzipiert ist. OpenAI hat ChatGPT nicht für diesen Einsatzzweck vorgesehen. Es ist nicht primär dafür geeignet, medizinische Diagnosen zu bewerten oder auszugeben. Auch technisch ist ChatGPT dafür ungeeignet. In dem Beispiel aus Israel hat die KI auch nicht allein die Entscheidung getroffen, sondern vorselektiert.
Die europäische Medizinprodukte-Verordnung (Medical Device Regulation, MDR) gilt seit 2021 und hat das bis dahin geltende Medizinproduktegesetz (MPG) abgelöst. Die Verordnung betrifft vor allem Hersteller von Medizinprodukten, aber auch weitere, wie Medizinprodukte nutzende Krankenhäuser, Praxen, Händler und Importeure.
Die MDR ist eine europäische Verordnung. Das bedeutet, dass sie unmittelbar in allen europäischen Mitgliedstaaten gilt. Die MDR regelt – vereinfacht dargestellt –, unter welchen Umständen derartige Produkte eingesetzt beziehungsweise auf den Markt gebracht werden können. In den USA ist für derartige Zulassungen die Food and Drug Administration (FDA) zuständig, in Deutschland maßgeblich das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM). Software fällt unter die Definition eines Medizinproduktes, wenn sie für einen medizinischen Zweck verwendet wird. Für KI-basierte Software gilt hierbei nichts anderes als für traditionell programmierte Software. Damit ist auch die „intelligente“ Software ein Medizinprodukt, wenn sie zu medizinischen Zwecken eingesetzt wird. Für die Qualifikation einer KI-Software als Medizinprodukt ist die subjektive Zweckbestimmung (Widmung) des Herstellers, also zum Beispiel die des Medical-App-Anbieters, maßgeblich.
Kann dann auch Software wie ChatGPT eine Zulassung für den Einsatz in Praxen und Kliniken erhalten?
Hier ist wichtig, inwiefern ein sogenanntes generatives, also Inhalte generierendes KI-System wie ChatGPT in gewissen Kontexten auch als Medizinprodukt einzustufen sein könnte. Grundsätzlich gilt für Medizinprodukte, dass es auf die Zweckbestimmung ankommt, die der Hersteller vorgibt. Dabei entscheidet nicht der Nutzer, was für ihn funktioniert, sondern der Hersteller dieses Produktes. Maßgeblich ist also seine subjektive Zweckbestimmung.
Die Arztbrieferstellung soll kommendes Jahr in einer Essener Klinik getestet werden. Ist das bedenkenlos möglich?
Die Form eines Schriftsatzes ist nicht entscheidend. Wichtig ist, dass das Ergebnis sachgerecht, rechtssicher und sinnvoll ist. Ärztinnen und Ärzte müssen prüfen, ob wichtige Inhalte fehlen oder Fehler vorhanden sind, die zu Missverständnissen oder Behandlungsfehlern führen könnten. Solche Fehler könnten andernfalls haftungsrechtliche Folgen haben.
Transparenz beim Einsatz von KI-Systemen wichtig
Die Verantwortung wird aber immer beim Arzt bleiben?
Ja, es geht nicht darum, den Menschen zu ersetzen, sondern ihn zu unterstützen. Wenn die KI-unterstützte Arztbrieferstellung funktioniert, kann dies zu einer Zeit- und Kostenersparnis führen. Es kann sogar sein, dass der Brief dann für den Patienten viel verständlicher geschrieben ist als bisher. Am Ende muss immer noch der Arzt dahinterstehen und sich das Geschriebene noch einmal anschauen. Der KI kommt also primär eine assistierende Funktion zu. Fehlentscheidungen, die in diesem Kontext als Behandlungsfehler zu werten sind, können haftungsrechtliche Konsequenzen für den Arzt nach sich ziehen.
Der intelligente Einsatz einer KI-Assistenz kann dazu führen, dass sich Menschen besser auf ihre eigentlichen Aufgaben konzentrieren können. Ärzte müssen empathisch mit Menschen umgehen und Vertrauen in ihre Kompetenz entwickeln. Das macht Ärzte aus, nicht das Abarbeiten eines bürokratischen Backlogs.
Welche Hürden gibt es beim Einsatz von KI-Assistenten?
Es gibt viele praktische Hindernisse. Eines ist das Datenschutzrecht. Die Datenschutz-Grundverordnung (DSGVO) stellt relevante regulatorische Vorgaben für den Umgang mit Patientendaten, die von den Ärzten kommen. Die Frage ist: Wie können wir KI-Tools rechtskonform einbinden? Haben wir die vertraglichen und technischen Maßnahmen sichergestellt, um am Ende des Tages sagen zu können, dass die Daten nach europäischen Standards verarbeitet werden? Die Daten dürfen nicht einfach weiterverwendet werden, um entsprechende Algorithmen zu trainieren oder neu zu modellieren. Welche Sicherheiten habe ich als verantwortlicher Nutzer oder als Krankenhausträger? Hieran knüpfen sich weitere Fragen an.
Die KI-Verordnung steht hierarchisch gleichberechtigt neben der DSGVO. Letztere gilt für die gesamte Datenverarbeitung, also immer dann, wenn Daten von Personen betroffen sind. Die KI-Verordnung bezieht sich spezifisch auf die Entwicklung, das Inverkehrbringen, den Einsatz, die Nutzung von KI-Systemen in der EU. Und es geht nicht ausschließlich um KI-Systeme, die in irgendeiner Weise Daten von natürlichen Personen verarbeiten. Vielmehr geht es um die Risiken, die sich aus dem Einsatz der KI ergeben.
Was ändert sich bei Arztpraxen denn beispielsweise, wenn sie einen KI-gestützten Anrufbeantworter einsetzen?
Es kommt darauf an: Wenn KI-Systeme beispielsweise administrative Tätigkeiten übernehmen, werden sie nicht unbedingt als Hochrisiko-KI klassifiziert. Nach der KI-Verordnung ist auch maßgeblich, dass der Anwender beziehungsweise die Praxis, die das System nutzt, bestimmte Transparenzpflichten einhält.
Bei einem KI-gestützten Anrufbeantworter könnte eine klare Ansage über die KI-Nutzung abgespielt werden, um Transparenz zu gewährleisten. Einige KIs, die auf LLMs basieren, bestehen den Turing-Test oder werden dies in Zukunft tun. Je nach zukünftigen Funktionen könnten neben der Transparenzpflicht für Chatbots auch weitere Anforderungen entstehen, besonders wenn das System als Hochrisiko-KI eingestuft wird.
