Regulatory Life Cycle

Wenn KI viele regulatorische Aufgaben übernehmen kann, wenn KI zur GxP- und IT-Compliance beitragen kann, wenn KI auch in Medizinprodukten selbst Einzug hält – dann stellt sich irgendwann die Frage: Wie kann KI selbst validiert werden? Wie kann IT-Compliance von KI-Anwendungen hergestellt und nachgewiesen werden?

Für die Validierung deterministischer Softwaresysteme existieren regulatorisch vorgegebene Methoden – FDA-Guidelines, GxP-Richtlinien, IEC 62304 etc.; für adaptive, lernende, KI-basierte Systeme erweisen sich die aktuellen Industriestandards jedoch als unzureichend: IT-Compliance von KI erfordert die integrierte Betrachtung der zugrundeliegenden Daten, der gewählten Modelle, des Trainingsverlaufs; und KI muss immer im Kontext der Anforderung gesehen werden. Bestehende Standards erlauben diese integrierte Betrachtung nicht; es besteht die Gefahr, dass dadurch die Verbreitung von KI behindert wird und ihr Potenzial in regulierten Branchen ungenutzt bleibt. Dies gilt sowohl für die Anwendung von KI in Medizinprodukten („AI as a medical device“) als auch für KI-basierte Systeme zur Unterstützung von (Geschäfts-)Prozessen. In beiden Bereichen entwickelt sich die Digitalisierung sehr dynamisch, es fehlt jedoch an geeigneten Methoden und technologischen Werkzeugen zum Nachweis der IT-Compliance. Fehlende regulatorische Orientierung und – in der Folge – mangelnde IT-Compliance können sich zu einem Hemmnis für Innovationsfähigkeit und unternehmerischen Erfolg entwickeln – und das in volkswirtschaftlich bedeutenden, stark mittelständisch geprägten und für die deutsche bzw. europäische Wirtschaft wichtigen Branchen.

Vor diesem Hintergrund besteht methodischer und technologischer Forschungs- und Entwicklungsbedarf zur Validierung von KI-Systemen. Der Forschungsbedarf ergibt sich dabei aus der Lücke zwischen regulatorischen Anforderungen an CSV auch für KI einerseits und dem fehlenden methodischen und technologischen Instrumentarium hierfür andererseits; er begründet sich aus der generellen regulatorischen Unklarheit und der damit einhergehenden technologischen und unternehmerischen Unsicherheit im Bereich der IT-Compliance von KI.

Den übergeordneten Rahmen für die weitere Forschung zur Validierung von KI setzen insbesondere die aktuellen europäischen Regelungen zur Datenverarbeitung, nämlich der Data Act vom Juni 2023, der Data Governance Act (DGA) vom September 2023 und der EU AI Act, der die weltweit erste Regulierung von KI anstrebt.

Weitere Entwicklungen zur Validierung von KI müssen sich in diesen Rahmen einfügen. Relevant sind auch internationale Bestrebungen zu branchenspezifischen KI-Regulierungen. Allerdings stehen hier eher Leitlinien für die – ethisch und technologisch – korrekte Entwicklung von KI-basierten Systemen im Vordergrund; für den Betrieb – und dazu gehört auch das Thema CSV – geben diese Leitlinien noch keine Antwort: Welche Auswirkungen hat KI auf die Regulierungspraxis? Welcher Veränderungsbedarf für CSV ergibt sich aus dem Einsatz von KI? Wie kann die geforderte IT-Compliance durch CSV hergestellt und nachgewiesen werden? Wie verhält sich KI zu ihrem Anwendungskontext? Diese und ähnliche Fragen sind noch unbeantwortet: Ein verlässliches Regelwerk für CSV bzw. Methoden oder technologische Werkzeuge zur Validierung von KI-Systemen unter den geltenden Regularien sind dringend erforderlich.