Auf dem Weg zu
vertrauenswürdiger KI in der Medizin

Die strukturierte Wissensdatenbank ermöglicht das Einpflegen individueller Anforderungen aus Normen, Standards, Gesetzen und der Praxis.

Die Plattform ermöglicht die Zuordnung von Projektkontexten zu relevanten Qualitätsanforderungen und die Identifikation passender Testressourcen.

Zu erwartende Risiken werden automatisiert abgeleitet. Komplexe und kritische Fälle können an Fachexperten zur Überprüfung weitergeleitet werden. Das System schlägt gleichzeitig geeignete Maßnahmen zur Risikominderung vor.

Durch die Dokumentation von Nutzerfeedback, Testergebnissen und Bewertungen werden die Fähigkeiten der Wissensdatenbank fortlaufend erweitert.

Eine einheitliche Terminologie, die rechtliche, produktbezogene und technische Perspektiven zusammenführt.

Abstrakte Vorgaben werden in konkrete, testbare Artefakte mit durchgängiger Rückverfolgbarkeit und Nachweisbarkeit überführt.

Risiken und Lösungsansätze werden einmal zentral erfasst und können über Projekte und Domänen hinweg genutzt werden.

Neues Wissen wird immer zunächst durch Menschen geprüft, bevor es in den Korpus der Wissensbasis aufgenommen wird – für höchste Qualität und Vertrauenswürdigkeit.

KI-Systeme sollten nicht einfach nur Erklärungen für ihre Entscheidungen liefern - der Nutzen und Wahrheitsgehalt dieser Erklärungen muss auch nachweisbar sein. Das vXAI Framework strukturiert die Evaluation von Erklärbarkeitsmethoden, indem es Anforderungen an gute Erklärungen definiert und ein klares Kategorisierungsschema für Metriken bereitstellt. So können anwendbare Prüfmethoden für die Erklärbarkeit von KI schnell und automatisiert ausgewählt und Lücken in der Evaluierbarkeit von Erklärungen identifiziert werden. Zusätzlich wurde eine neue Metrik entwickelt, die mit höherer Effizienz komplementäre Perspektiven für die Evaluation der Wahrheitstreue von attributions-basierten Erklärungen ermöglicht.

Mehr Informationen hierzu finden Sie auf der Webseite des VXAI Frameworks und in der dazugehörigen Veröffentlichung.

Je breiter KI-Systeme in kritischen Entscheidungsprozessen eingesetzt werden, desto gravierender sind die Auswirkungen unfairer Verzerrungen: Systematische Diskriminierung skaliert mit der Technologie und kann zur strukturellen Benachteiligung ganzer Bevölkerungsgruppen führen. Kontinuierliche und systematische Fairness-Tests sind daher unverzichtbar, um sicherzustellen, dass KI-Entscheidungen gerecht bleiben und das Vertrauen in diese Systeme gerechtfertigt ist. Ein Konzept für eine Fairness-Testing-Pipeline stellt einen ersten Ansatz zur automatisierten Evalution der Fairness von KI-Systemen dar, unter vollständiger Berücksichtigung des Anwendungskontexts. So deckt die automatisierte Testung verschiedene Fairness-Definitionen ab und ermöglicht differenzierte Analysen von Quellen unfairer Verzerrung.

KI-Systeme müssen robust gegenüber Veränderungen in der Systemumgebung, den Daten und anderweitigen Störungen sein, um in sicherheitskritischen Anwendungen zuverlässig zu funktionieren. Eine prototypisch entwickelte Robustheits-Toolbox ermöglicht systematische Tests gegen gezielte Störangriffe, Datenperturbationen und Out-of-Distribution-Szenarien. So können Schwachstellen frühzeitig erkannt und behoben werden, bevor sie im realen Einsatz zu Problemen führen.

Der Schutz personenbezogener Daten ist von entscheidender Bedeutung, insbesondere in Bereichen wie dem Gesundheitswesen, in denen besonders sensible Informationen verarbeitet werden. Eine prototypisch entwickelte Privacy-Toolbox stellt eine Sammlung von Tests zur Quantifizierung von Datenschutzrisiken wie Membership Inference und Model Inversion Attacks zur Verfügung. Dadurch wird sichergestellt, dass KI-Systeme den geltenden Datenschutzbestimmungen entsprechen und die Privatsphäre der Nutzer gewahrt bleibt.

Angelehnt an bestehende Methoden zur Dokumentation von KI-Systemen wie FactSheets beschreibt die Application Card KI-Systeme so, dass technische Schnittstellen transparent werden und gleichzeitig der Anwendungskontext präzise erfasst ist. Die technisch fundierte Evaluation vertrauenswürdiger KI hängt maßgeblich vom Nutzungskontext des Systems ab.

Die Ergebnisse der Application Card werden teilautomatisiert durch die Test Registry verarbeitet, um relevante und ausführbare Tests aus dem verfügbaren Portfolio zu identifizieren. Dabei dokumentiert die Test Registry nicht nur die Anwendbarkeit und Voraussetzungen der Tests, sondern stellt auch Interpretationshilfen für die Ergebnisse bereit.

Die Execution Engine eliminiert manuelle Checklisten und vermeidet vergessene Testfälle. Sie übernimmt schlussendlich die Durchführung – effizient, reproduzierbar und dokumentiert.

Mit ExAID und SkinDoc wurden zwei KI-Systeme zur Unterstützung der dermatologischen Diagnostik entwickelt, die hohe Anforderungen an Erklärbarkeit, Robustheit und Fairness erfüllen müssen, um in der klinischen Praxis eingesetzt werden zu können. ExAID analysiert dermatoskopische Bilder von Hautläsionen und liefert erklärbare Diagnosen für verschiedene Hautkrankheiten, während SkinDoc als mobile Anwendung für die Früherkennung von Hautkrebs durch Laien konzipiert ist.

Das KITTU System unterstützt urologische Onkologen durch Therapieempfehlungen für Urothel-, Nieren- und Prostatakrebs. Es verwendet klinische Informationen, um präzise Vorhersagen zu treffen und zeichnet sich insbesondere dadurch aus, dass es externe Informationen zur Entscheidungserklärung heranziehen kann.

In Zusammenarbeit mit dem Fachbereich der Psychologie der Universität Trier hat das DFKI ein multiagentenbasiertes KI-System mit transparenter inter-agenten Kommunikation zur automatisierten Unterstützung von Evaluationsverfahren in der Ausbildung angehender Therapeut:innen erarbeitet. Das System ist dabei in der Lage, anhand der Audioaufnahmen aus Videosequenzen von Therapiesituationen automatische Auswertungen von sprachlichen Therapeutenreaktionen zu generieren.

Intubtationen führen in wenigen Fällen zu Komplikationen. Diese können dann aber tödlich enden. Zusammen mit dem Universitätsklinikum des Saarlandes (UKS) wurde ein KI-basiertes System entwickelt, welches auf Basis von Endoskopievideos vor der Operation Intubationsrisiken vorhersagt. Das System erzielte in der internen Validierung eine Genauigkeit von >90%. Außerdem wurden Mechanismen zur konzeptbasierten Erklärbarkeit implementiert, um bisher unbekannte Risikofaktoren zu identifizieren.

In Zusammenarbeit mit dem Deutschen Roten Kreuz (DRK) wurde untersucht, wie KI unterstützend eine intelligentere Planung im Rettungsdienst ermöglichen kann. Das konzipierte System nutzt räumlich-zeitliche Daten und den operativen Kontext, um vorherzusagen, wo und wann Rettungsdienste voraussichtlich benötigt werden. Es unterstützt auch die datengestützte Planung, indem es vorhersagt, wann die im Einsatz befindlichen Rettungswagen für den nächsten Einsatz bereit sein werden. Durch die Simulation von Einsatzszenarien unter realen Bedingungen ermöglicht RESPOND das einfache Vergleichen und Validieren verschiedener Szenarien.