Wie aus Forschung praxistaugliche KI-Qualitätskriterien werden
Die Entwicklung des MISSION KI Qualitätsstandards wurde maßgeblich von der Forschung geprägt – insbesondere vom Fraunhofer IAIS, das seit Jahren zu Prüfung, Absicherung und Qualität von KI-Systemen forscht.
Im Gespräch erläutert Dr. Maximilian Poretschkin, wie wissenschaftliche Erkenntnisse in praxistaugliche Prüfkriterien übersetzt wurden, warum messbare Vertrauenswürdigkeit möglich ist und welche Rolle der Standard in der europäischen KI-Landschaft spielen kann.
Herr Dr. Poretschkin, Sie haben mit Ihrem Team am Fraunhofer IAIS die Entwicklung des MISSION-KI-Qualitätsstandards maßgeblich geprägt. Welche Rolle hatten Sie, und was war aus Ihrer Sicht der wichtigste Beitrag der Forschung?
Wir beschäftigen uns schon seit vielen Jahren in unserer Forschung mit der Absicherung und Prüfung von KI-Systemen. Vor vier Jahren haben wir einen der ersten Prüfkataloge für KI-Systeme veröffentlicht, der eine wichtige Grundlage für die Mission KI gewesen ist. Im Projekt haben wir den aktuellen Stand der Forschung bei der Entwicklung des Qualitätsstandards eingebracht und diesen in praxistaugliche Prüfkriterien zu übersetzt.
Der Standard übersetzt Prinzipien wie Fairness, Transparenz und Robustheit in messbare Kriterien. Wie nähert man sich dieser Übersetzung aus wissenschaftlicher Sicht?
Dies sind wichtige Dimensionen für die Qualität von KI-Systemen, die maßgeblich darüber entscheiden, ob der Einsatz eines KI-Systems in der Praxis erfolgreich und zuverlässig erfolgt. Je nach KI-System und Einsatzkontext resultieren diese Begriffe im Detail aber in unterschiedlichen Anforderungen an die Systeme. Mit der VCIO-Systematik lassen sich diese Qualitätsdimensionen dann in konkrete Observablen herunterbrechen, die für ein gegebenes KI-System klar beantwortbar sind.
Wie gelingt der Brückenschlag zwischen wissenschaftlicher Theorie und praktischer Anwendung in Unternehmen oder Prüforganisationen? Wie verbindet der Standard Forschung und Praxis?
Wie bereits eben dargestellt, basiert der Standard auf dem aktuellen wissenschaftlichen Stand der Kunst. Gleichzeitig ist er so konstruiert, dass er sich mit geringem Aufwand auf die ganze Bandbreite der KI-Systeme anwenden lässt. Hierzu haben wir auch eine ganze Reihe von Pilotprüfungen durchgeführt, um die Praxistauglichkeit sicherzustellen.
Was heißt für Sie „vertrauenswürdige KI“ und wie weit sind wir, sie tatsächlich zu messen?
Dies lässt sich durch eine Analyse des Wortes „vertrauenswürdig“ beantworten. Also, dass ein KI-System es „würdig“ ist, dass man ihm vertraut. Konkret: Das KI-System ist so konzipiert, dass es je nach Kontext sicher, frei von ungerechtfertigter Diskrimierung etc. funktioniert. Damit Vertrauen entsteht müssen diese Eigenschaften natürlich auch in geeigneter Weise an die entsprechenden Stakeholder kommuniziert werden. Mit dem VCIO-Ansatz unseres Projekts wird die Vertrauenswürdigkeit dann auch messbar.
Wie weit sind wir europäisch bei der Harmonisierung von KI-Standards und was braucht es, um einheitliche Prüfverfahren zu etablieren?
Die harmonisierten Normen zur Operationalisierung der europäischen KI-Verordnung werden aktuell mit Hochdruck erstellt. So viele wichtige Standards in so kurzer Zeit zu erarbeiten ist eine echte Herausforderung. Gleichzeitig wird danach aber immer noch viel zu tun sein, etwa bei der Erarbeitung von domänenspezifischen Standards oder Konformitätsbewertungsschemata.
Wenn Sie drei Jahre nach vorn blicken, wie sieht die Landschaft der KI-Prüfung und -Zertifizierung dann aus?
In den nächsten drei Jahren wird die Europäische KI-Verordnung voll in Kraft treten. Im Hochrisiko-Bereich sieht sie Konformitätsbewertungen vor, welche je nach Anwendungskontext auch Zertifizierungen notwendig machen. Parallel dazu werden auch domänenspezifische Standards und Konformitätsbewertungsschemata entstehen. Für all diese Aktivitäten ist der Mission KI Qualitätsstandard eine wertvolle Basis.
Was hat Sie an der Arbeit am Standard besonders beeindruckt oder verändert?
Die Zusammenarbeit mit den Partnern im Projekt. So viel Interdisziplinarität, unterschiedliche Hintergründe, fachliche Exzellenz und Begeisterung für die Materie!
Wo liegen aktuell die größten offenen Fragen in der Prüfung und Zertifizierung von KI-Systemen?
Der MISSION KI Qualitätsstandard hat eine wertvolle Grundlage gelegt. Es bleibt aber noch viel zu tun, etwa für hochkritische KI-Systeme, die in Echtzeit weiterlernen. Auch im Bereich der agentischen KI ist noch viel zu tun.
