Auditierung von KI Wie sich Künstliche Intelligenz inzwischen prüfen lässt

Fast drei Viertel der Bevölkerung in Deutschland sieht Künstliche Intelligenz als Chance. Voraussetzung ist aber das Vertrauen in die KI-basierte Lösung. Deshalb sind Auditierung und Zertifizierung von Datenschutz, Ethik und anderer Compliance-Vorgaben bei KI sehr wichtig. Inzwischen gibt es dafür auch zunehmend Frameworks und Prüfwerkzeuge. Wir geben einen Überblick.

Anbieter zum Thema

Insider Research

Fujitsu Technology Solutions GmbH

Fivetran Germany GmbH

Mögliche Anwendungsbereiche für Künstliche Intelligenz (KI) sind mehr als vielfältig. Wie eine Bitkom-Umfrage ergab, sehen Bundesbürgerinnen und Bundesbürger KI-basierte Lösungen zum Beispiel als Unterstützung für den Arzt (73 Prozent), um die bestmögliche Diagnose und Therapie zu finden. Jeweils 7 von 10 befürworten eine KI-Nutzung in Ämtern und Behörden (71 Prozent), etwa um Anträge schneller bearbeiten zu können, oder bei der Polizei (69 Prozent), zum Beispiel um mit Videokameras Gefahrensituationen automatisch erkennen oder Orte mit hoher Verbrechenswahrscheinlichkeit identifizieren zu können.

Diese Beispiele machen sehr deutlich, dass die Nutzung von KI durchaus in sensiblen Bereichen erfolgt und zunehmend stattfinden wird. Auch aus diesem Grund hatte die EU-Kommission bereits Vorschriften und Maßnahmen für Vertrauen im Bereich der Künstlichen Intelligenz vorgeschlagen.

Margrethe Vestager, die für das Ressort „Ein Europa für das digitale Zeitalter“ zuständige Exekutiv-Vizepräsidentin, erklärte dazu: „Bei Künstlicher Intelligenz ist Vertrauen ein Muss und kein Beiwerk.“ Vestager erläuterte auch die Vorteile: „Mit der Schaffung der Standards können wir weltweit den Weg für ethische Technik ebnen und dafür sorgen, dass die EU hierbei wettbewerbsfähig bleibt. Unsere Vorschriften werden zukunftssicher und innovationsfreundlich sein und nur dort eingreifen, wo dies unbedingt notwendig ist, nämlich wenn die Sicherheit und die Grundrechte der EU-Bürger auf dem Spiel stehen.“

Die KI-Verordnung der EU soll demnach sicherstellen, dass die Europäerinnen und Europäer dem vertrauen können, was die KI zu bieten hat. Verhältnismäßige und flexible Vorschriften sollen den spezifischen Risiken, die von KI-Systemen ausgehen, gerecht werden und die weltweit höchsten Standards setzen.

Doch wie kann man als Unternehmen eine KI-basierte Lösung auf Vertrauenswürdigkeit prüfen? Wie lassen sich Transparenz, Ethik, Datenschutz und weitere Compliance-Vorgaben für KI auditieren?

Normierung und Standardisierung bei KI

Bevor Audits und eine Prüfung der KI-Compliance sinnvoll sind, müssen die Normen und Standards festgelegt sein, deren Umsetzung und Einhaltung überprüft werden sollen. Wir erinnern uns: Das Deutsche Institut für Normung (DIN) und die Deutsche Kommission für Elektrotechnik (DKE) haben gemeinsam mit den Federführern der KI-Strategie der Bundesregierung sowie Fachleuten aus Wirtschaft, Wissenschaft, betroffenen Behörden und Zivilgesellschaft eine Normungsroadmap erarbeitet. Erste Ergebnisse, um über Normen und Standards den Weg zu verlässlichen sowie vertrauensvollen KI-Systemen und Anwendungen zu ebnen, wurden bereits vorgestellt.

Deutschland ist dabei das erste Land weltweit, das den derzeitigen Bestand und Bedarf an Normen und Standards für KI derart umfassend analysiert hat, wie zum Beispiel der Verband der Internetwirtschaft eco betont.

KI-Lösungen prüfen und zertifizieren

Unter anderem die Fraunhofer-Gesellschaft untersucht mit mehreren Instituten Compliance-Fragen zur KI, darunter die Frage, wie vertrauenswürdige KI konkret umgesetzt werden kann.

Dabei kann Fraunhofer IAIS bereits mehrere Projekte vorweisen, in denen KI-basierte Lösungen untersucht und bewertet werden:

• ScrutinAI soll das Vorgehen der KI sichtbar machen (Visual Analytics)

• CARLA-Simulator untersucht KI-Sicherheit für das Autonome Fahren (Simulation-Based Testing)

• Mit Whitebox-Zwillingen und der regelbasierten Schwachstellenanalyse sollen Blackbox-Modelle und ihre Entscheidungen transparent, nachvollziehbar gemacht werden und potenzielle Schwachstellen behoben werden

Im Rahmen einer strategischen Kooperation entwickeln Expertinnen und Experten des BSI (Bundesamt für Sicherheit in der Informationstechnik) und des Fraunhofer IAIS Prüfverfahren für KI-Systeme. Ziel der Kooperation ist es, technische Produkt- und Prozessprüfungen von KI-Systemen in der Wirtschaft zu etablieren und die Entwicklung einer KI-Zertifizierung „made in Germany“ voranzubringen.

Es gibt auch bereits einen KI-Prüfkatalog des Fraunhofer IAIS. Der Prüfkatalog adressiert zwei Zielgruppen gleichermaßen: „Mit dem KI-Prüfkatalog haben wir jetzt ein praxistaugliches Dokument, das von unabhängigen Prüforganisationen als Grundlage für zukünftige Produktprüfungen genutzt werden kann. Gleichzeitig stellt er Unternehmen das Handwerkszeug zur Verfügung, mit dem sie bereits im Entwicklungsprozess ihre Systeme selbst evaluieren und verbessern können und sich so auf zukünftige regulatorische Anforderungen vorbereiten können“, sagte dazu Prof. Dr. Stefan Wrobel, Institutsleiter Fraunhofer IAIS und Mitglied in der von der Bundesregierung gegründeten Koordinierungsgruppe KI-Normung und Konformität.

Prüfungskataloge und Prüfungsdienste sind bereits verfügbar

Weitere Beispiele für KI-Kriterienkataloge wie auch KI-Prüfservices sind ebenfalls auf dem Markt verfügbar:

• Der Kriterien-Katalog AIC4 (Artificial Intelligence Cloud Service Compliance Criteria Catalogue) spezifiziert Mindestanforderungen an die sichere Verwendung von Methoden des maschinellen Lernens in Cloud-Diensten. Er ist als Erweiterung des Kriterien-Kataloges C5 (Cloud Computing Compliance Criteria Catalogue) des BSI konzipiert.

• Das Institut der Wirtschaftsprüfer in Deutschland e. V. hat den Entwurf eines IDW Prüfungsstandards: Prüfung von KI-Systemen (IDW EPS 861) (02.2022) veröffentlicht.

• Das Konsortialprojekt „ExamAI – KI Testing & Auditing“ untersucht anhand von zwei konkreten Anwendungsbereichen (Mensch-Maschine-Kooperation in der Industrieproduktion sowie KI-Systeme im Personal- und Talentmanagement), wie sinnvolle Kontroll- und Testverfahren für KI-Systeme aussehen können. Dabei hat das Projektteam bereits ein „Integratives Framework für KI-Audits“ veröffentlicht.

• Consileon hat ein Audit von KI-Systemen im Finanzsektor vorgestellt.

• Tetrai bietet als Dienstleistung KI Audits, ein „red flag“ KI Audit und ein „extensive“ KI Audit.

Es zeigt sich: An Bemühungen zur Standardisierung, Normung und Zertifizierung von KI mangelt es nicht. Zudem gibt es bereits Prüfungskataloge und Audit-Services für KI. Damit wird die Suche und Auswahl von KI, die bestimmten Compliance-Vorgaben nachkommt, deutlich einfacher. Zudem wird die Grundlage für Werkzeuge gelegt, mit denen Unternehmen zunehmend eigenständig KI-Prüfungen vornehmen können.

(ID:48087467)