Studie des appliedAI Institute for Europe EU AI Act: So gelingt KI-Regulierung made in Germany

Das appliedAI Institute for Europe zeigt anhand von vier Handlungsfeldern, wie die Politik den Gestaltungsspielraum bei der nationalen Umsetzung des EU AI Acts nutzen kann, um die notwendige Balance zwischen dem Schutz der Grundrechte und der Förderung von Innovationen zu finden.

Der EU AI Act ist der weltweit umfassendste Rahmen zur Regulierung von KI. Mit dem Inkrafttreten der Verordnung im August 2024 liegt es nun in der Verantwortung der Mitgliedstaaten, die KI-Verordnung (KIVO) national umzusetzen. Die Studie des appliedAI Institute for Europe dient als Wissensgrundlage, die insbesondere die Politik, aber auch Verwaltung, Wirtschaft und Zivilgesellschaft für die möglichen Handlungsspielräume sensibilisiert, welche die nationale Umsetzung der Verordnung bietet. Sie basiert auf Recherchearbeiten und Hintergrundgesprächen mit führenden Fachpersonen und Entscheidungsträgern aus Politik, Wissenschaft, Wirtschaft und Zivilgesellschaft und verdeutlicht, dass die deutsche Bundesregierung ihre Chance nutzen sollte, um das Land auf den Weg zu einem Innovationsführer im Bereich vertrauenswürdiger KI zu bringen. Die Studie wurde von Lajla Fetic, Senior Trustworthy AI Expert des appliedAI Instituts gemeinsam mit Armin Oueslati, Visiting Analyst bei The Future Society, erarbeitet.

EU AI Act: eine Chance für Deutschland

Dr. Frauke Goll, Managing Director des appliedAI Institute for Europe, sieht im EU AI Act eine klare Aufgabe für das deutsche KI-Ökosystem: „Der EU AI Act schafft die Grundlage für vertrauenswürdige KI in Europa, doch um die Innovationskraft wirklich zu stärken, muss die nationale Umsetzung aktiv angegangen werden. Nur durch konsequentes Handeln können wir sicherstellen, dass technologische Entwicklungen in Deutschland nicht gebremst, sondern gefördert werden. Als Open Access Accelerator für Trustworthy AI ist es unser Ziel, dabei mit Expert:innenwissen zu unterstützen.“

Um diese Chance, die sich durch den Handlungsspielraum der nationalen Umsetzung ergibt, zu nutzen, müssen grundlegende Fragen geklärt und Bedenken adressiert werden: Wie kann sichergestellt werden, dass sich Deutschland nicht im Föderalismus verzettelt und Doppelstrukturen aufbaut? Wie können wir eine geeignete und ausreichende Kapazität für Konformitätsbewertung von KI-Anwendungen sicherstellen? Und wie können wir KI-Innovationen und Grundrechtsschutz aktiv fördern? Die Studie des appliedAI Institute gibt der Politik dafür vier klare Handlungsempfehlungen an die Hand:

1. Aufbau und Gestaltung von Marktüberwachungsbehörden als zentrale KI-Aufsicht

Damit nur vertrauenswürdige KI-Systeme auf dem europäischen Binnenmarkt zum Einsatz kommen, die den einschlägigen Sicherheitsstandards sowie Grundrechten entsprechen, müssen nationale Aufsichtsstrukturen geschaffen werden. Die in der KIVO vorgesehene Marktüberwachungsbehörde (MÜB) ist zentral für die Einhaltung der regulatorischen Anforderungen und den Schutz der Verbraucherrechte. Deutschland hat die Möglichkeit, eine solche Institution zu etablieren, die nicht nur die Anforderungen der Verordnung erfüllt, sondern auch die nationalen Besonderheiten berücksichtigt. Dabei ist es entscheidend, eine Marktüberwachungsbehörde auf Bundesebene zu schaffen, die ausreichend fachliche Kompetenz sowie personelle und finanzielle Ressourcen erhält. Wer die KI-Aufsicht in Deutschland übernimmt, ist nicht die einzige entscheidende Frage. Ebenso wichtig ist, wie deren Aufgaben gestaltet werden. Die Zusammenarbeit mit bestehenden sektoralen und föderalen Aufsichtsstrukturen sowie anderen relevanten Institutionen, wie den Datenschutzbehörden, muss so organisiert werden, dass Doppelstrukturen vermieden und eine kohärente Aufsicht sichergestellt wird. Dazu bedarf es eines partizipativen Prozesses, der die Perspektiven der Länder und bestehenden Institutionen ebenso berücksichtigt wie die der Wirtschaft und Zivilgesellschaft. Langfristig wäre es denkbar, diese Behörde zu einer umfassenden Digitalbehörde auszubauen, die auch weitere Digitalrechtsakte überwacht.

Empfehlung für die nationale Umsetzung:

• Marktüberwachung zentralisieren: MÜB auf Bundesebene als Hauptkontaktpunkt zur Europäischen Kommission und zur Koordination mit bestehenden sektoralen Aufsichtsbehörden.

• Langfristige Ausrichtung initiieren: Ausbau der MÜB zu einer umfassenden Digitalbehörde für eine kohärente Governance-Struktur für die digitale Wirtschaft in Deutschland.

• Personelle und finanzielle Ausstattung aufstocken: Sicherstellung qualifizierten Personals und finanzieller Mittel sowie partizipativer Ansatz zur Gestaltung MÜB, der die Bedürfnisse der Wirtschaft, Forschung und Zivilgesellschaft berücksichtigt.

2. Stärkung der Bedeutung notifizierter Stellen für die Konformitätsbewertung von Hochrisiko-KI-Systemen

Konformitätsbewertungen sind ein bewährtes Mittel zur Gewährleistung der Produktsicherheit in unterschiedlichen Sektoren der EU. Die KIVO sieht deshalb vor, dass insbesondere Hochrisiko-KI-Anwendungen einer solchen Konformitätsbewertung unterzogen werden müssen, um die Erfüllung der gesetzlichen Anforderungen nachzuweisen. Dabei setzt der europäische Gesetzgeber vor allem auf interne Konformitätsbewertungen und verpflichtet nur in Ausnahmefällen zu einer Prüfung durch unabhängige Prüfstellen – den notifizierten Stellen.

Um die Sicherheit und Qualität von KI-Systemen zu gewährleisten, sollte in Deutschland ein leistungsfähiges Ökosystem für die Notifizierung und Akkreditierung der zuständigen Stellen aufgebaut und die effiziente und effektive Durchführung von (freiwilligen) Konformitätsbewertungen gefördert werden.

Empfehlung für die nationale Umsetzung:

• Nationale Strukturen und Testkapazitäten stärken und ausbauen: Frühzeitige Einrichtung und ausreichende Ausstattung von notifizierenden und akkreditierenden Behörden zur Vermeidung von Engpässen und Verzögerungen bei der Markteinführung sicherer KI-Systeme.

• Konformitätsbewertungen überwachen und optimieren: Fortlaufende Beobachtung interner Konformitätsbewertungen bei eigenständigen KI-Anwendungen und Ausweitung verpflichtender Prüfungen bei systematischen Mängeln sowie Förderung innovativer Ansätze und verbesserte risikominimierende Maßnahmen zur Optimierung (interner) Konformitätsbewertungen.

• (Freiwillige und externe) Konformitätsbewertungen unterstützen: Ermutigung von KMU und Start-ups sowie des öffentlichen Sektors durch finanzielle Anreize freiwillige externe Konformitätsbewertungen durchzuführen.

• Code of Conduct für KIVO-Beratungen entwickeln: Entwicklung eines branchenweiten Code-of-Conducts für KIVO-Beratungsleistungen zur Verbesserung der Beratungsqualität und zur Stärkung des Vertrauens in die Einhaltung der Regeln.

„Es gibt einige KI-Anwendungen, die Risikopotenzial bergen. In diesen Fällen können unabhängige Prüfungen nicht nur die Sicherheit gewährleisten, sondern auch einen Wettbewerbsvorteil für KI „made in Germany“ schaffen”, erläutert Armin Oueslati, Visiting Analyst bei The Future Society und Mitverantwortlicher der Studie. „Neben den richtigen Marktanreizen für Anbieter ist hierfür vor allem die entsprechende Fachkompetenz aufseiten der Prüfstellen entscheidend.”

3. Konzeption und Umsetzung von Reallaboren für regulatorisches Lernen und zur Förderung von KI-Innovationen

Reallabore bieten einen kontrollierten Rahmen, um innovative KI-Systeme unter Realbedingungen zu testen und weiterzuentwickeln. Durch die temporäre Ausnahme von regulatorischen Auflagen können Reallabore Innovationen gezielt fördern und regulatorisches Lernen ermöglichen. Dies schafft nicht nur Raum für technologische Fortschritte, sondern auch für die Anpassung regulatorischer Anforderungen an neue technologische Realitäten.

Empfehlung für die nationale Umsetzung:

• Effiziente Gestaltung von Regeln: Aktive Mitwirkung Deutschlands an der Ausgestaltung des europäischen Durchführungsrechtsakts für Reallabore und Sicherstellung klarer Kriterien und praxisorientierter Prozesse sowie Anpassung geltender nationaler Gesetze, wie etwa die Überprüfung bestehender Experimentierklauseln.

• Fachkompetenz sichern: Gewinnung und Bindung führender Fachpersonen an der Schnittstelle von Technologie und Regulierung.

• Synergien mit bestehenden Strukturen nutzen: Vernetzung der Reallabore mit bestehenden Innovationsstrukturen, wie Test- und Versuchseinrichtungen (TEFs).

4. Harmonisierung, Standardisierung und partizipative Entwicklung von Grundrechte-Folgenabschätzungen

Die Grundrechte-Folgenabschätzung (GFA) ist ein zentrales Instrument, um die negativen Auswirkungen von KI-Systemen auf die Grundrechte zu bewerten und zu minimieren. Sie ergänzt die technischen Prüfungen durch eine Fokussierung auf den Schutz der Grundrechte und ist insbesondere für Anwendungen im öffentlichen Sektor und im Finanz- und Versicherungswesen von Bedeutung. Die erfolgreiche Umsetzung der GFA in Deutschland und Europa erfordert eine Harmonisierung und Standardisierung auf allen Ebenen sowie die aktive Einbindung verschiedener Stakeholder bei der Entwicklung von Mustern und Durchführung der Abschätzung.

Empfehlung für die nationale Umsetzung:

• Muster und Anleitungen partizipativ entwickeln: Einbeziehung von Verwaltung, Fachpersonen und zivilgesellschaftlichen Akteuren zur Sicherstellung einer praxisnahen Anwendung der nationalen Muster für die GFA.

• Externe Unterstützung und Beratung anbieten: Etablierung eines externen Fachnetzwerks zur Unterstützung öffentlicher Einrichtungen bei der Durchführung der GFA.

• Informationsfluss standardisieren: Klare Anleitungen und standardisierte Prozesse zur Erleichterung der Integration der GFA in bereits bestehende regulatorische Anforderungen.

Die Politik kann die Weichen für die Zukunft stellen

Die Empfehlungen des appliedAI Institute tragen dazu bei, die Voraussetzungen dafür zu schaffen, dass Deutschland seine Position im KI-Ökosystem ausbaut und zugleich die ethischen und gesellschaftlichen Standards wahrt, die für eine vertrauenswürdige KI unabdingbar sind. Politische Entscheidungsträger sind jetzt gefragt, durch eine entschlossene Ausgestaltung der Governance die technologische Entwicklung in Deutschland und Europa zu stärken, um damit den Weg für eine zukunftsfähige, digitale Gesellschaft zu ebnen.

Lajla Fetic, Senior Trustworthy AI Expert und Hauptverantwortliche der Studie, wünscht sich Mut von der Politik: „Jetzt ist der Moment, um die Verordnung zur künstlichen Intelligenz national umzusetzen und dabei beherzt die Weichen für vertrauenswürdige Innovation zu stellen. Dabei hat die deutsche Bundesregierung ausreichend Gestaltungsspielraum, den sie entschlossen nutzen sollte, um Grundrechtsschutz und kreativen Pioniergeist gleichermaßen bei der Entwicklung und dem Einsatz von KI zu fördern.

Über die Studie

Die Studie „KI-Regulierung made in Germany“ stützt sich auf eine qualitative Methodik, die insbesondere auf Recherchearbeiten und leitfadengestützter Interviews mit Fachpersonen basiert. Die Interviews wurden über einen Zeitraum von sechs Monaten mit führenden Fachleuten aus Politik, Wissenschaft, Wirtschaft und Zivilgesellschaft sowie weiteren relevanten Bereichen geführt, um ein breites Spektrum an Perspektiven zu erfassen. Eine zentrale Erkenntnis aus den Gesprächen war, dass das Wissen über die Feinheiten und Freiheiten der nationalen Umsetzung der europäischen KI-Regulierung ungleich verteilt ist und oftmals in fachspezifischen Silos verharrt. Um diesem Umstand entgegenzuwirken und einen breiteren Austausch zu fördern, bietet die Studie des appliedAI Institute grundlegende Einführungen sowie Beispiele aus anderen Mitgliedstaaten und bereits regulierten Sektoren.

(ID:50191133)