KI für Sicherheit, Sicherheit für KI KI-Governance für KRITIS-Betreiber

Auf Leitungsebene steht Künstliche Intelligenz (KI) vielerorts ganz oben auf der Agenda, auch im KRITIS-Bereich. Wie aber lassen sich in diesem sensiblen Bereich mögliche KI-Initiativen bei dezentraler Verantwortung meistern? Und welche Stolpersteine gilt es dabei zu umgehen?

Die Entwicklung von KI ist nicht aufzuhalten. Früher oder später wird sie in alle Unternehmensbereiche vordringen – teils sichtbar, teils im Verborgenen – und stellt die Unternehmen damit vor die organisatorische Herausforderung dynamische Innovation, regulatorische Anforderungen und persönliche Organhaftung in Einklang mittels eines KI-Managementsystems (KIMS) in Einklang zu bringen.

Studie von SAS und IDC

Unternehmen vertrauen GenAI blind – trotz fehlender Sicherheit

Was ist ein KI-Managementsystem (KIMS) für KRITIS-Unternehmen

Um zunächst einmal ein Bild zu geben: KIMS ist wie eine Personalabteilung für KI-Agenten. KI-Unterstützung muss strategisch geplant, „eingestellt“, trainiert und überwacht werden.

Ein KI-Managementsystem für Unternehmen der kritischen Infrastruktur bildet die ganzheitliche KI-Governance ab, um die KI-Arbeit in Infrastrukturunternehmen der Bereiche Energieversorgung, Wasserversorgung, Gesundheitswesen, Verkehr, Müllentsorgung und Kommunikation zu optimieren und den bürokratischen Aufwand auf ein Minimum zu reduzieren. KIMS unterstützt die vielfältigen Aufgaben der KI-Verantwortlichen konkret. Idealerweise sollte es die folgenden Rollen geben:

Warum ein KI-Managementsystem (KIMS) unerlässlich ist

KIMS schafft den organisatorischen Rahmen damit die verschiedenen Entscheidungsträger ihre Erfahrungen teilen können und die Unternehmensleitung einen Gesamtüberblick über die KI-Initiativen erhält. Die Einführung von KI in Unternehmensabläufe erfordert daher eine zentrale Steuerung bei dezentraler Verantwortlichkeit in den Fachbereichen. Mithilfe eines KIMS lassen sich die Sorgfaltspflichten gemäß EU-KI-Verordnung systematisch erfüllen und Haftungs- sowie Reputationsrisiken für das Unternehmen und seine Leitungsorgane minimieren.

Mit einem KI-Management System werden klare Verantwortlichkeiten und Aufgaben zugewiesen.

Ein KIMS bietet eine Reihe von Vorteilen für das Unternehmen und dessen Leitungsorgane.

• Transparenz: Die verantwortlichen Stellen im Unternehmen erhalten einen vollständigen Überblick über KI-Use-Cases, Modelle, Datenquellen, Risiken, Verantwortlichkeiten und Reifegrade und andere wichtige Informationen, die für den ordnungsgemäßen und verantwortungsvollen Einsatz von KI nötig sind. Transparenz schafft erst die Handlungsoptionen.

• Risiko- & Chancenmanagement: Es erfolgt eine einheitliche Bewertung anhand klarer Key-Performance-Indikatoren (KPI) über den gesamten KI-Lebenszyklus (von der Idee bis zur Stilllegung) was die Entscheidungsfähigkeit stärkt und sichere Innovation beschleunigt.

• Haftungsreduktion & Nachweisbarkeit: Ein wirksames KIMS dokumentiert Entscheidungen, Kontrollen und Wirksamkeit – dies ist im Zusammenspiel von KI-VO, NIS2/BSIG und Organpflichten essentiell. Verstöße gegen die KI-VO können mit bis zu 35 Mio. € oder 7 % des weltweiten Umsatzes sanktioniert werden.

• Audit- & Zertifizierungsfähigkeit: Durch die Berücksichtigung von allgemein anerkannter Organisations- und Prüfungsstandards werden externe Prüfungen und die Kommunikation mit Aufsichtsbehörden und eigenen Aufsichtsorganen erleichtert.

• Praxisnahe Umsetzung: Es gibt klare Leitplanken für die KI-Initiative, sowie Rollen und Kontrollpunkte für Entwicklung, Beschaffung, Betrieb, Änderungen und Außerbetriebnahme von KI-Systemen.

• Vereinfachte Steuerung: Die laufende Aktualisierung an neue regulatorische Vorgaben (z. B. KI-VO, NIS2) und Technikfortschritte wird durch die Verfügbarkeit aller Informationen an einem zentralen Ort erleichtert.

• Nachvollziehbarkeit: Keine „Black-Box“ sondern eine „White-Box“ für die Dokumentation der Pflichten.

Persönliche Haftung der Leitungsorgane – was zählt?

• AktG/GmbHG-Pflichten: Vorstände und Geschäftsführer müssen die Sorgfalt ordentlicher Geschäftsleiter anwenden (§ 93 AktG; § 43 GmbHG). Sie haben geeignete Maßnahmen zu treffen und ein Überwachungssystem einzurichten, um bestandsgefährdende Entwicklungen früh zu erkennen (§ 91 Abs. 2 AktG) – dazu zählt heute auch der geregelte Umgang mit KI-Risiken.

• Aufsichtspflicht (§ 130 OWiG): Wenn Leitungspersonen erforderliche Aufsichtsmaßnahmen unterlassen, drohen ihnen persönliche Bußgelder. Daneben können Unternehmensgeldbußen nach § 30 OWiG folgen. Ein funktionsfähiges KIMS kann haftungsmindernd sein.

• KRITIS/NIS2-Governance: Die Managementorgane müssen Maßnahmen zur Risikominimierung im Cyberbereich billigen und überwachen. Sie sind persönlich verantwortlich. So sind auch regelmäßige Management-Schulungen vorgeschrieben. Für KRITIS-Akteure ist das ein klarer Auftrag auch KI-Governance in die Unternehmenssteuerung zu integrieren.

Ein KIMS verhindert den unkontrollierten Wildwuchs von KI

Künstliche Intelligenz wird alle Unternehmensbereiche erfassen. Doch wo wird sie im Unternehmen bereits heute genutzt? Die KI-Nutzung ist bereits heute funktionsübergreifend: Laut dem Bericht von McKinsey („The state of AI“ März 2025) setzen 78 Prozent der Unternehmen KI in mindestens einer Funktion ein. Der Anteil wächst schnell über die Bereiche IT, Marketing/Vertrieb und Serviceprozesse hinaus. Mit einem KIMS können KI-Initiativen zentral gesteuert und trotzdem dezentrale KI-Verantwortlichkeiten festgelegt werden.

Unternehmen, die jetzt standardisierte Prozesse für die Einführung von KI etablieren und Nachweise erheben, erhöhen die Erfolgswahrscheinlichkeit, reduzieren Reibungsverluste und vermeiden teure Projektabbrüche.

Die Bausteine von KIMS

• KI-Prüf- und Freigabeprozess: Ein strukturierter Prozess der die rechtskonforme Freigabe und kontrollierte KI-Verwendung sicherstellen soll.

• KI-Inventar & Klassifizierung: Erfassung und Risikobewertung aller eingesetzten KI-Anwendungen mit allen notwendigen Informationen zur Erfüllung von Pflichten und Verantwortungen.

• Aufbauorganisation mit klaren Berichtslinien: Geschäftsleitung (KI-Gesamtverantwortung), KI-Beauftragte, KI-Risikomanager:innen, Informationssicherheitsbeauftragte, Bereichsleiter:innen, Compliance-Verantwortliche,

• Risikomanagement (Art. 9 KI-VO): einheitliche Methoden für Risikoidentifikation, -bewertung, und -behandlung; sowie Abnahmekriterien pro Reifestufe

• Dokumentation & Nachweise: Technische Dokumentation, Daten-/Modell-Karten, Logging/Tracing, Human-Oversight-Konzepte, Monitoring & Surveillance.

• Datenschutz & Grundrechte: DSFA/Interessenabwägung, Datenqualität & -herkunft, Bias-Kontrollen und Transparenz gegenüber Betroffenen.

• Kompetenzen & Schulungen: Verpflichtende Fortbildungsmaßnahmen für das Management und rollenspezifische Fortbildungen für Nutzer.

• Internes Kontrollsystem & Vier-Augen-Prinzip: Mandat der Geschäftsleitung, RACI-Modell, verbindliche Arbeitsanweisungen/Standards, Entscheidungs- und Eskalationswege. Kontrollmatrix je Use-Case, Datenqualität (Schnittstellen), Trennung von Entwicklung und Betrieb, Change-/Release-Kontrollen.

• „Audit-“Bereitschaft: Durch Orientierung an Standards und einheitliche Vorlagen, revisionssichere Ablage, prüfungssichere Versionierung, regelmäßige Management-Reports (KI-Risikolage, Zwischenfälle, KPI-Zielbild).

Ein KIMS macht die KI-Nutzung beherrschbar, nachweisbar und skalierbar. Es reduziert persönliche Haftungsrisiken der Leitungsorgane (AktG/GmbHG, § 130 OWiG; NIS2-Governance), adressiert die Sanktionsrisiken der KI-VO und erhöht die Erfolgswahrscheinlichkeit von KI-Vorhaben in allen Unternehmensbereichen – insbesondere im sensiblen KRITIS-Umfeld.

Ein KIMS sollte auch niemals isoliert von anderen regulatorischen Anforderungen oder Organisationsvorschriften implementiert werden, da sonst eine künstliche KI-Blase entsteht, die den realen Risiko- und Kontrollbedarfen nicht gerecht wird und im Widerspruch zu den Zielen integrierter Compliance steht

Wer KI heute noch meidet, zahlt morgen in Form von Ineffizienzen, verpasstem Umsatz und schwindender Wettbewerbsfähigkeit. Wer KI bereits nutzt, aber ohne eine klare Governance-Struktur wie KIMS, zahlt morgen mit Sicherheitsvorfällen, Bußgeldern und Reputationsverlust.

Kommentar von Peter Wüst, Salesforce

Mit dem Einzug autonomer Agenten wird Datenqualität zur Sicherheitsfrage

EU-KI-Verordnung bringt neue Compliance-Anforderungen

eRecht24 stellt Tools für rechtssicheren KI-Einsatz vor

(ID:50610217)