Governance und Technik sichern KI-generierten Code KI-Coding-Tools steigern Produktivität und das Risiko gleichermaßen

KI-Coding-Assistenten beschleunigen Releases, doch sie erzeugen ebenso blind vertrauten Code – inklusive halluzinierter Funktionen, unsicherer Abhängigkeiten und fehlender Transparenz. Wer die Vorteile nutzen will, braucht verbindliche Richtlinien, Reviews und Schulungen sowie technische Kontrollen von SAST bis IDE-Scanning, Sandboxing und API-Schutz.

KI-generierter Code ist längst kein Randphänomen mehr, sondern integraler Bestandteil moderner Entwicklungsprozesse. KI-Coding-Tools wie GitHub Copilot oder Amazon Q sind mittlerweile Alltag in der Softwareentwicklung – oft ohne offizielle Genehmigung und fast immer ohne klare Richtlinien. Für CISOs und Sicherheitsverantwortliche birgt das erhebliche Risiken: Jede neue Codezeile kann potenziell zur Schwachstelle werden.

Der The Future of AppSec in the Era of AI-Report von Checkmarx zeigt: Fast 70 Prozent der befragten CISOs, AppSec-Manager und Entwickler gehen davon aus, dass im Jahr 2024 bereits mehr als 40 Prozent des Codes in ihren Unternehmen von KI geschrieben wurde – rund 45 Prozent schätzen den Anteil sogar auf bis zu 60 Prozent. Zu ähnlichen Ergebnissen kommt der Stack Overflow Developer Survey 2024: Demnach nutzen inzwischen 76 Prozent der Entwickler KI-Tools in ihrer täglichen Arbeit. KI-Tools erleichtern Entwicklern die Arbeit spürbar – doch der Effizienzgewinn bringt zugleich erhebliche Sicherheitsrisiken mit sich, die Unternehmen keinesfalls unterschätzen sollten.

Slopsquatting

So nutzen Angreifer Halluzinationen von KI-Modellen für Angriffe

KI-Coding – die neue Normalität

KI-Coding-Assistenten wie GitHub Copilot, Gemini Code Assist, Cursor oder Amazon Q Developer beschleunigen die Softwareentwicklung erheblich – ersetzen aber keine integrierten Sicherheitsfunktionen. Selbst die Anbieter betonen, dass ergänzende Tests und Tools unverzichtbar bleiben.

Wer davon ausgeht, dass KI-generierter Code automatisch sicher ist, wiegt sich in falscher Sicherheit. Im Gegenteil: Halluzinierter Code, Prompt Injections oder fehlende Transparenz über Trainingsdaten der Assistenten und Schwachstellen schaffen neue Risiken. Auch manuelle Code-Reviews stoßen hier schnell an Grenzen.

Eine Analyse aus dem Jahr 2024 zu Sicherheitslücken in von Copilot-generiertem Code aus GitHub-Projekten zeigt, wie real diese Gefahren sind. Im Rahmen der Studie wurden 733 Code-Snippets analysiert. Das Ergebnis: 29,5 Prozent der Python- und 24,2 Prozent der JavaScript-Snippets enthielten Sicherheitslücken, darunter XSS und fehlerhafte Eingabevalidierung.

Die Wahrheit ist simpel: KI-generierter Code ist nicht per se sicherer als von Menschen geschriebener Code. Der Unterschied liegt in Tempo, Volumen und dem Vertrauen, das Entwickler den Tools entgegenbringen – und genau das kann zur Falle werden.

Studie zur Nutzung generativer KI in der Application Security

Entwickler lieben KI-generierten Code – trotz Sicherheitsbedenken

Warum KI-generierter Code oft riskanter ist

Ein zentrales Problem besteht darin, dass KI-generierter Code seltener gründlich geprüft wird. Viele Entwickler vertrauen den Vorschlägen der Tools blind – und übersehen dadurch Fehler und Sicherheitslücken. Studien zeigen, dass Programmierer mit KI-Unterstützung häufiger verwundbaren Code produzieren als ohne. Verantwortungsbewusstsein und Sorgfalt sinken, weil die Logik hinter den KI-Vorschlägen oft intransparent bleibt.

Das Ergebnis: Ein trügerisches Sicherheitsgefühl, weniger Review-Aufwand – und mehr Risiken für Unternehmen. Um gegenzusteuern, braucht es Prüfprozesse und Tools, die speziell auf KI-generierten Code zugeschnitten sind.

CISO-Strategien für den sicheren Umgang mit KI-generiertem Code

Vor etwas mehr als zehn Jahren versuchten viele CISOs, Tools wie Dropbox oder Google Drive zu verbieten, um Datenlecks zu verhindern – erfolglos. Die Anwendungen wanderten in den Schatten-IT-Bereich, bis klar wurde: Nicht Verbote, sondern Governance ist der Schlüssel.

Ähnlich verhält es sich heute mit KI-Coding-Tools. Ihr Einsatz lässt sich schwer unterbinden, wohl aber absichern. Dafür brauchen CISOs eine mehrschichtige Strategie, die technische Echtzeitkontrollen mit klarer Governance verbindet.

Wege aus der Überforderung in der IT-Sicherheit

Die stille Krise der CISOs

Governance

Governance-Kontrollen ermöglichen Unternehmen, den Einsatz von KI verantwortungsvoll und skalierbar zu steuern. Sie definieren klare Grenzen, Richtlinien und Verantwortlichkeiten über Entwicklungs-, Sicherheits- und Compliance-Teams hinweg. Viele dieser Maßnahmen sind bereits bei manuell geschriebenem Code üblich – mit KI gewinnen sie jedoch noch stärker an Bedeutung.

Was Sicherheitsverantwortliche tun sollten:

• 1. Granulare Richtlinien zur Nutzung von KI-Code definieren:
  CISOs sollten klare Vorgaben für den Einsatz von KI-Coding-Tools etablieren. Dazu gehört, festzulegen, welche Tools in welchem Umfang genutzt werden dürfen und für welche Use Cases sie geeignet sind. Ebenso wichtig sind Transparenz über KI-generierten Code, Einschränkungen bei sicherheitskritischen Komponenten sowie verpflichtende Peer Reviews, um Qualität und Sicherheit zu gewährleisten.

• 2. Umfassende Security Review-Prozesse etablieren:
  Für KI-generierten Code braucht es einen verbindlich geregelten Review-Prozess. Dazu gehören definierte Schwellenwerte, ab wann ein Review Pflicht ist, sowie die Integration in PR- und CI/CD-Workflows. Geschulte AppSec-Reviewer oder Peer-Entwickler sollten prüfen, ob der Code gängige Sicherheitsstandards wie beispielsweise die OWASP Top 10 erfüllt. Entscheidend ist, dass Reviews über reine Funktionsprüfungen hinausgehen und auch Themen wie Eingabeverarbeitung, Datenbereinigung und die Vergabe von Berechtigungen abdecken.

• 3. In Trainingsangebote für Entwickler investieren:
  Unternehmen sollten ihre Entwickler gezielt schulen, um die speziellen Risiken von KI-Coding-Tools zu verstehen. Dazu gehört, wie KI-Modelle Code erzeugen, welche Sicherheitslücken häufig entstehen und wie generierte Snippets kritisch bewertet werden. Entwickler lernen so, die Grenzen von KI-Vorschlägen zu erkennen, Logikpfade zu prüfen und sichere Entscheidungen zu treffen. Kontinuierliche, rollenbezogene Schulungen, idealerweise direkt in die Entwickler-Workflows integriert, festigen dieses Bewusstsein nachhaltig.

• 4. Funktionsübergreifende Verantwortlichkeiten schaffen:
  CISOs sollten formale Verantwortlichkeitsrahmen etablieren, die AppSec, DevOps und Compliance vereinen. Dazu gehören gemeinsame KPIs, nachvollziehbare Prüfpfade für generierten Code und regelmäßige bereichsübergreifende Assessments zur Einhaltung der Richtlinien. Im Hinblick auf die Unternehmenskultur bedeutet das, Verantwortung zu teilen: Entwickler verstehen Compliance-Anforderungen, und Sicherheitsteams unterstützen kontextbezogen und kollaborativ.

Security-Insider Podcast – Folge 104

Code mit bösem Charakter – wie die OCEAN-KI Hacker enttarnt

Technische Kontrollen

Technische Kontrollen ergänzen Governance-Maßnahmen, indem sie auf automatisierte und skalierbare Lösungen setzen, die nahtlos in Entwicklungspipelines integriert sind. Sie bauen auf bestehenden Sicherheitstools auf, legen den Fokus auf kritische Systeme und tragen messbar zur Risikoreduzierung bei – ohne sich in übermäßig detaillierten Konfigurationen zu verlieren:

• 1. Automated Security Testing:
  AST-Tests wie SAST, DAST, API-Security und SCA erkennen bekannte Schwachstellen im Code, unsichere Abhängigkeiten und Fehlkonfigurationen im gesamten SDLC. Allein reichen sie nicht aus, um KI-generierten Code vollständig abzusichern, bilden aber die unverzichtbare Basis jeder AppSec-Strategie.

• 2. AI Secure Coding Assistants:
  AI Secure Coding Assistants unterstützen Entwickler beim sicheren Umgang mit KI-generiertem Code, indem sie unsichere Muster in Echtzeit erkennen und sichere Alternativen vorschlagen. Sie geben kontextbezogene Hinweise während des Schreibens, markieren potenzielle Risiken direkt in der IDE und decken Schwachstellen wie unsichere Verarbeitung des Inputs oder Standardwerte auf. So erhalten Entwickler sofortiges Feedback, noch bevor der Code übermittelt wird. Anders als SAST, das ganze Anwendungen nach dem Commit prüft, legt IDE-Scanning den Fokus auf einzelne Codeblöcke, beschleunigt den Feedback-Zyklus und macht KI zu einem aktiven Sicherheitspartner statt nur einem Coding-Assistenten.

• 3. Frühzeitiges Feedback für Entwickler:
  Unternehmen sollten dedizierte Tools implementieren, die Entwicklern sicherheitsrelevantes Feedback so früh wie möglich zur Verfügung stellen – idealerweise direkt beim Schreiben des Codes oder spätestens im Pull-Request. Automatisierte Prüfungen auf unsichere Muster, Abhängigkeiten oder Policy-Verstöße verhindern dabei, dass fehlerhafter oder riskanter Code ins Repository gelangt.

• 4. Weitere KI-Tools:
  KI-Coding-Assistenten schlagen mitunter unsichere Open-Source-Pakete vor. Hier hilft Software Composition Analysis (SCA), indem sie riskante Abhängigkeiten identifiziert und auf sichere Alternativen verweist – oder zumindest Transparenz über die Risiken schafft. Anbieter integrieren immer öfter Sicherheitsfunktionen direkt in gängige KI-Tools, sodass Entwickler schon während der Nutzung von Copilot & Co. Hinweise auf potenziell unsichere Pakete oder Schwachstellen erhalten.

• 5. Testlauf in abgeschotteten Umgebungen:
  Bevor KI-generierter Code in Produktionsumgebungen gelangt, wird er zunächst mittels Sandboxing und Containerisierung in isolierten Umgebungen getestet. Das begrenzt mögliche Schäden durch bösartige Logik, fehlerhafte Implementierungen oder unvorhergesehene Nebeneffekte – und schafft eine zusätzliche Schutzschicht, die klassische AST- oder IDE-Scans allein nicht leisten.

• 6. API-Sicherheit:
  APIs sind besonders anfällig für Risiken durch KI-generierten Code, da sie exponierte Einstiegspunkte in kritische Systeme darstellen. KI-Tools können fehlerhaften Code erzeugen, etwa durch unsichere Implementierungen oder fehlerhafte Authentifizierungsabläufe. API-Sicherheitstools reduzieren diese Gefahren mittels automatisierter Schwachstellenerkennung, Überwachung von Traffic und Anomalien sowie KI-gestützter Angriffserkennung. Diese Tools gewährleisten starke Authentifizierung, validieren Eingaben und schützen die Geschäftslogik – ein zentraler Kontrollpunkt gegen KI-bedingte Sicherheitsrisiken.

Fazit: Fluch oder Segen?

KI-generierter Code ist längst Realität. Er steigert die Produktivität, bringt aber auch neue Risiken mit sich – und beides muss gleichermaßen berücksichtigt werden. Mit einer durchdachten Kombination aus Governance und technischen Kontrollen können CISOs sicherstellen, dass ihre Teams die Vorteile von KI-Coding-Tools nutzen können, ohne die Sicherheit zu gefährden. Unternehmen, die KI verantwortungsvoll in Entwicklungsprozesse integrieren, sichern langfristig nicht nur ihre Software, sondern auch ihre Wettbewerbsfähigkeit.

Über den Autor: Patrick Siffert ist Regional Director DACH & Iberia bei Checkmarx.

(ID:50677498)