Der Superstar in der KI-Branche heißt derzeit: ChatGPT. Das Open-Source-Tool erstellt bereits für Millionen Menschen automatisch Texte. Aber Cyberkriminelle haben damit auch schon Code auf Schwachstellen untersucht und funktionierende Exploits erstellt. Für Security-Verantwortliche ist es höchste Zeit, sich mit den Gefahren und Schutzmaßnahmen auseinanderzusetzen.
Security-Verantwortliche müssen sich jetzt auf die unmittelbare Gefahr durch den Missbrauch von KI-Tools vorbereiten – und diese selbst für den eigenen Schutz einsetzen.
(Bild: Somchai - stock.adobe.com)
Der ChatbotChatGPT (Chat Generative Pre-trained Transformer) wurde erst im November 2022 von OpenAI veröffentlicht. Er soll vor allem einen menschlichen Gesprächspartner imitieren, kann aber auch Musik komponieren, Aufsätze erstellen, Testfragen beantworten, Spiele spielen – oder Computerprogramme schreiben.
Dabei weist er die üblichen Schwächen von KI-Tools auf: Die Ergebnisse sind eine Reproduktion bereits vorhandener Inhalte, wenn auch oft abgewandelt. Sie enthalten weder Kreativität noch eigene Meinung. Zudem sind die Ergebnisse oft falsch. Das Tool behauptet dann mit absoluter Sicherheit völligen Unsinn oder stellt eigene Erfindungen als Tatsachen dar.
Diese Kinderkrankheiten will OpenAPI mit aller Macht ausbessern. Vor kurzem kündigte das Unternehmen die Nachfolgeversion GPT-4 des zugrunde liegenden Sprachmodells an. Neben technischen Verbesserungen will OpenAI laut Medienberichten 1.000 weitere Leiharbeiter zum Trainieren der KI einstellen. Zusätzlich sollen 400 Software-Entwickler ihr beim Programmieren von Code helfen. Wohlgemerkt: Diese Menschen schreiben keinen Code, sondern bringen dem Bot bei, wie man ihn schreibt. Damit werden auch die Programmierfähigkeiten von ChatGPT deutlich verbessert.
OpenAI bemüht sich zwar, Missbrauch durch entsprechende Sicherheitsvorkehrungen und Sperren zu verhindern. Doch Hacker finden bislang recht einfache Wege, diese zu umgehen. Zum Beispiel gelang es ihnen Anfang Dezember 2022, ChatGPT durch verschiedene Prompt-Engineering-Techniken zu knacken, so dass der Bot Anweisungen zur Herstellung eines Molotow-Cocktails oder einer Atombombe gab.
Der neue Helfer für Hacker
ChatGTP erleichtert Cyberkriminellen deutlich das Handwerk: Ähnlich wie bei Google bekommen sie ein Suchergebnis auf eine bestimmte Frage zurück. Jedoch ist diese Antwort wesentlich genauer, wird erklärt und mit Kontext-bezogenen Beispielen angereichert, die sich direkt nutzen lassen. Damit wird das „Hacken“ kinderleicht und auch noch selbstlernend optimiert. Das hebt die potentielle Gefahr für Web-Anwendungen auf ein ganz neues Niveau, da mit ChatGPT auch Laien komplexere Angriffe durchführen können.
Schon heute lassen sich mit dem Sprachmodell GPT-3 vorhandener – auch verschleierter und dekompilierter – Code auf Schwachstellen untersuchen und funktionierende Exploits erstellen. Selbst Hacker ohne Entwicklungskenntnisse können damit erfolgreich einen kompletten Infektionsprozess durchführen, von der Erstellung einer Spear-Phishing-E-Mail bis zur Ausführung einer Reverse Shell.
Beispiele für aktuelle Angriffe
Dabei kommt das Tool schon jetzt für zahlreiche Angriffstechniken zum Einsatz. Beispielsweise hat ein Hacker damit Malware-Stämme und -Techniken nachgebildet, etwa einen auf Python basierenden Infostealer. Das erstellte Skript sucht nach gängigen Dateitypen, kopiert sie in einen Ordner, komprimiert sie in ein ZIP-Format und lädt sie auf einen fest kodierten FTP-Server hoch.
Ein weiterer mit ChatGPT erstellter Code ist ein einfaches Javascript-Snippet, das Programme herunterlädt und mit Hilfe der Powershell heimlich auf dem System ausführt. Damit hat der Angreifer versucht, Anmeldedaten zu stehlen. Für eine SQL Injection wurde ChatGPT ein PHP-Codefragment zur Verfügung gestellt. Sobald das KI-Tool eine Code-Schwachstelle identifiziert, kann es eine cURL-Anfrage zur Ausnutzung der Lücke erstellen. Ähnliche Techniken lassen sich bei anderen Schwachstellen einsetzen, etwa für Buffer Overflow.
ChatGPT half einem Hacker bei der Erstellung eines Python-Skripts mit Signier-, Verschlüsselungs- und Entschlüsselungsfunktionen. Es generiert einen kryptografischen Schlüssel zum Signieren von Dateien und verwendet ein festes Passwort, um Dateien im System zu verschlüsseln. Alle Entschlüsselungsfunktionen sind ebenfalls im Skript implementiert. So lässt sich dieser Code schnell in Ransomware verwandeln.
Neben dem Erstellen von Malware eignet sich ChatGPT auch zum Schreiben von Phishing-Mails. Das KI-Tool wird außerdem zur Entwicklung von Zahlungssystemen für Kryptowährungen auf Dark-Web-Marktplätzen eingesetzt oder zur Erzeugung von KI-Kunstwerken, die auf Etsy und anderen Online-Plattformen verkauft werden.
Diese Angriffs- und Betrugsmöglichkeiten dürften ständig erweitert und immer gefährlicher werden. So haben Security-Experten nicht nur die in ChatGPT eingebauten Inhaltsfilter vollständig umgangen, indem sie die API statt der Webversion verwendeten. Sie fanden auch heraus, dass ChatGPT den erzeugten Code wiederholt verändern und mehrere Versionen derselben Malware erstellen kann. Solche polymorphe Malware ist durch seine hohe Flexibilität nur schwer zu erkennen.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Zusätzlich lässt sich die ChatGPT-API innerhalb der Malware selbst nutzen, um je nach Bedarf Module für verschiedene Aktionen bereitzustellen. Da die Malware kein bösartiges Verhalten zeigt, solange sie nur auf der Festplatte gespeichert ist, und oft keine verdächtige Logik enthält, können signaturbasierte Security-Tools sie nicht entdecken.
Hinzu kommt, dass sich Künstliche Intelligenz als Service (AIaaS) nutzen lässt. So müssen Cyberkriminelle die Modelle nicht mehr selbst trainieren oder sich auf vorgefertigte Open-Source-Modelle verlassen. Durch die deutliche Senkung der Einstiegshürden bietet AIaaS auch Hackern ohne jegliche Programmiererfahrung über benutzerfreundliche APIs Zugang zu modernsten KI-Funktionen – ohne hohe Kosten.
Mögliche Abwehrmaßnahmen
Aufgrund der schnell steigenden Bedrohungslage durch böswillige Nutzung von KI-Modellen müssen Unternehmen proaktive Maßnahmen ergreifen. Dazu gehören Investitionen in die Forschung und Entwicklung von Erkennungs- und Abwehrtechnologien, übergeordnete Strategien wie KI-Governance-Frameworks, ein umfassender Sicherheitsansatz sowie regelmäßige Penetration Tests.
Gerade hier können KI-Tools auch wesentliche Hilfestellung geben. So lässt sich mit Hilfe von AIaaS die Durchführung von Red Team Tests verbessern – insbesondere durch überzeugende Phishing-Mails. Die KI personalisiert den Inhalt automatisch auf Basis des Hintergrunds und der Persönlichkeit der Zielperson. Das gelingt oft besser als manuell durch die Mitarbeitenden des Red Teams. Diese können sich dann auf höherwertige Aufgaben wie den Aufbau von Kontext und das Sammeln von Informationen konzentrieren.
Zudem lassen sich AIaaS-basierte Systeme zur Erkennung und Abwehr echter Phishing-Angriffe nutzen. Im Vergleich zu herkömmlichen E-Mail-Filtern können Sprachmodelle wie GPT-3 genauer zwischen automatisch und manuell geschriebenen Texten unterscheiden. Für ihren Einsatz genügen grundlegende KI-Kenntnisse und wenig Ressourcen.
AWAF-Protokoll zur abgewehrten Anfrage von ChatGPT mit dem Ziel einer SQL Injection.
(Bild: F5)
Aber auch schon bestehende Tools können KI-basierte Angriffe wirksam abwehren. Zum Beispiel prüfte F5 die Qualität seiner Advanced Web Application Firewall (AWAF) mit einem durch ChatGPT erzeugten Versuch einer SQL Injection. Dieser wurde automatisch erkannt und blockiert, selbst nach URL-Verschlüsselung.
Fazit
Schon heute liefert ChatGPT meist solide Ergebnisse, die sich sofort oder nach etwas Feinschliff einsetzen lassen. Da die Sprachmodelle dieses und weiterer Tools schnell verbessert werden, dürfte die IT-Landschaft schon in Kürze deutlich anders aussehen. Wer dies ignoriert, handelt auf eigene Gefahr. So müssen sich Security-Verantwortliche jetzt auf die unmittelbare Gefahr durch den Missbrauch von KI-Tools vorbereiten – und diese selbst für den eigenen Schutz einsetzen.
Über den Autor: Frank Thias ist seit 2006 im Presales-Team als Principal Systems Engineer bei der F5 in Deutschland tätig. Er ist auf den Bereich Netzwerksicherheit spezialisiert und berät Major Account Kunden im Banken-, Versicherungs- und Industrieumfeld. Zudem verfügt er über umfangreiche Kenntnisse in den Bereichen Anwendungssicherheit, Cloud Security, Federation und Single Sign-On.