Recherche und Erstellung von Inhalten So nutzen Cyberkriminelle generative KI aus

Anbieter zum Thema

Google Inc.

Board Deutschland GmbH

INFOMOTION GmbH

Fivetran Germany GmbH

Um ihre Vorgehensweisen besser zu verstehen und Missbrauch zu bekämpfen, haben die Sicherheitsforscher von Google untersucht, wie Cyberkriminelle das Sprachmodell Gemini für ihre Aktivitäten einsetzen.

Gemini ist der Chatbot von Google, der mit generativer KI (GenAI) arbeitet. Die Google Threat Intelligence Group hat in ihrem jüngsten Bericht „Adversarial Misuse of Generative AI“ untersucht, wie Cyberkriminelle Gemini für ihre Angriffe nutzen.

E-Book von BigData-Insider

Künstliche Intelligenz fällt nicht aus dem rechtlichen Rahmen

Gemini bisher nur als Unterstützung

Bisher würden die Bedrohungsakteure und APT-Gruppen (Advanced Persistent Threat) mit Large Language Models (LLMs) wie Gemini nur „experimentieren“. Den Google-Experten zufolge würden sie dadurch zwar produktiver, aber seien noch nicht in der Lage, neue Fähigkeiten zu entwickeln. Derzeit würden sie KI hauptsächlich für folgende Aktivitäten nutzen:

• die Recherche über Zielorganisationen

• die Fehlersuche im Code

• die Erstellung und Lokalisierung von Inhalten

• die Erforschung potenzieller Infrastrukturen, kostenloser Hosting-Anbieter und Schwachstellen

• die Entwicklung von Nutzdaten

• die Unterstützung bei bösartigen Skripten und Umgehungstechniken

Außerdem hätten die Cyberkriminellen versucht, Gemini für den Missbrauch von Google-Produkten zu nutzen. Konkret sei es ihr Ziel gewesen, Techniken zu erforschen, die das Phishing via Gmail und den Datendiebstahl verbessern sollten, sowie einen Chorme-Infostealer zu programmieren und Möglichkeiten zur Umgehung der Google-Kontoverifizierungsmethoden zu entwickeln. Dem Hersteller zufolge blieben die Versuche erfolglos.

Unkontrollierte Nutzung von KI

„Schatten-KI“ ist eine Gefahr für Unternehmensdaten

Zerstörung und Manipulation

Neben den APT-Gruppen gebe es auch sogenannte Information-Operations-Akteure (IO), die Gemini sowie andere LLMs ebenfalls für die Recherche und Erstellung von Inhalten nutzen. Allerdings wird der Begriff Information Operations für militärische Operationen verwendet. IO-Akteure wollen die Entscheidungsfindung von Gegnern und potenziellen Gegnern beeinflussen, stören und korrumpieren. Google unterscheidet IO- und APT-Gruppen dahingehend, dass Letztere staatlich unterstützte Hacking-Aktivitäten durchführen, einschließlich Cyber-Spionage und zerstörerische Angriffe auf Computernetzwerke und kritische Systeme. Auf der anderen Seite würden IO-Akteure versuchen, Online-Zielgruppen auf betrügerische, koordinierte Weise zu beeinflussen. Dabei nutzen sie Google zufolge Gemini für die Entwicklung von Personas und Botschaften, die Übersetzung und Lokalisierung von Inhalten sowie die Suche nach Möglichkeiten zur Erhöhung ihrer Reichweite.

Sowohl iranische IO-Akteure wie auch iranische APT-Gruppen seien die stärksten Nutzer von Gemini für solche Zwecke gewesen. Zudem haben die Experten festgestellt, dass auch chinesische und russische IO-Akteure Gemini für allgemeine Recherche und die Erstellung von schadhaften Inhalten nutzten.

KI verantwortungsbewusst nutzen

Der verantwortungsbewusste Umgang mit KI bedeutet für Google, KI so zu entwickeln, dass „die positiven Vorteile für die Gesellschaft maximiert und gleichzeitig die Herausforderungen angegangen werden“. Deshalb entwickle der Hersteller KI-Systeme mit robusten Sicherheitsmaßnahmen und Sicherheitsvorkehrungen und testet die Sicherheit seiner Modelle kontinuierlich, um diese zu verbessern. Darüber hinaus halte sich Google an einen Richtlinienentwicklungsprozess, der das Erkennen von Trends, einen End-to-End-Ansatz und Security by Design umfasse. 2014 hat Google für die Entwicklung von KI das Unternehmen DeepMind übernommen. Dort werden Bedrohungsmodelle für generative KI entwickelt, um mögliche Schwachstellen in KI-Systemen wie LLMs zu identifizieren. Zudem entwickelt das Unternehmen neue Bewertungs- und Trainingstechniken für KI, um Missbrauch zu bekämpfen.

(ID:50331751)