Kommentar von Matthias Bissinger, aDvens Darauf sollten Unternehmen beim Einsatz von Large Language Models achten

Seit spätestens Ende 2022 ist generative Künstliche Intelligenz (KI oder GenAI) in der breiten Masse angekommen. Während sich zuvor vorrangig Experten mit dieser Technologie beschäftigt haben, kann heute nahezu jeder mit Künstlicher Intelligenz interagieren, Bilder generieren oder komplexe Fragen beantworten lassen. Auch Unternehmen setzen zunehmend auf generative KI, um Prozesse zu optimieren und neue Möglichkeiten der Automatisierung zu erschließen. Dabei gilt es aber, einige Punkte zu beachten.

GenAI ist der Oberbegriff für Technologien, die ganz allgemein neue Inhalte erstellen können. Large Language Models (LLMs) dagegen sind KI-gestützte Sprachmodelle, die auf riesigen Mengen an Daten trainiert wurden und auf Textverarbeitung und -generierung spezialisiert sind. Sie beantworten Fragen oder übernehmen sogar kreative Aufgaben wie das Schreiben von Gedichten oder Programmcode. Vereinfacht gesagt, berechnet das Modell, basierend auf verschiedenen Parametern, die Wahrscheinlichkeit, mit der eine Texteinheit (ein sogenannter Token) für eine Ausgabe gewählt wird. Wichtige Begriffe im Zusammenhang mit LLMs, die sowohl deren Leistungsfähigkeit als auch deren Sicherheit beeinflussen können, sind:

Parameter: Parameter sind Einstellungen zur Steuerung der Fähigkeiten eines LLMs, die unter anderem die Qualität und Komplexität der generierten Texte beeinflussen. Große LLMs wie GPT-4 oder Gemini bestehen aus bis zu 1,7 Trillionen Parametern.

Trainingsdaten: Bei den Trainingsdaten handelt es sich um Textmengen, auf denen das Modell trainiert wird, um Muster und Strukturen in der Sprache zu erlernen. Der Trainingsprozess beginnt mit der Festlegung der Parameter auf Anfangswerte (das Foundation Model). Im Anschluss werden Eingaben entgegengenommen, Ausgaben generiert und letztere mit dem tatsächlichen Text verglichen. Anhand der Genauigkeit der Ausgaben werden die Parameter angepasst. Dieser Lernprozess wird auch als Machine Learning bezeichnet.

Prompt: Die Eingabe, die Nutzer an das Modell geben, um eine Antwort oder eine generierte Ausgabe zu erhalten, bezeichnet man als Prompt. Je genauer und spezifischer dieser ist, umso besser kann die durch das LLM generierte Ausgabe werden. Die Erzeugung komplexer Prompts ist mittlerweile zu einer eigenen Wissenschaft geworden, die unter dem Namen Prompt Engineering bekannt ist.

Halluzinationen: Fehlerhafte oder erfundene Informationen, die ein LLM ausgibt, obwohl es keine tatsächliche Grundlage dafür gibt, nennt man Halluzinationen. Wie oft es dazu kommt, hängt hauptsächlich mit der Menge an Trainingsdaten zusammen. Je mehr Trainingsdaten dem Modell zur Verfügung gestellt wurden, umso genauer kann ein LLM korrekte Token auswählen. Im Umkehrschluss steigern wenig Trainingsdaten die Wahrscheinlichkeit, dass ein LLM eher unpassende Token auswählt.

Fine-Tuning: Unter Fine-Tuning versteht man die Anpassung eines vortrainierten Modells an spezifische Anwendungsfälle oder Unternehmensanforderungen. Die Einstellung der Parameter beeinflusst maßgeblich das Verhalten des LLMs bei der Ausgabe. Beispielsweise sollte ein LLM für einen Chatbot in der Lage sein, einfache, kurze und für eine Konversation mit Menschen verständliche Antworten zu geben.

Risiken beim Einsatz von LLMs

Mit dem Einsatz von LLMs gehen naturgemäß auch Risiken einher. Unternehmen stehen vor der Herausforderung, sicherzustellen, dass die von ihnen entwickelten und eingesetzten Sprachmodelle gesetzeskonform, ethisch vertretbar und sicher sind. Drei zentrale Komponenten erfordern hierbei besondere Aufmerksamkeit, um eine adäquate Nutzung zu gewährleisten: die Eingaben („Input“ bzw. „Prompt“), die zugrunde liegenden Daten, Algorithmen und Parameter sowie die Ausgaben („Output“). Jeder dieser Bereiche birgt spezifische Sicherheitsrisiken.

Input: Manipulierte Eingaben als Einfallstor für Angriffe

LLMs sind darauf ausgelegt, flexibel auf Eingaben zu reagieren. Das birgt die Gefahr gezielt manipulierter Anfragen, die das Modell zu unerwünschten oder problematischen Antworten verleiten können. Im Rahmen des Prompt Engineerings beschäftigen sich verschiedene Gruppen bereits intensiv damit, auf welche Art und Weise Prompts verfasst werden müssen, um LLMs gezielt durch die Eingabe von Befehlen zur Kompromittierung nutzen zu können.

Ein Anwendungsbeispiel ist die sogenannte „Prompt Injection“. Hier bringen Angreifer das Modell dazu, Anweisungen zu ignorieren oder nicht vorgesehene Antworten zu generieren. Besonders problematisch sind außerdem Angriffe, die das Modell zu ressourcenintensiven Berechnungen zwingen, was zu Unterbrechungen oder gar zu einem Denial-of-Service (DoS) führen kann.

Daten und Parameter: Unzureichendes Training beeinflusst die Qualität

Die Qualität und Sicherheit eines LLMs hängt maßgeblich von den zugrunde liegenden Trainingsdaten ab. Sind diese unzureichend oder enthalten sie verzerrte Informationen, kann dies dazu führen, dass das Modell fehlerhafte oder irreführende Antworten liefert.

Eine weitere Herausforderung sind mögliche Halluzinationen, bei denen das Modell falsche Fakten generiert, die auf den ersten Blick jedoch glaubhaft erscheinen. Dazu kommt es durch den sogenannten Transformer-Mechanismus, bei dem sequenzielle Daten wie Texte entgegengenommen und Token, die am wahrscheinlichsten passen, ausgewählt werden. Die Wahrscheinlichkeit wird anhand der zugrunde liegenden Parameter und Trainingsdaten berechnet. Sind nur wenig Trainingsdaten vorhanden, steigt das Risiko, dass ein Token gewählt wird, das zwar schlüssig klingt, inhaltlich jedoch inkorrekt ist.

E-Book von BigData-Insider

Künstliche Intelligenz fällt nicht aus dem rechtlichen Rahmen

Die Kreativität der Antworten kann darüber hinaus über das Tuning von einzelnen Parametern gesteuert werden, beispielsweise über den Parameter Top-P. Dieser bestimmt die Vielfalt der Antworten. Ist der Wert höher, steigert dies die Zufälligkeit und Vielfalt in der erzeugten Ausgabe – die Antwort wird kreativer. Ist der Wert niedriger, führt das zu präziseren und faktenbasierten Antworten des LLMs – die Antwort wird sachlicher.

Insecure Output Handling: Risiko von Datenlecks und ethischen Problemen

Neben der inhaltlichen Korrektheit der von einem LLM generierten Antworten muss zudem sichergestellt werden, dass die ausgegebenen Daten keine sensiblen Informationen, geschäftskritische oder personenbezogene Daten preisgeben. Besonders problematisch sind Szenarien, in denen Nutzer durch geschickte Eingaben interne Informationen extrahieren, die eigentlich nicht öffentlich zugänglich sein sollten. Solche Daten sollten daher nicht zu Trainingszwecken eingesetzt werden.

Ein weiteres Risiko besteht darin, dass ein LLM Inhalte generiert, die gegen Gesetze oder ethische Grundsätze verstoßen. Beispielsweise könnten Modelle fälschlicherweise Anleitungen und Baupläne für illegale Aktivitäten bereitstellen oder diskriminierende Aussagen generieren.

Sicherheit durch proaktive Maßnahmen

Um einen sicheren Einsatz von LLMs zu gewährleisten, sind verschiedene Maßnahmen notwendig. Im ersten Schritt sollten Unternehmen klare Vorgaben definieren, wie LLMs genutzt und welche Inhalte verarbeitet werden dürfen. So entsteht Sicherheit für die Mitarbeiter bei der Verwendung, die Unternehmen sichern sich aber auch ein Stück weit rechtlich gegen die unbefugte Nutzung von LLMs ab. Vorgaben wie Datenschutz und Geheimhaltung sind dabei ebenfalls zu berücksichtigen.

Unternehmen sollten LLMs zudem kontinuierlich auf Schwachstellen testen und auf problematische Inhalte überprüfen. Besonders – aber nicht ausschließlich – trifft dies auf die Auswahl und Überprüfung der Daten während der Trainingsphase zu, da hier die Grundlagen für das Verhalten des Sprachmodells gelegt werden. Sind die Trainingsdaten eines LLM zur Erkennung von Spam-E-Mails beispielsweise nicht diversifiziert genug oder gelingt es Angreifern, als ungefährlich gelabelte Spam-Mails in die Trainingsdaten einzuschleusen, kann das dazu führen, dass das Modell fälschlicherweise schadhafte E-Mails inkorrekt klassifiziert oder ungefährliche Nachrichten blockiert.

Transparenz wird zum Risiko: DeepSeek-R1 und CoT Reasoning

Wie Hacker KI austricksen

Um unerwünschte oder gefährliche Interaktionen zu vermeiden, sollten Eingaben und Ausgaben durch automatisierte Sicherheitsmechanismen kontrolliert werden. Unternehmen können zum Beispiel Mechanismen implementieren, die problematische Eingaben identifizieren und blockieren. Das kann durch spezialisierte Filter oder durch die Kombination von LLMs mit regelbasierten Sicherheitsmechanismen erfolgen. So wird die Wahrscheinlichkeit von ungewolltem Datenverlust verringert und das Risiko potenziell strafrechtlich relevanter Ausgaben sinkt.

Auf KI-Modelle spezialisierte Penetrationstests können Schwachstellen identifizieren und Angriffsszenarien simulieren. Hierbei besteht analog zur klassischen IT sowohl die Möglichkeit, ein LLM auf Schwachstellen zu scannen, als auch aktiv gezielte Angriffe durchzuführen. MITRE hat hierfür in Anlehnung an das weit verbreitete ATT&CK Framework die auf KI zugeschnittene ATLAS-Matrix entwickelt.

Darüber hinaus ist und bleibt es essenziell, Nutzer innerhalb des Unternehmens zu sensibilisieren, welche Risiken mit der Nutzung von LLMs verbunden sind und wie sie diese vermeiden können. Wie auch bei klassischen Angriffsszenarien ist der Anwender oft eines der schwächsten Glieder der Angriffskette. Gut geschulte Mitarbeiter sind entscheidend für den Schutz von Unternehmen beim Einsatz von KI.

Fazit

Generative KI bietet enorme Möglichkeiten für Unternehmen. Ohne geeignete Sicherheitsmaßnahmen sowie Sensibilisierung der Mitarbeiter kann ihr Einsatz jedoch erhebliche Risiken mit sich bringen. Durch eine Kombination aus technischen Schutzmechanismen, klaren Richtlinien und kontinuierlicher Überwachung können Unternehmen LLMs sicher und verantwortungsbewusst nutzen. Entscheidend ist, sich den Herausforderungen bewusst zu sein und gezielt Sicherheitsmaßnahmen zu ergreifen. Unternehmen und Fachberater für Cybersicherheit helfen dabei, Risiken zu minimieren und eine sichere KI-Strategie zu entwickeln.

(ID:50338256)