Kommentar von Aaron Ricadela, Oracle „Last-Mile“-Training macht KI für Unternehmen effizienter und erschwinglicher

Anbieter zum Thema

Oracle Deutschland GmbH

Fsas Technologies GmbH

INFOMOTION GmbH

So leistungsfähig generative KI-Systeme auch sein können: Um ihren vollen Mehrwert zu entfalten, müssen sie individuell trainiert werden. Denn die meisten Unternehmen benötigen eine speziell geschulte KI, die auf ihre Anwendungsbereiche abgestimmt ist. Die Kosten, große Sprachmodelle (LLMs) von Grund auf zu trainieren, um die Feinheiten eines Spezialgebiets zu erlernen, können dabei in die Millionen gehen.

Bis vor kurzem wurden Leistungssteigerungen einer Künstlichen Intelligenz (KI) vor allem durch die Erhöhung der Parameterzahl erzielt. Ein KI-Modell besteht aus Milliarden dieser Parameter, die aus Eingabedaten gewonnen werden und maßgeblich bestimmen, wie die Lösung in der Praxis funktioniert. Doch die enormen Kosten, die durch das Training dieser Parameter entstehen, (OpenAIs GPT-4 verwendet Berichten zufolge 1,76 Billionen davon), sind für die meisten Unternehmen unerschwinglich.

Und dennoch nehmen versierte Unternehmen dabei immer häufiger eine Feinabstimmung generativer KI-Modelle vor, um eine höhere Genauigkeit zu erreichen, als ursprünglich möglich war. Ihre Lösung: Mithilfe von Techniken, die als „Last-Mile“-Training bekannt sind, füttern sie die Modelle mit bescheidenen Mengen ihrer eigenen Daten, damit die Systeme bei branchenspezifischen Aufgaben effektiv sein können – ohne dass die Rechenkosten das Budget sprengen. Dabei nutzen die Modelle das allgemeine Wissen, das sie erlernt haben und kombinieren dieses mit den vorgegebenen Unternehmensdaten. Sie lassen die Parameter unangetastet und überlassen LLM-Anbietern wie OpenAI, Cohere oder Open-Source-Angeboten das Training für die erste Meile, ehe sie mit der Feinabstimmung durch wenige eigene Daten beginnen. So erfolgt eine Anpassung der KI zu einem Bruchteil der Kosten und Rechenressourcen, die für ein herkömmliches Training von Grund auf erforderlich wären.

Der Kostensparer heißt „Last Mile“-Strategie

Die „Last-Mile“-Strategien, die Systeme dabei unterstützen, sich auf individuelle Aufgaben zu spezialisieren, können nur rund 25.000 US-Dollar kosten, da lediglich acht Cloud-basierte GPU-gestützte Server innerhalb weniger Tage – oder sogar Stunden – eingesetzt werden, um deutliche Genauigkeitsgewinne zu erzielen. Die Kosten können je nach Komplexität und Genauigkeitsanforderungen der Modelle stark variieren. Dennoch sind sie deutlich geringer als die etwa 2,5 Millionen US-Dollar, die es kosten würde, ein Modell mit 65 oder 70 Milliarden Parametern mit Hunderten von GPUs in der Public Cloud vollständig zu trainieren. Damit werden zunächst Modelle, die im allgemeinen Internet trainiert wurden, ausgewählt und so angepasst, dass sie die spezifischen Anforderungen eines Unternehmens erfüllen.

Die Möglichkeiten des Feintunings

Data Scientists setzen Techniken ein, die als „instruction tuning“ und „reinforcement learning from human feedback“ (RLHF) bezeichnet werden. Sie bieten neuronalen Netzen neue Beispiele dafür an, wie Menschen oder Maschinen Daten kennzeichnen. Sie verwenden die parameter-effiziente Feinabstimmung (PEFT), um auszuwählen welche Parameter geändert werden sollen. Bei der Anweisungsabstimmung erstellen die Teams einen Datensatz mit Anweisungen und deren korrekten Antworten und verwenden diese, um einem LLM beizubringen, ähnliche Anweisungen in der Inferenzzeit zu befolgen. Das Verstärkungslernen erweitert den Ansatz, indem ein „Belohnungsmodell“ mit menschlichen Präferenzen erstellt wird, die das Netzwerk weiter verfeinert. PEFT-Techniken können die Rechenkosten senken, indem sie eine kleine Anzahl neuer Parameter in ein großes Modell integrieren und nur die neuen Parameter trainieren, um die Problemlösungsfähigkeit zu verbessern.

Unabhängig von diesen Trainingsansätzen kann eine Methode namens Retrieval Augmented Generation (RAG) Unternehmensanwendungen aus Modellen erschaffen. Dies geschieht, indem die Informationen aus gespeicherten, für die KI-Analyse formatierten, Dokumenten gezogen werden, um eine speziellere, aktuelle Antwort zu formulieren, die über das hinausgeht, was sie im Training gelernt haben.

Wenn fast alle Parameter eines Modells „eingefroren“ werden und nur wenige neu trainiert werden, indem ihnen nur einige Dutzend oder Hunderte von zusätzlichen Beispielen gezeigt werden, können Unternehmen die Genauigkeit bei der Analyse erheblich steigern. Natürlich kann mehr Training erforderlich sein, um ein akzeptables Maß an Genauigkeit zu erreichen. Und für schwerwiegendere Probleme, wie die Feinabstimmung eines Modells für alle medizinischen Daten einer großen Krankenhauskette, sind möglicherweise Tausende von zusätzlichen Beispielen erforderlich.

Spezialisierte Datensätze

LLMs sind bereits in der Lage, mithilfe weniger Beispiele plausible Antworten auf neuartige Fragen zu geben. Das Phänomen des „few-shot learnings“ ermöglicht es den Benutzern, den Modellen während der Inferenz neue Beispiele zu zeigen. Diese Fähigkeit wird mit zunehmender Größe der Modelle immer besser. Außerdem können die Antworten von LLMs durch das so genannte Prompt-Engineering beeinflusst werden, bei dem Experten für maschinelles Lernen zur Laufzeit präzise Anweisungen zur Leistungssteigerung geben.

Das reicht oft schon aus, um das Modell zu verfeinern, wenn es sich um eine Aufgabe wie das Zusammenfassen von Artikeln oder die grobe Klassifizierung von Chat-Nachrichten als zufriedene oder unzufriedene Kunden handelt.

Herausforderungen müssen beachtet werden

Doch auch wenn Unternehmen LLMs auf der Grundlage ihrer Daten verfeinern, gilt es immer noch den Datenschutz, den Schutz des Urheberrechts und mögliche Folgen für den Ruf des Unternehmens zu priorisieren. Denn die LLM-Modelle können sich die persönlichen Daten von Nutzern merken, die während des Trainings eingeben werden – und diese dann später wiederholen. Sie neigen auch dazu, verzerrte oder fehlerhafte Informationen zu liefern. Für Unternehmen bedeutet das potenziellen Schaden für den eignen Ruf, die Beziehung zu Kunden und Zulieferern sowie potenzielle Datenschutz- und Compliance-Verstöße. Eine Vielzahl von Open-Source-Sprachmodellen, die immer beliebter werden, können auch Lizenzierungsprobleme mit sich bringen.

Genau diese Probleme müssen in der Feinabstimmung beachtet und beseitigt werden, um schließlich eine nachhaltige Sicherheit für das gesamte Modell zu gewährleisten.

(ID:50026557)