LLMs & Knowledge-Graphen, Teil 2 AWS setzt bei KI auf Demokratisierung, Sicherheit und Verantwortung

Anbieter zum Thema

Amazon Web Services Germany GmbH

Fsas Technologies GmbH

Die KI-Strategie, die Amazon Web Services (AWS) verfolgt, wird von den Prinzipien Demokratisierung, Sicherheit und Verantwortung bestimmt. Im Gespräch mit Constantin Gonzalez, Principal Solutions Architect bei AWS Deutschland, wird deutlich, dass AWS Tools und Methoden einsetzt, um ethische Richtlinien umzusetzen.

Mit dem Begriff „Künstliche Intelligenz“ (KI) verbinden die meisten Endanwender seit November 2022 Generative KI (GenAI), die auf Large Language Models (LLMs) beruht. KI ist allerdings viel mehr als nur GenAI, sondern umfasst auch Machine Learning und dessen Vielfalt an Algorithmen. Was nun die verschiedenen Anbieter voneinander unterscheidet, sind Foundation Models (FMs). Diese sind aufwendig und kostspielig vortrainiert, weil sie auf eine sehr große Menge von Trainings-Daten zurückgreifen. Dieser Prozess wird „Pre-Training“ genannt. Die FMs sind die Grundlagen für die KI-Nutzung sowohl in der Private wie in der Public Cloud.

Weil zu den Trainingsdaten die guten wie auch die schlechten Inhalte des Internets gehören können, trainieren „die Provider von Large Language Models in einem zweiten Schritt das Modell darauf hin, faire, balancierte, wahre und ansonsten qualitativ gute Ergebnisse zu produzieren“, so Gonzalez. Die Verantwortung beginne also bereits damit, qualitativ geprüfte und für gut befundene Trainingsdaten zu verwenden.

Bildergalerie

„Im Finetuning oder im weiteren Training bringt man dem Modell bei, faire gute, korrekte und ansonsten eben akzeptable, Bias-freie Antworten zu generieren. Die Anbieter verfolgen dabei unterschiedliche Strategien, wie sie ihre Modelle trainieren. Und das produziert natürlich eine Fülle von unterschiedlichen Modellen, die auf dem Markt verfügbar sind.“

Wie erwähnt, ist AWS sehr um Demokratisierung der KI-Technologie – die schon seit über 25 Jahren bei Amazon zum Einsatz kommt – bemüht. „Und eines der wichtigsten Ziele ist, dass wir diese Technologie möglichst vielen Kunden zur Verfügung stellen wollen.“ Nach dem Training und dem Finetuning kommt das Filtern der Nutzereingabe (des „Prompts“) und der Modellausgabe. Dafür gibt es entsprechende Algorithmen und Services.

„AWS bietet verschiedene KI-Services, und einer davon ist Amazon Comprehend. Kunden können diesen Dienst nutzen, um zu identifizieren, ob es sich bei einem vorliegenden Text um Text handelt, der personenbezogene Daten enthält, oder ein Text, der in irgendeiner Form Hassrede, Fake News, Verleumdung oder Volksverhetzung beinhaltet“, erläutert Gonzalez.

Man könne solche Filter verwenden, die auf Basis von Machine Learning aufgebaut sind, die als Detektoren agieren oder die als Klassifikatoren agieren, um damit quasi um ein Modell herum Schranken oder Leitplanken zu bauen. „Wir machen unsere Kunden darauf aufmerksam, in diesem Bereich verantwortungsbewusst zu handeln.“

„Wir arbeiten mit Start-ups zusammen und helfen ihnen, im Trainings-Prozess verantwortungsvoll zu agieren. Wir arbeiten mit Modell-Providern zusammen, die sich selbst zum Ziel gesetzt haben, verantwortungsvolle Modelle zu bauen. Anthropic ist ein Beispiel. Das ist ein Start-up, mit dem wir erst kürzlich eine engere Zusammenarbeit angekündigt haben, das sich genau zum Ziel gesetzt hat, verantwortungsvolle LLMs zu bauen. Claude-2 ist das Modell von Anthropic, welches wir über unseren Service Amazon Bedrock anbieten, aber es gibt auch andere, die da auch sehr viel in Forschung investieren.“ Das verbreitete Falcon-Modell etwa komme aus den Vereinigten Arabischen Emiraten.

Titan und Bedrock

Gonzalez weiter: „Wir bauen selbst ein LLM, das wir ‚Titan‘ nennen, das auch im Rahmen des Bedrock Services angeboten wird. Und dieses Modell ist unter besonderer Berücksichtigung von verantwortungsvoller KI entstanden, bei der wir dann sowohl beim Training als auch beim Hosting innerhalb des Bedrock Services, unserem GenAI-Dienst, genau diese Leitplanken implementiert haben. Das heißt also, wenn Kunden etwas mit Titan auf Bedrock bauen, dann hat Titan schon eingebaute Leitplanken, die verhindern sollen, dass Titan eben schlechten oder illegitimen Content produziert.“ Titan gibt es in zwei Varianten: Titan Embeddings, um Texte in eine numerische Repräsentationen umzuwandeln, und Titan Text, ein LLM, das für verschiedene KI-Text-Anwendungen genutzt werden kann. Verantwortungsbewusstes Machine Learning habe AWS in Amazon SageMaker umgesetzt.

Auswahlfreiheit

„Unsere Kunden wollen die volle Auswahl“, so Gonzalez weiter. „Jeder Kunde liebt die Freiheit, sich entscheiden zu können: Nehme ich das Modell A, B oder C? Das, welches am besten passt. Deswegen bieten wir sowohl im Rahmen von Amazon Bedrock als auch von unserem SageMaker Service viele unterschiedliche Modelle an. Bei Bedrock sind es im Moment neben Titan die Modelle von Anthropic, A21, Stability AI, und seit kurzem auch von Cohere. Zudem wird Bedrock der erste Managed Service sein, der Metas LLM Llama 2 über eine verwaltete API bereitstellt. Uns ist es ein Anliegen, GenAI unseren Kunden so einfach und kosteneffizient wie möglich zur Verfügung zu stellen, sodass sie es leicht nutzen können, ohne Infrastruktur zu verwalten und ohne sich um den Aufbau der Interfaces zu kümmern zu müssen.“

Individuelle Anpassungen

„Wir bieten Kunden die Möglichkeit, ihre FM-Modelle auf ihre eigenen Bedürfnisse hin anzupassen. Und das mit ihren eigenen privaten Daten, die aber mit der von AWS gewohnten Sicherheit sicher behandelt werden, sodass eben kein anderer auf diese Daten zugreifen kann“, erläutert der Solution Architect. An diesem Punkt komme die Debatte wieder auf den Unterschied zwischen öffentlichen und privaten Daten, mit denen Modelle trainiert werden.

Alle oben genannten Modelle sind auf Basis der vom jeweiligen Provider gesammelten Daten trainiert worden. „Das sind in der Regel öffentlich verfügbare Daten oder Daten, die die jeweiligen Modell-Hersteller selbst lizenziert oder gesammelt haben.“ Wenn nun beispielsweise ein Automobilhersteller sein LLM so finetunen wolle, dass es eine spezifische Marketingsprache und die hauseigenen Begriffe lernt, „so bieten wir für dieses Finetuning Kunden eine private Umgebung an, die wirklich nur für den Kunden spezifisch betrieben wird und auf die niemand sonst zugreifen kann. Nicht mal AWS-Mitarbeiter können darauf zugreifen, und der gesamte Finetuning-Prozess ist technisch und organisatorisch so gestaltet und auditiert, dass wirklich nur die Kunden selbst darauf Zugriff haben.“ Das verschaffe den Kunden die Gewissheit, dass ihre privaten Daten absolut sicher seien.

Technisch betrachtet funktioniere diese „Sandbox“ im Rahmen einer nur für den Kunden verwalteten VPC (Virtual Private Cloud). Und auf jeden Fall ist sichergestellt, dass eben die Daten des Kunden exklusiv nur für den Kunden zur Verfügung gestellt werden. Und auch das resultierende Modell ist nur für den Kunden verfügbar. „Alle Daten werden für den Transport verschlüsselt“, berichtet Gonzalez weiter. „Im Falle des Finetunings, also des Anpassens eines Modells, ist es so, dass die Daten beim Speichern immer verschlüsselt werden. Die Schlüssel stehen unter der alleinigen Kontrolle des Kunden, und damit ist ausgeschlossen, dass jemand anders drauf zugreifen kann.“

Steckbriefe

Damit ein Nutzer von etwa Anthropic Claude herausfinden kann, woher die Trainingsdaten dieses LLMs stammen, wird er in der Regel auf den Anbieter verwiesen, also Anthropic. Doch AWS macht es dem LLM-Nutzer noch einfacher. AWS liefert in Bedrock und SageMaker „Modellkarten“ (sog. „Model Cards“). Das sind quasi „Steckbriefe“ in Klartext, die sich veröffentlichen lassen. Der Nutzer erhält also, je nach Hersteller, eine ganze Anzahl relevanter Kennzahlen für ein Modell anhand einer Model Card, darunter auch: Welche Lizenz liegt dem Modell zugrunde, für welche Anwendungen wird es unterstützt, welche Sprachen werden unterstützt, welche Länge von Text wird unterstützt und wo gibt es weitere Informationen? AWS tut dies auch für einige seiner Services.

„Unser Partner Hugging Face tut dies auch“, so Gonzalez. „Das ist eine Community und eine Plattform für ML-Entwickler: Dort werden ML-Modelle mit Modellkarten ausgestattet und veröffentlicht, die sich in SageMaker verwalten lassen. Die Modellkarten sind Teil der Dokumentation eines Modells.“ Wie bei Hugging Face biete AWS über SageMaker „Jumpstart“ einen Marktplatz für Modelle. Die Firma Innovative Solutions hat kürzlich ihr Werkzeug „Tailwinds“ auf dem AWS Marketplace veröffentlicht. Dieses Werkzeug gibt kleinen und mittelgroßen Unternehmen die technischen Möglichkeiten, um GenAI direkt in ihre Anwendungen einzubinden: mit Infrastructure as Code und einem Zugang zu Anthropic- und AWS-Modellen über eine API-Library sowie einer serverlosen Testumgebung.

Branchenlösungen

„GenAI ist für unsere Kunden eine große Chance, neue Funktionen hinzuzufügen“, berichtet Gonzalez. „Sie nehmen viel Geld in die Hand, um branchenspezifische Lösungen zu erstellen. Wir sehen sehr viele Anwendungsfälle aus unterschiedlichen Branchen, so etwa in der Medizin-Branche. Wir haben vor kurzem einen neuen Service namens Amazon HealthScribe angekündigt. Dieser Dienst erleichtert es Medizinern, Mitschriften von medizinischen Gesprächen oder medizinischen Dokumenten anzufertigen und damit vereinfacht dieser Transkriptions-Arbeit, indem er eben medizinische Notizen zusammenfasst.“

Eine weitere Anwendung wäre etwa in der Fertigungsbranche die Betriebsanleitung für eine Maschine. Dafür wird ein LLM mit GenAI bereitgestellt, um Fragen mithilfe einer Suchmaschinenfunktion zu beantworten. Das erledigt Amazon Kendra mithilfe von NLP. Treffer der Suchmaschine lassen sich besser durchsuchen, ebenso die Ausgabe besser zusammenfassen.

„Das Ganze beruht auf einem wissenschaftlichen Paper, das Retrieval Augmented Generation heißt, abgekürzt RAG“, erläutert Gonzalez. „Und das ist ein Muster, das sich sehr häufig bei vielen Kunden sehe, was wirklich auf sehr einfache Weise mithilfe von Generative AI einen großen Nutzen für User oder für Kunden darstellt.“ Hier setzt ein neues LLM aus der AWS entwickelten und vortrainierten FM-Familie „Titan FM“ an; „Amazon Titan Embeddings“ wandelt Text in numerische Darstellungen – Emebeddings – um, was Use Cases im Bereich Suche, Personalisierung und RAG unterstützt. Wie die letzte Kundenkonferenz von Oracle gezeigt hat, ist man auch bei Oracle auf RAG aufmerksam geworden und bietet diese Technologie den Kunden an.

„Das ist nur der Anfang“, so Gonzalez abschließend. Wenn der GenAI-Tag 24 Stunden hätte, wären wir noch nicht mal beim Frühstück.“

(ID:50195829)