Skalierung, Orchestrierung und Governance für KI Dataiku stellt LLM-Mesh-Erweiterung vor

Anbieter zum Thema

Dataiku GmbH

Fsas Technologies GmbH

INFOMOTION GmbH

QUNIS GmbH

Dataiku, der französische Anbieter einer kollaborativen Data-Science- und KI-Plattform, hat seine LLM-Mesh-Erweiterung vorgestellt. Sie soll die wahlfreie Nutzung skalierbarer LLMs der generativen KI erlauben und durch Governance absichern. Als Partner unterstützen unter anderem Snowflake, Pinecone, AI21 sowie Nvida LLM Mesh. Maximilian Harms, Principal AI Transformation Advisory bei Dataiku, erläutert das neue Angebot.

„LLMs und Generative KI im allgemeinen brauchen Governance und Compliance“, so Harms. Zu aktuellen Herausforderungen im Falle generativer KI zählen seiner Ansicht nach unter anderem das Fehlen einer zentralen Verwaltung, unzureichende Kontrollen der Berechtigungen für Zugriffe auf Daten und Modelle, oft zu minimale Maßnahmen gegen „toxische“ Inhalte, die nicht rechtskonforme Verwendung personenbezogener Daten und fehlende Mechanismen, um Kosten zu überwachen.

„Darüber hinaus benötigen viele Unternehmen Hilfe bei der Einführung von Best Practices, also konkreter Anwendungsfälle, um das Potenzial des sich rasant entwickelnden Ökosystems an KI-Technologien voll ausschöpfen zu können.“ Das erzeuge einen hohen Beratungsbedarf.

„LLM Mesh bildet das gemeinsame Rückgrat für generative KI-Apps, die mit Dataiku und seinen Partnern Snowflake, Pinecone und AI21 erstellt werden können. Weil wir Technologie-agnostisch sind, fungiert Dataiku lediglich als Orchestrierungsplattform, um sowohl Open-Source-basierte als auch proprietäre LLMs verschiedener Anbieter wie von AWS, Azure oder Meta, beispielsweise LLaMA, einzubinden. LLM Mesh richtet sich an Coder und an Nicht-Coder. Unsere weitere Aufgabe besteht darin, unseren Kunden die Überwachung zu ermöglichen: erstens die der Datenzugriffe durch befugte Personen oder Gruppen, zweitens die der Kosten.“

Komponenten

LLM Mesh bietet laut Harms Komponenten, die Unternehmen benötigen, um effizient sichere Anwendungen mit Large-Language-Modellen (LLM) zu erstellen. „Mit LLM Mesh, das zwischen Anbietern von LLM-Diensten und Anwendungen der Endnutzer fungiert, können Unternehmen bereits jetzt und auch zukünftig die kosteneffizientesten Modelle entsprechend ihrer Bedürfnisse auswählen, Sicherheit ihrer Daten und Antworten gewährleisten und wiederverwendbare Komponenten für die skalierbare Entwicklung von Anwendungen erstellen“, fasst Harms zusammen.

Zu den bislang verfügbaren Komponenten gehören das universelle Routing von KI-Diensten, der sichere Zugang und die Prüfung von KI-Diensten, Sicherheitsvorkehrungen für die Überprüfung privater Daten und die Moderation von Antworten sowie das Erfassen von Leistungen und Kosten. Laut Harms verfügt LLM Mesh zudem auch über standardisierte Komponenten für die Entwicklung von Anwendungen, um Qualität und Konsistenz zu gewährleisten und gleichzeitig die vom Unternehmen erwartete Kontrolle und Leistung zu liefern.

Harms weiter: „So vereinfacht sich der Einsatz von LLMs, Vektordatenbanken und verschiedener IT-Infrastrukturen in Unternehmen. Unsere Launch-Partner Snowflake, Pinecone und AI21 Labs repräsentieren zudem mehrere Schlüsselkomponenten von LLM Mesh wie containerisierte Daten und Rechenkapazitäten, Vektordatenbanken und LLM-Builder.“

Mit AI21 Studio können u. a. aufgabenspezifische Foundational Models auf der Basis des LLM „Jurassic-2“ entwickelt werden. Pinecone bietet eine Vektor-Datenbank an. Pinecone wandelt als Tool die Informationen in Vektordaten um. Das jeweilige LLM des Kunden wird dank der Vektordatenbank mit dem gewünschten, spezifischen Wissen „ausgestattet“. Snowflake bietet als Cloud-Data-Warehouse-Plattform Storage- und Compute-Ressourcen an.

„Bei Dataiku überbrücken wir die Lücke zwischen theoretischem Potenzial und dem Einsatz generativer KI im Unternehmen in der Praxis“, sagt Clément Stenac, Chief Technology Officer und Mitgründer von Dataiku. „Wir sind sicher, dass LLM Mesh die Struktur und Kontrolle bietet, nach der viele gesucht haben, und so den Weg für sicherere, schnellere GenAI-Implementierungen ebnet, die echten Mehrwert generieren.“

Vier Ebenen des Betriebs oder der Nutzung

Bei den Zugriffen auf LLM Mesh gibt es nach Angaben von Harms vier Stufen der Realisierung:

• Variante 1: Der Kunde nutzt direkt ein LLM wie etwa GPT-4 von OpenAI, beispielsweise für die Klassifizierung von Kundenbeschwerden bei einer Fluggesellschaft. API-Calls an OpenAI bezahlt man nach einem komplexen Modell der Preisgestaltung, für die aber eine Art Taschenrechner bereitsteht.

• Variante 2: Prompt Engineering, also: „In der Regel textbasierte Anweisungen an ein Modell für gewünschte Textoutputs“, doch es muss laut Harms sehr skalierbar sein. Es eignet sich für proprietäre LLMs und quelloffene LLMs wie LLaMa von Meta. „Open Source“ heißt: Ein LLM wie LLaMa von Meta führt man in eigener IT-Umgebung aus, etwa in der Hybrid- oder Multi-Cloud. Harms: „Die Kosten für Speicher- und Rechenkapazitäten für die lokale Nutzung bezahlt man aber nicht an den Entwickler des Modells, wie beispielsweise Meta, sondern an den jeweiligen Cloud Service Provider.“

• Variante 3: Hierbei werde laut Harms ein LLM mit eigenen (vektorisierten) Daten kombiniert. Das wäre beispielsweise bei einer Versicherung mit vertraulichen Daten empfehlenswert. Dabei ist die Nutzung von Retrieval Augmented Generation (RAG) einfach möglich und empfehlenswert. Der Kunde könnte dieses LLM in einer Private/Hybrid/ Multi-Cloud selbst hosten oder auf proprietäre Modelle zurückgreifen. Ein Berater kann helfen, dafür die kosteneffizienteste Lösung zu finden.

• Variante 4: Der Kunde nutzt ein LLM und nimmt selbst dessen Feintuning, also Neugewichtung vor. „Aber dies ist sehr aufwendig, erfordert viele gute Trainingsdaten und ausreichend Rechenkapazitäten“, warnt Harms.

OpenAI-Preise

OpenAI, der Anbieter von GPT 3.5 und 4, hat eine Preisgestaltung, die auf einem Token-basierten Berechnungsmodell beruht. Harms führt ein Kostenbeispiel an: „Angenommen, ein Kunde nutzt ChatGPT 4.0 und einen Korpus von Dokumenten. Er nutzt Prompt Engineering und ein grafisches Interface. Ein Kalkulator innerhalb von Dataiku berechnet die Standardkosten für seine Nutzung und wirft sofort Ergebnisse aus.

Man rechne 1 NLP-Token pro Prompt (Input) und Ausgabe (Ergebnis): 1 Preiseinheit umfasst 1.000 Token, wobei 1 Token 0,75 englischen Wörtern entspricht und im Standardtarif 0,03 US-Dollar/User kostet. Ein Kilo-Token entspricht 750 Wörtern und kostet folglich 30,00 US-Dollar. Zum Vergleich: Die gesammelten Werke von William Shakespeare zählen etwa 900.000 Wörter, was 1,2 Millionen Token entspricht.

Nach Angaben von OpenAI sollten die Entwickler entweder GPT-4 oder GPT-3.5-Turbo nutzen. GPT 3.5 koste viel weniger pro Token als GPT-4. Der Interessent könne im „Playground“ damit experimentieren, um mit Prompts und Abfragen das geeignete LLM für sich zu finden. Das interaktive Tool heißt Tokenizer.

In einem Dashboard des Nutzer-Accounts zeigt ein Überwachungswerkzeug, wie viele Token bereits verbraucht worden sind und wie hoch die Kosten für diesen Tarif liegen. Abgerechnet werden Input und Output separat, man zahlt also zweimal. Die Abos für ChatGPT API und ChatGPT Plus werden getrennt abgerechnet. Das ChatGPT-Plus-Abo deckt nur die Nutzung von Chat-GPT ab und kostet monatlich 20 US-Dollar.

Verfügbarkeit

v12.3 von Dataiku ist bereits verfügbar und unterstützt die oben genannten Varianten 1 bis 4.

(ID:49791248)