Red Hat Red Hat stellt Enterprise Linux AI und OpenShift AI für GenAI und MLOps vor

Anbieter zum Thema

Red Hat GmbH

IBM Deutschland GmbH

INFOMOTION GmbH

QUNIS GmbH

Red Hat Enterprise Linux AI (RHEL AI) ist eine quelloffene Plattform für Large Language Models (LLMs) von IBM, die Granite-Modelle, Tools von InstructLab sowie einen Entwicklungsansatz der Community vereint. Gleichzeitig kündigte Red Hat Erweiterungen für die Software OpenShift zur Ausführung von LLMs in RHEL-Clustern an: Red Hat OpenShift AI, die hybride Plattform für Maschinelles Lernen (MLOps).

Red Hat bietet mit Red Hat Enterprise Linux AI (RHEL AI) seit kurzem eine grundlegende Modellplattform an, mit der Anwender generative KI-Modelle (GenAI) nahtlos entwickeln, testen und einsetzen können. RHEL AI vereint die Open-Source-lizenzierte Large-Language-Model-Familie Granite von IBM Research, InstructLab-Modell-Alignment-Tools, die auf der Methode Large-Scale Alignment for Chatbots (LAB) basieren, und einen Community-getriebenen Ansatz zur Modellentwicklung durch das InstructLab-Projekt.

IBM Research hat mit der Technik „Large-Scale Alignment for Chatbots“ (LAB) einen Ansatz für die Modellanpassung entwickelt, bei dem eine Taxonomie-geleitete synthetische Datengenerierung und ein neuartiges mehrstufiges Tuning-Framework zum Einsatz kommen. Dieser Ansatz soll die Entwicklung von KI-Modellen offener und für alle Nutzer zugänglicher machen, indem er die Abhängigkeit von kostenintensiven menschlichen Annotationen und proprietären Modellen verringert. Die Daten kommen also weder aus dem öffentlichen Raum noch aus einem privaten Unternehmens-Netzwerk.

Bildergalerie

Bildergalerie mit 6 Bildern

Mit der LAB-Methode sollen Modelle verbessert werden können, indem die mit einer Taxonomie verbundenen Fähigkeiten und Kenntnisse spezifiziert, synthetische Daten aus diesen Informationen in großem Umfang für die Modelle erzeugt und die erzeugten Daten für das Modelltraining verwendet werden.

InstructLab ist eine Open-Source-Community, die auf der LAB-Methode und den Open-Source-Granite-Modellen von IBM aufbaut. Diese Open-Source-Entwickler kümmern sich um die LLMs. Sie haben bereits eine Familie von ausgewählten Granite-English-Language- und Code-Modellen veröffentlicht. Diese Modelle werden unter einer Apache-Lizenz mit Transparenz über die zum Training dieser Modelle verwendeten Datensätze veröffentlicht, so etwa das englische Sprachmodell Granite 7B.

Diese Grundlagen führt nun Red Hat mit seiner Enterprise-Linux-Plattform zusammen. Das schafft eine grundlegende Modellplattform, um Open-Source-lizenzierte GenAI-Modelle in Unternehmen zu bringen.

RHEL AI umfasst die Open-Source-lizenzierte Granite-Sprache und Code-Modelle, die von Red Hat unterstützt und sichergestellt werden; eine unterstützte, im Lebenszyklus befindliche Distribution von InstructLab, die eine skalierbare, kosteneffiziente Lösung für die Verbesserung der LLM-Fähigkeiten bietet und Wissen und Fähigkeiten für einen viel größeren Kreis an Benutzern zugänglich macht; eine optimierte bootfähige Modell-Runtime-Instanzen mit Granite-Modellen und InstructLab-Tooling-Paketen als bootfähige RHEL-Images über den RHEL Image Mode, einschließlich optimierter PyTorch-Laufzeitbibliotheken und von Beschleunigern für AMD Instinct MI300X, Intel und NVIDIA GPUs sowie NeMo Frameworks. Und sie bietet für Unternehmenszwecke den umfassenden Enterprise-Support- und das Lifecycle-Versprechen von Red Hat, das mit einer vertrauenswürdigen Produktdistribution für Unternehmen, einem Produktionssupport rund um die Uhr und einem erweiterten Lifecycle Support verbunden ist.

Verfügbarkeit

Red Hat Enterprise Linux AI ist inzwischen als Developer Preview verfügbar. Aufbauend auf der in der IBM Cloud verfügbaren GPU-Infrastruktur, die zum Trainieren der Granite-Modelle und zum Support von InstructLab verwendet wird, will IBM Cloud nun auch RHEL AI und OpenShift AI unterstützen. Diese Integration soll es Unternehmen erlauben, GenAI einfacher in ihren geschäftskritischen Applikationen einzusetzen.

OpenShift AI für MLOps

Wenn Unternehmen mit neuen Sprachmodellen auf RHEL AI experimentieren und sie optimieren, können sie diese Workflows ab sofort mit Red Hat OpenShift AI skalieren, welches das erwähnte RHEL AI enthalten wird.

Zudem können sie mit OpenShift AI die Kubernetes-Engine von OpenShift nutzen, um KI-Modelle in großem Umfang zu trainieren und bereitzustellen, und die integrierten MLOps-Funktionen von OpenShift AI zur Verwaltung des Modelllebenszyklus verwenden.

Das watsonx.ai Enterprise Studio von IBM, das inzwischen auf Red Hat OpenShift AI aufbaut, werde von der Verfügbarkeit von RHEL AI in OpenShift AI profitieren und zusätzliche Funktionen für die Entwicklung von Unternehmens-KI, das Datenmanagement, die Modell-Governance und eine verbesserte Preis-Performance mit sich bringen. Als Kunden nennt Red Hat AGESIC und Ortec Finance.

Die aktuelle Version der Plattform, Red Hat OpenShift AI 2.9, bringt folgende neue Features mit sich:

• Model Serving am Edge erweitert die Bereitstellung von KI-Modellen an entfernten Standorten unter Verwendung eines einzigen OpenShift-Nodes. Es bietet Inferenzfunktionen in ressourcenbeschränkten Umgebungen mit intermittierendem oder lückenhaftem Netzwerkzugang. Diese Technology Preview bietet Unternehmen einen skalierbaren, konsistenten Betrieb vom Core über die Cloud bis zur Edge und verfügt über Out-of-the-box-Observability.

• Enhanced Model Serving mit der Möglichkeit, mehrere Model Server zu verwenden, um sowohl prädiktive KI als auch GenAI zu unterstützen. Dies umfasst auch die Unterstützung von KServe, einer benutzerdefinierten Kubernetes-Ressourcendefinition, die das Serving für alle Arten von Modellen orchestriert. Neben vLLM, Text Generation Inference Server (TGIS) und Serving Engines für LLMs gilt dies auch für die Caikit-nlp-tgis-Runtime, die Modelle und Aufgaben der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) verarbeitet. Mit dem Enhanced Model Serving können Anwender prädiktive KI und GenAI auf einer einzigen Plattform für mehrere Anwendungsfälle ausführen, was die Kosten senkt und den Betrieb vereinfacht. Das ermöglicht Model Serving „out of the box“ für LLMs und vereinfacht die Arbeitsabläufe der Nutzer.

• Distributed Workloads mit Ray, unterstützt durch CodeFlare und KubeRay, ermöglichen die Nutzung mehrerer Clusterknoten zur Beschleunigung und Effizienzsteigerung der Datenverarbeitung und des Modelltrainings. Ray ist ein Framework zur Beschleunigung von KI-Workloads, KubeRay hilft bei der Verwaltung dieser Workloads auf Kubernetes. CodeFlare ist ein zentraler Bestandteil der verteilten Workload-Funktionen von Red Hat OpenShift AI und bietet ein benutzerfreundliches Framework, das die Orchestrierung und Überwachung von Tasks vereinfacht. Die zentralen Queuing- und Management-Funktionen sorgen für eine optimale Node-Auslastung und weisen Ressourcen wie GPUs den richtigen Benutzern und Workloads zu.

• Verbesserte Modellentwicklung durch Projekt-Workspaces und zusätzliche Workbench-Images. Sie bieten Data Scientists die Flexibilität, IDEs und Toolkits zu verwenden, einschließlich VS Code und RStudio, aktuell als Technology Preview verfügbar, sowie erweitertes CUDA für eine Vielzahl von Anwendungsfällen und Modelltypen.

• Visualisierung des Model-Monitorings für Performance- und Betriebs-Metriken, um die Leistung von KI-Modellen besser überwachen zu können.

• Neue Accelerator-Profile, mit denen Administratoren verschiedene Arten von Hardware-Accelerator konfigurieren können, die für die Modellentwicklung und modellunterstützende Workflows zur Verfügung stehen. Dies ermöglicht den Anwendern einen einfachen Self-Service und Zugriff auf den geeigneten Accelerator-Typ für bestimmte Arbeitslasten.

Podman AI Lab

Auf einer Präsentation für die Presse demonstrierte Markus Eisele, EMEA Developer Strategist bei Red Hat, Podman Desktop v1.10.3, ein scheinbar kleines, aber mächtiges KI-Werkzeug, das Zugriff auf das Podman AI Lab gewährt. Um LLMs für die eigenen Zwecke zurechtzuschneiden, verfügt das Werkzeug über eine benutzerfreundliche Bedienoberfläche für den Desktop, um das entsprechende GUI-Manko bei InstructLAB auszugleichen. Eisele: „Hiermit arbeitet der KI-Entwickler wie gewohnt, um die Entwicklungsumgebung auf seinem Laptop als Modell-Katalog, Wissens-Datenbank, Service-Repertoire und vor allem auch als Spielwiese („Playground“) für Modell-Tests zu nutzen.“ Mit einem (relativ) kleinen Modell wie IBM „Merlinite“ oder dem großen „Labradorite“ könnten Entwickler per GenAI-Prompt interagieren. Lokal gestartete Modelle können laut Eisele „OpenAI-API-kompatible Endpunkte bereitstellen“.

Souveräne KI-Cloud

Eine der Schwächen aller Sprachmodelle ist die rechtliche Absicherung der Trainingsdaten für die Modelle. An dieser Stelle kommt die Idee der „souveränen Cloud“ ins Spiel, die den jeweils geltenden Rechtsvorschriften entspricht, nach dem Motto: „Own your own data“ (Nvidia-CEO Jensen Huang). AWS baut gerade für viel Geld (7,5 Milliarden Euro) eine solche Cloud in Deutschland auf, doch die Schweizer haben sie schon: „Kvant AI Sovereign Cloud“. Die von der Firma Phoenix betriebene Cloud baut auf IBMs Supercomputer Vela AI auf, offeriert dabei KI-Lösungen basierend auf IBMs KI-Plattform watsonx.ai und OpenShift AI. Um vertrauliches Rechnen zu garantieren, verschlüsselt Kvant die Daten nicht selbst, sondern fordert den jeweiligen Kunden auf, seine eigenen Schlüssel mitzubringen (BYOK).

(ID:50079094)