Modelle, Plattformen und Infrastruktur für den schnellen Start So bringen Unternehmen KI in den produktiven Einsatz

Anbieter zum Thema

Red Hat GmbH

Fsas Technologies GmbH

INFOMOTION GmbH

QUNIS GmbH

Vom Kundenservice und Vertrieb bis hin zu IT-Prozessen und zur Softwareentwicklung gewinnt KI branchenübergreifend an Bedeutung. Der erfolgreiche Einstieg in die KI-Ära hängt allerdings von mehreren Faktoren ab. Entscheidend sind dabei vor allem die KI-Infrastruktur und -Plattform sowie die KI-Modelle.

Es liegt auf der Hand, dass die Entwicklung, Bereitstellung und Verwaltung von KI-Modellen und -Anwendungen mit zahlreichen Herausforderungen verbunden sind. Unternehmen müssen dabei komplexe technische, organisatorische, rechtliche und ethische Anforderungen berücksichtigen.

Herausforderungen beim Start: Infrastruktur, Modelle und Kosten

Künstliche Intelligenz (KI) ist dabei keine neue Entwicklung. Verbreitet im Einsatz ist schon die prädiktive KI, etwa im Hinblick auf Fraud Detection im Bankenbereich oder bei der vorausschauenden Wartung im Fertigungsbereich. Mit der generativen KI ist das mögliche KI-Einsatzspektrum aber noch deutlich größer geworden. Und auch der Hype rund um die LLMs ist noch längst nicht das Ende der Fahnenstange.

Inzwischen werden nicht nur generische LLMs als Wissensquellen genutzt, sondern mit weiteren Ansätzen zusätzliche Informationsquellen erschlossen, etwa auch aktuelle und domänenspezifische Daten. Zu nennen ist hier etwa die Technik RAG (Retrieval-Augmented Generation), mit der die in einem LLM vorhandenen Daten ergänzt werden können. Dadurch kann auch die Gefahr von Halluzinationen verringert und sichergestellt werden, dass die Modelle richtige Antworten liefern. Ein weiteres Beispiel ist der offene Standard Model Context Protocol (MCP), der den Datenaustausch zwischen LLMs und externen Quellen unterstützt. Zudem wird Agentic AI in absehbarer Zeit an Bedeutung gewinnen. Agentic AI ermöglicht LLMs, mit beliebigen Systemen in ihrer Umgebung zu interagieren und eigenständig planen und Entscheidungen treffen zu können.

Bevor ein Unternehmen also startet, muss es zunächst bestimmen, welchen KI-Weg es gehen möchte, welche Einsatzfelder adressiert werden sollen und darauf aufbauend konkrete Use Cases ermitteln und evaluieren. Ein wichtiger Punkt ist dabei immer zu berücksichtigen, und zwar die Kosten. Auf der Hand liegt, dass es für die wenigsten Unternehmen sinnvoll ist, eine extrem kostenintensive eigene GPU-Cluster-Infrastruktur aufzubauen. Auch bei der Cloud-Nutzung wird allerdings ein Punkt oft vergessen. Bei einer Token-basierten Abrechnung eines Cloud-Providers können bei entsprechender Nutzung durchaus hohe Kosten anfallen.

Kleine Modelle statt großer LLMs

Zunächst kann die Frage aufgeworfen werden, welches KI-Modell das richtige ist. Hier zeichnet sich ab, dass der Hype rund um die großen Sprachmodelle inzwischen leicht abklingt. Kleinere Modelle für spezifische Aufgaben als Alternative zu den LLMs gewinnen an Relevanz. Sie bieten verschiedene Vorteile wie die einfachere Implementierung oder kontinuierliche Integration neuer – auch unternehmens- und domänenspezifischer – Daten, sodass Unternehmen Tunings schneller durchführen können. Kleine Modelle verringern auch die Abhängigkeit der Unternehmen von großen LLM-Anbietern, deren Lösungen oft eine Blackbox hinsichtlich Algorithmen, Trainingsdaten oder Modellen sind. Nicht zuletzt tragen sie im Vergleich zur Nutzung großer LLMs auch zu einer erheblichen Kosteneinsparung bei.

Der Trend zur Nutzung kleinerer und optimierter KI-Modelle zeigt sich auch daran, dass sich etliche Unternehmen derzeit mit der vLLM-Technologie beschäftigen. Mit vLLM können Berechnungen mit einem LLM prinzipiell schneller durchgeführt werden, beispielsweise durch eine effizientere Nutzung des GPU-Speichers. Damit wird auch die Geschwindigkeit und Performance generativer Anwendungen verbessert.

Open Source für vertrauenswürdige KI und Transparenz

Bei jeder KI-Einführung geht es zudem um die Transparenz. Nicht nur in stark regulierten Branchen wie etwa der Finanzindustrie, in denen zahlreiche Vorgaben berücksichtigt werden müssen, gewinnt dabei die vertrauenswürdige KI an Bedeutung. Hier kommen dann unweigerlich Open-Source-Strategien, -Technologien und -Lösungen ins Spiel. Schließlich steht ein Open-Source-Ansatz für eine hohe Transparenz und Sicherheit.

Open-Source-KI-Projekte wie vLLM, InstructLab oder auch die Granite-Familie von Open-Source-lizensierten Modellen sind folglich die ideale Basis einer vertrauenswürdigen KI, in der es um Aspekte wie Erklärbarkeit, Fairness, Transparenz, Nachvollziehbarkeit, Reproduzierbarkeit, Robustheit und Überwachbarkeit der KI-Modelle geht. Vor allem aber bilden Open-Source-basierte Plattformen, Tools und Technologien generell auch eine optimale Grundlage für den flexiblen und erfolgreichen Betrieb von KI-Modellen – unabhängig davon, ob diese letztlich der Definition Open-Source-KI entsprechen.

Red Hat Summit 2025: sichere und KI-optimierte Hybrid-Clouds im Fokus

Red Hat ebnet Weg hin zu KI-nativer Unternehmens-IT

Hybrid-Cloud-Plattform als Infrastrukturbasis

Ein wichtiger Bestandteil der KI-Umgebung ist außerdem immer die Infrastrukturbasis. Dabei sollte ein Unternehmen einen ganzheitlichen Ansatz verfolgen, da die Nutzung von KI die Komplexität eines Projekts in der Anwendungsentwicklung erhöht – es handelt sich dabei im Prinzip um zwei verschiedene Workflows. Wenn aber sowohl die App- als auch die KI-Entwicklung auf der gleichen Plattform erfolgen, wird dieser Prozess erheblich vereinfacht.

Will ein Unternehmen einen Vendor-Lock-in vermeiden, mit neuen KI-Innovationen Schritt halten und vielfältige Anwendungsfälle umsetzen, empfiehlt sich auf jeden Fall eine flexible Hybrid-Cloud-Plattform. Sie unterstützt mit Security-Kontrollen, Versionierung und Archivierung die sichere KI-Umsetzung, und zwar von der KI-Modellentwicklung über das KI-Modelltraining bis hin zur KI-Modelleinbindung in Anwendungen.

Ein offene Hybrid-Cloud-Plattform bietet Unternehmen vor allem auch eine hohe Flexibilität hinsichtlich der genutzten Infrastruktur und geeignetsten Umgebung für die jeweiligen KI-Workloads: von einer On-Premises- bis zu einer Cloud-Umgebung. Ein solches Plattformkonzept ermöglicht zum Beispiel die Entwicklung und das Training des KI-Modells in der Public Cloud auf großen GPU-Farmen unter Nutzung öffentlicher und synthetischer Testdaten mit anschließender Einbettung des Modells in die On-Premises-Anwendung. Umgekehrt ist denkbar, die Modelle mit internen hochsensiblen Daten im eigenen Rechenzentrum zu trainieren und anschließend in der Cloud zu betreiben.

Nicht zuletzt kann über offene Hybrid-Cloud-Plattformen auch ein Zugang zu zertifizierten KI-Partnern im Rahmen eines Ökosystem-Konzepts bestehen. Für Unternehmen bedeutet das, dass sie Komplettlösungen für die Entwicklung, das Deployment und Management von Modellen für KI-gestützte Anwendungen relativ einfach und schnell nutzen können.

Mit MLOps schneller von der Theorie in die Praxis

Nach der Wahl des KI-Modells und der Infrastrukturbasis geht es bei der KI-Einführung um die Operationalisierung, also den einfachen und schnellen Übergang von einer Proof-of-Concept-Phase in die produktive Nutzung. Und dabei hat sich vor allem der MLOps-Ansatz bewährt. Eine hybride MLOps-Plattform unterstützt das Training und Tuning sowie die Bereitstellung und Überwachung von KI-Modellen in der Cloud, im Edge-Bereich und on-premises.

Prinzipiell vereinfacht und automatisiert MLOps den iterativen Prozess der Integration von KI-Modellen, und zwar in Bezug auf Softwareentwicklungsprozesse, den Produktions-Rollout, die Überwachung, das Retraining und das erneute Deployment. MLOps trägt damit auch zu einer effektiveren und optimierten Zusammenarbeit von Data-Science-, Softwareentwicklungs-Teams und IT Operations bei.

Studie von Red Hat

Cloud-Strategie: KI ist gleichzeitig Treiber und Qualifikationslücke

Zukunftssichere KI-Strategien: Unabhängigkeit bewahren

Die Möglichkeiten, die KI bietet, sind heute bei Weitem noch nicht ausgeschöpft. Die Entwicklung schreitet dabei dynamisch voran. Aber Unternehmen sollten schon heute die richtigen Weichenstellungen treffen. Eine hybride Plattform ist dabei nicht die schlechteste Wahl, zumal sie Zukunftssicherheit, Unabhängigkeit und Flexibilität auch im Hinblick auf künftige Entwicklungen bieten kann. Ist etwa ein neues KI-Modell verfügbar, kann es ohne zusätzlichen Implementierungsaufwand einfacher und schneller auf der offenen Plattform eingesetzt und genutzt werden.

Nicht zuletzt kann eine offene und flexible Hybrid-Cloud-Plattform gerade in einer Zeit geopolitischer Verwerfungen und protektionistischer Maßnahmen punkten, da sie auch die freie Wahl zwischen proprietären und Open-Source-Lösungen unterstützt. Dies kommt in letzter Konsequenz der digitalen Souveränität zugute, die für viele Unternehmen zunehmend wichtiger wird.

(ID:50519933)