Cloudera AI Inference mit Nvidia NIM Microservices Cloudera beschleunigt die Entwicklung und den Einsatz von generativer KI

Von Bernhard Lück 3 min Lesedauer

Anbieter zum Thema

Cloudera hat einen neuen KI-Inferenzdienst vorgestellt: Cloudera AI Inference könne als einer der branchenweit ersten KI-Inferenzdienste mit eingebetteter Nvidia-NIM-Microservice-Fähigkeit die Bereitstellung und Verwaltung umfangreicher KI-Modelle rationalisieren.

Unternehmen müssen heute generative KI nahtlos in ihre bestehende Dateninfrastruktur integrieren, um Geschäftsergebnisse zu erzielen.(Bild:  © Krot_Studio – stock.adobe.com)
Unternehmen müssen heute generative KI nahtlos in ihre bestehende Dateninfrastruktur integrieren, um Geschäftsergebnisse zu erzielen.
(Bild: © Krot_Studio – stock.adobe.com)

Der neue KI-Inferenzdienst sei eine Kombination der Kernkompetenzen von Cloudera und Nvidia: Cloudera liefere vertrauenswürdige Daten als Grundlage für zuverlässige KI, Nvidia Accelerated Computing und die Software-Plattform Nvidia AI Enterprise seien verantwortlich für die Bereitstellung sicherer und performanter KI-Anwendungen. Mithilfe von Cloudera AI Inference könnten Unternehmen das wahre Potenzial ihrer Daten nutzen, um GenAI von der Pilotphase bis zur vollständigen Umsetzung voranzutreiben.

Die größten Hindernisse für die Einführung von GenAI seien Risiken und Bedenken in den Bereichen Compliance und Governance – Cloudera beruft sich hier auf die Ergebnisse einer Studie von Deloitte. Um diese Zweifel zu entkräften, müssten Unternehmen dazu übergehen, KI-Modelle und -Anwendungen privat zu betreiben – entweder on-premises oder in öffentlichen Clouds. Diese Umstellung erfordere sichere und skalierbare Lösungen, die komplexe Do-it-yourself-Ansätze vermeiden.

Cloudera AI Inference könne sensible Daten vor dem Abfluss zu nicht privaten, von Anbietern gehosteten KI-Modelldiensten schützen – durch eine sichere Entwicklung und Bereitstellung innerhalb der eigenen Kontrolle der Unternehmen. Der auf Nvidia-Technologie basierende Service helfe bei der Erzeugung vertrauenswürdiger Daten für eine zuverlässige KI mit hoher Geschwindigkeit für eine effiziente Entwicklung KI-gesteuerter Chatbots, virtueller Assistenten und agentenbasierter Anwendungen.

Entwickler könnten LLMs in Unternehmensqualität mit bis zu 36-facher Leistung mit Nvidia Tensor Core GPUs und fast vierfachem Durchsatz im Vergleich zu herkömmlichen CPUs (Central Processing Units) erstellen, anpassen und bereitstellen. Die nahtlose Benutzererfahrung integriere die Bedienoberfläche (UI) und Programmierschnittstellen (APIs) direkt in Nvidia-NIM-Microservice-Container, wodurch Befehlszeilenschnittstellen (CLI) und separate Überwachungssysteme überflüssig würden. Die Service-Integration mit der AI Model Registry von Cloudera würde zudem die Sicherheit und Governance verbessern – durch die Verwaltung von Zugriffskontrollen sowohl für Modell-Endpunkte als auch für den Betrieb. Anwender könnten von einer einheitlichen Plattform profitieren, auf der alle Modelle – ob LLM-Implementierungen oder herkömmliche Modelle – nahtlos über einen einzigen Service verwaltet werden.

Wichtige Funktionen von Cloudera AI Inference:

  • Erweiterte KI-Fähigkeiten: Nutzung von Nvidia-NIM-Microservices zur Optimierung von Open-Source-LLMs, einschließlich LLama und Mistral, für Fortschritte bei der Verarbeitung natürlicher Sprache (NLP), Computer Vision und anderen KI-Bereichen.
  • Hybride Cloud und Datenschutz: Ausführung von Workloads vor Ort oder in der Cloud, mit Bereitstellung in der Virtual Private Cloud (VPC) für verbesserte Sicherheit und Einhaltung von Vorschriften.
  • Skalierbarkeit und Überwachung: automatische Skalierung, Hochverfügbarkeit (HA) und Leistungsverfolgung in Echtzeit, um Probleme zu erkennen und zu beheben und eine effiziente Ressourcenverwaltung zu gewährleisten.
  • Offene APIs und CI/CD-Integration: standardkonforme APIs für die Modellbereitstellung, -verwaltung und -überwachung, um eine nahtlose Integration mit CI/CD-Pipelines und MLOps-Workflows (Machine Learning Operations) zu ermöglichen.
  • Unternehmenssicherheit: Durchsetzung des Modellzugriffs mit Funktionen für Servicekonten, Zugriffskontrolle, Datenherkunft und Auditing.
  • Risikogesteuerte Bereitstellung: Durchführung von A/B-Tests und Canary-Rollouts für kontrollierte Modell-Updates.

„Unternehmen sind bereit, in GenAI zu investieren. Dafür benötigen sie skalierbare sowie sichere, konforme und gut verwaltete Daten“, sagt Branchenanalyst Sanjeev Mohan. „Die Einführung von KI in großem Umfang in der privaten Cloud führt zu einer Komplexität, die mit DIY-Ansätzen nur schwer zu bewältigen ist. Cloudera AI Inference überbrückt diese Lücke, indem es fortschrittliches Datenmanagement mit der KI-Expertise von Nvidia verbindet und so das volle Potenzial der Daten freisetzt und sie gleichzeitig schützt. Mit unternehmensgerechten Sicherheitsfunktionen wie Service-Accounts, Zugriffskontrolle und Audits können Unternehmen ihre Daten zuverlässig schützen und Workloads vor Ort oder in der Cloud ausführen, um KI-Modelle mit der nötigen Flexibilität und Governance effizient einzusetzen.“

(ID:50235203)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung