Entwicklung und Training großer Sprachmodelle Kaytus stellt KI-DevOps-Plattform MotusAI vor

Von Stephan Augsten 1 min Lesedauer

Anbieter zum Thema

Der IT-Infrastrukturanbieter Kaytus hat mit MotusAI eine Plattform für die KI-Entwicklung- und -Bereitstellung vorgestellt. Die Lösung übernimmt beispielsweise das Zuweisen von Rechenressourcen, das Orchestrieren von Aufgaben und die Verwaltung von Workflows.

Die KI-Entwicklungsplattform MotusAI übernimmt auch Aufgaben wie GPU-Ressourcenplanung und Task-Orchestrierung.(Bild:  KAYTUS)
Die KI-Entwicklungsplattform MotusAI übernimmt auch Aufgaben wie GPU-Ressourcenplanung und Task-Orchestrierung.
(Bild: KAYTUS)

MotusAI ist auf Deep Learning und KI-Entwicklung ausgerichtet und stellt Nutzern eine integrierte Plattform für den gesamten Lebenszyklus großer Sprachmodelle bereit, so Kaytus (Eigenschreibweise: KAYTUS). Dieser reicht von der Verwaltung von Datenproben und Software-Stacks über den Entwurf von Modellarchitekturen und das Code Debugging bis hin zun Training von Modellen, der Abstimmung von Parametern und der Durchführung von Evaluierungstests.

Die Plattform integriert dabei Development-Frameworks wie PyTorch und TensorFlow sowie verteilte Trainingsframeworks wie Megatron und DeepSpeed. Zudem ermögliche MotusAI ein umfassendes Lebenszyklusmanagement von KI-Inferenzdiensten – einschließlich Offline- und Online-Tests, A/B-Tests, Rolling Release, Service-Orchestrierung und Dekommissionierung von Services.

Durch eine intelligente und flexible GPU-Planung soll MotusAI eine durchschnittliche Ressourcenauslastung von über 70 Prozent in Clusterumgebungen erreichen. Kaytus verspricht eine mehrdimensionale und dynamische GPU-Ressourcen-Zuweisung, einschließlich detaillierter GPU-Planung und Unterstützung für Multi-Instance GPUs (MIG). Weitere Funktionen sind Pooling von Rechenleistung, dynamische Skalierung und die Wiederverwendung von GPU-Einzelkarten

Für die Orchestrierung von Trainings-Tasks setzt MotusAI auf einen selbstlernenden, Cloud-nativen Scheduler. Dieser verbessert den Durchsatz laut Kaytus gegenüber dem Community Scheduler um das Fünffache, während die Latenzzeit um den gleichen Faktor sinke. Dadurch ließen sich auch sehr große Modelle wesentlich schneller entwickeln.

Mit dem Ziel einer effizienten Datenübertragung unterstützt MotusAI das lokale Laden und Berechnen von Remote-Daten. Das Daten-Caching soll von „Zero-Copy“-Datenübertragung, Multi-Thread-Abrufen, inkrementeller Datenaktualisierung und Affinity Scheduling profitieren. Eine 100- bis 200-prozentige Steigerung hinsichtlich der Modelleffizienz beim Datentraining ist Kaytus zufolge zu erwarten.

Eine kostenlose Testversion von MotusAI kann ab sofort weltweit genutzt werden. Sie bietet Fernzugriff sowie Tests, Schulungen und Support für die Dauer eines Monats. Kaytus steht Interessierten auch bei lokale Pilotprojekten zur Seite. Weitere Informationen und die Möglichkeit zur Registrierung für den Testmonat finden sich auf der Produktseite zu MotusAI.

(ID:50055839)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung