Mobile-Menu

KI-Lösung Inference at the Edge Gcore sorgt für nahtlose Echtzeit-Performance von KI-Anwendungen

Von Bernhard Lück 2 min Lesedauer

Anbieter zum Thema

NVIDIA GmbH
Fsas Technologies GmbH
Board Deutschland GmbH
INFOMOTION GmbH

Mit „Inference at the Edge“ möchte Gcore, Anbieter von Edge-KI-, Cloud-, Netzwerk- und Sicherheitslösungen, KI-Anwendungen mit extrem niedrigen Latenzzeiten ermöglichen und so die verteilte Bereitstellung vortrainierter Machine-Learning-Modelle (ML) an Edge-Inferenzknoten erleichtern.

Aufgabe von Gcore Inference at the Edge ist die schnelle, sichere und kosteneffiziente Bereitstellung von vortrainierten maschinellen Lernmodellen direkt am Netzwerkrand.(Bild: Gcore)
Aufgabe von Gcore Inference at the Edge ist die schnelle, sichere und kosteneffiziente Bereitstellung von vortrainierten maschinellen Lernmodellen direkt am Netzwerkrand.
(Bild: Gcore)

Mithilfe von Gcore Inference at the Edge sollen Unternehmen aus den unterschiedlichsten Branchen, etwa aus der Fertigungs- und Automobilindustrie, dem Einzelhandel und dem Technologiesektor, KI-Modelle kostengünstig, skalierbar und sicher einsetzen können. Anwendungsfälle wie generative KI, Objekterkennung, Verhaltensanalysen in Echtzeit, virtuelle Assistenten und Produktionsüberwachung könnten nun schnell und weltweit implementiert werden.

Der Service laufe auf Gcores globalem Netzwerk mit mehr als 180 Edge-Knoten, die durch eine Smart-Routing-Technologie mit geringer Latenz miteinander verbunden seien. Jeder dieser Hochleistungsknoten befinde sich am Rande des Gcore-Netzwerks und sorge für eine strategische Platzierung der Server in der Nähe der Endnutzer. Inference at the Edge laufe auf den speziell für KI-Inferenzen entwickelten L40S-GPUs von Nvidia. Sendet ein Anwender eine Anfrage, bestimmt ein Edge-Knoten die Route zur nächstgelegenen verfügbaren Inferenzregion mit der geringsten Latenz, wodurch eine typische Antwortzeit von unter 30 Millisekunden erreicht werde.

Gcore zufolge unterstützt die neue Lösung eine breite Palette grundlegender ML- und benutzerdefinierter Modelle. Zu den im Gcore-ML-Model-Hub verfügbaren Open-Source-Grundmodellen gehören LLaMA Pro 8B, Mistral 7B und Stable Diffusion XL. Modelle könnten nach Bedarf ausgewählt und flexibel trainiert werden, bevor sie global über Gcore Inference an den Edge-Knotenpunkten verteilt werden. Damit werde ein wesentliches Problem von Entwicklungsteams gelöst: Normalerweise würden KI-Modelle auf denselben Servern ausgeführt, auf denen sie auch trainiert wurden, wodurch die Leistung vermindert werde.

Weitere Vorteile von Gcore Inference at the Edge seien:

  • Kostengünstige Bereitstellung: Dank einer flexiblen Preisstruktur müssten Kunden nur für die Ressourcen zahlen, die sie auch tatsächlich nutzen.
  • Eingebauter DDoS-Schutz: Die Infrastruktur von Gcore könne ML-Endpunkte automatisch vor DDoS-Angriffen schützen.
  • Datenschutz und Sicherheit: Die Lösung verfüge über eine eingebaute DSGVO-Konformität und folge den Standards PCI DSS und ISO/IEC 27001.
  • Modellautoskalierung: Durch Autoskalierung könne jederzeit ein Modell bereitgestellt werden könne, um Nachfragespitzen und unerwartete Lastspitzen zu bewältigen.
  • Unbegrenzter Objektspeicher: Der skalierbare S3-kompatible Cloud-Speicher wachse mit den steigenden Anforderungen des Modells.

(ID:50059045)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte