Generative KI Snowflake bietet generative KI in Snowflake-Cloud-Umgebung an

Anbieter zum Thema

Dell GmbH

Sinequa

Fivetran Germany GmbH

Snowflake Computing GmbH

NVIDIA GmbH

Im Vorfeld des jährlichen Summit in Kalifornien gab Snowflake erste Neuerungen bekannt. So sollen generative KI-Funktionen wie Large Language Models jetzt in der Snowflake-Umgebung in der Cloud laufen können.

Snowflake-Kunden können generative Künstliche Intelligenz (KI), insbesondere Large Language Models, jetzt innerhalb ihrer sicheren Snowflake-Umgebung beim Cloud-Provider laufen lassen. Bislang konnten sie die Modelle lediglich extern über sogenannte externe Funktionen und deren REST-konforme APIs an die eigenen Daten bei Snowflake anbinden.

Das hat diverse Nachteile: Bei großen Datenmengen und einer Präsenz des KI-Anbieters außerhalb des Rechenzentrums, das der Snowflake-Kunde nutzt, werden Egress-Gebühren fällig. Zudem kann es zu Bandbreitenproblemen kommen, wenn besonders große Datenmengen zur Analyse übertragen werden sollen.

„Die Funktionen, die mit den Daten arbeiten, müssen zu den Daten kommen“, beschreibt Torsten Grabs, bei Snowflake Produktmanager Data Lake, Data Engineering, Databases und AI, das Grundprinzip des neuen Angebots.

Erster Partner Nvidia

Erster KI/LLM-Anbieter, der sich für eine Installation in Snowflake qualifiziert hat, ist Nvidia mit seinem NeMo-Framework. NeMo ist ein Cloud-natives Ende- zu Ende-Framework, mit dem sich große generative KI-Modelle bauen lassen.

NeMo Guardrails

Nvidia bringt Richtlinien-Toolkit für generative KI

Weitere Partner, auch aus der Open-Source-Welt, sind willkommen. Interessierte Anbieter müssen ein Snowflake-Konto besitzen, einen Snowpark-Compute-Container auf Docker-Basis einrichten, um ihre Software darin zu betreiben und eine Snowflake Native App in Snowflakes Cloud-Marktplatz einstellen. Das Ganze dauere, so Grabs, maximal einige Wochen.

Wie viel Kunden genau zahlen müssen, um das NeMo-Framework bei Snowflake zu nutzen, ist noch nicht bekannt. Kosten entstehen erstens durch die Nutzung der Snowflake-Infrastruktur. Sie werden mit Snowflake-Credits beglichen.

Zweiter Kostenfaktor ist die Nutzung der KI-Software. Abgerechnet wird hier über eine separate Abrechnung mit beispielsweise Nvidia. Da die Kosten bei großen Datenmengen durchaus erheblich sein können und auch andere Fallstricke lauern, empfiehlt Snowflake einige Optimierungsmaßnahmen.

Unternehmensspezifische Optimierung spart Kosten

Erstens sollten Anwender bei der Auswahl ihres LLM darauf achten, mit welchen Daten es trainiert wurde. Open-Source-AKI für allgemeine Zwecke, etwa ChatGPT, greift beim Lernen durchaus auf urheberrechtsgeschützte Materialien zu. Deren Nutzung mit ökonomischem Hintergrund kann unerwünschte Rechtsfolgen haben. Außerdem enthalten diese LLMs viele Informationen, die für den Zweck, den ein Unternehmen verfolgt, möglicherweise ungeeignet sind, die Kapazität der Anwendung aber aufblähen.

Besser geeignet seien auf Businesskunden zugeschnittene Lösungen, die von vorn herein nur branchen- oder kundenspezifische Lerndaten verinnerlicht haben.

Zweitens sollte das System mit für die eigenen Zwecke optimierten Prompts gefüttert werden. Und drittens sollte die Feinanpassung des Modells dringend mit eigenen Daten erfolgen, um ein Modell so schlank und so effizient wie möglich zu gestalten.

(ID:49581985)