LLM Guard Services von Dataiku GenAI-Kontrolle vom Proof of Concept bis zur Inbetriebnahme

Anbieter zum Thema

Dataiku GmbH

Fsas Technologies GmbH

INFOMOTION GmbH

QUNIS GmbH

Die LLM Guard Services von Dataiku sollen Unternehmen dabei helfen, die Kontrolle von Kosten, Qualität und Sicherheit bei generativer KI (GenAI) zu behalten – von der Konzeptphase bis zur Inbetriebnahme. Die neuen Services könnten ohne Programmierkenntnisse genutzt werden.

Dataikus LLM Guard Services bestehen aus den Lösungen Cost Guard, Safe Guard und Quality Guard. Die Komponenten seien in das Dataiku LLM Mesh integriert, das Unternehmen beim Aufbau und Management von GenAI-Anwendungen auf Enterprise-Niveau unterstützt, und so konzipiert, dass sie ohne Programmierkenntnisse genutzt werden können. Dies soll Transparenz, Zusammenarbeit und Vertrauen in GenAI-Projekte zwischen Teams innerhalb eines Unternehmens fördern.

„Während der Hype um KI seinen Lauf nimmt, hat die anfängliche Begeisterung der letzten zwei Jahre inzwischen zu Frustration geführt, die fast an Ernüchterung grenzt. Das Problem liegt jedoch nicht in den Fähigkeiten von GenAI, sondern in der Zuverlässigkeit“, sagt Florian Douetteau, CEO von Dataiku. „Damit GenAI-Anwendungen ihr volles Potenzial im Unternehmen entfalten können, müssen sie in Bezug auf Kosten, Qualität und Sicherheit konstant gut performen. Als Teil von Dataikus universeller KI-Plattform ermöglichen die LLM Guard Services nicht nur ein umfassendes Management der GenAI-Einführungen von einem zentralen Ort aus, sondern sie helfen auch dabei, kostspielige Rückschläge und die Entstehung von unkontrollierter „Schatten-KI“ zu vermeiden – ein Anliegen, das sowohl für das Management als auch für IT- und Datenteams von Bedeutung ist.“

Die Dataiku LLM Guard Services umfassen drei Komponenten:

• Cost Guard: Die dedizierte Kostenüberwachungslösung ermögliche eine effektive Nachverfolgung und Kontrolle der Nutzung von LLMs in Unternehmen, um GenAI-Kosten besser antizipieren und steuern zu können.

• Safe Guard: Die Lösung könne Anfragen und Antworten auf sensible Informationen überprüfen und den Einsatz von LLMs mit anpassbaren Tools sichern, um Datenmissbrauch und -lecks zu vermeiden.

• Quality Guard: Die jüngste Ergänzung der Suite biete Qualitätssicherung durch eine automatische, standardisierte und codefreie Bewertung von großen Sprachmodellen (LLMs) für jeden Anwendungsfall, um die Antwortqualität zu maximieren und sowohl Objektivität als auch Skalierbarkeit im Bewertungsprozess zu gewährleisten.

Bisher seien Unternehmen, die GenAI einsetzen, gezwungen gewesen, benutzerdefinierte, codebasierte Ansätze zur LLM-Bewertung zu verwenden oder auf separate, spezialisierte Einzellösungen zurückzugreifen. Jetzt könnten Unternehmen innerhalb der KI-Plattform von Dataiku schnell und einfach die Qualität von GenAI bestimmen. Mit dem LLM Quality Guard könnten Kunden automatisch standardisierte Evaluierungsmetriken für LLMs erstellen, einschließlich Methoden wie „LLM-as-a-judge“ (Bewertung der Relevanz und Korrektheit von Antworten, Präzision des Kontexts) sowie statistische Techniken wie BERT, Rouge und Bleu. So lasse sich das relevanteste LLM und den besten Ansatz auswählen, um die Zuverlässigkeit von GenAI langfristig zu erhalten. Zudem könne Quality Guard dank seiner Codefreiheit den Zugang zu GenAI-Anwendungen demokratisieren, sodass jeder Beteiligte in der Lage sei, Proof-of-Concept-Experimente mit einer einheitlichen Methodik zur Qualitätsbewertung in Unternehmensanwendungen zu überführen.

(ID:50199566)