Neue LLMs und ein Kontextstandard für Sprach-KI Ausreden lassen, zuhören, handeln: Deepgram baut Voice Agents um

Anbieter zum Thema

Kestra S.A.S.

Voice Agents fallen Anrufern ins Wort, schweigen während einer Abfrage oder überhören Korrekturen. Deepgram will das mit zwei spezialisierten Sprachmodellen und einem offenen Kontextstandard ändern. Den Unterbau soll das Open-Source-Framework Pipecat liefern, dessen Hersteller Daily Deepgram übernehmen will.

Auf seiner ersten Hausmesse Deepgram Speak in San Francisco hat der Speech-AI-Anbieter Deepgram zwei Large Language Models vorgestellt, die speziell für Sprachagenten entwickelt wurden. Den Hintergrund beschreibt Deepgram-CPO Ed Anuff: Das LLM eines Voice Agents habe zwei Aufgaben, die in unterschiedliche Richtungen zögen. Es müsse in Sekundenbruchteilen erkennen, ob ein Anrufer ausgeredet hat oder nur nachdenkt. Gleichzeitig solle es Geschäftsregeln befolgen, Tools aufrufen und passende Antworten formulieren. Ein einzelnes Allzweckmodell erledige nach Anuffs Erfahrung keine der beiden Aufgaben besonders gut.

Ein Modell fürs Gespräch, eines für die Arbeit

Das „Think-Live LLM“ übernimmt laut Deepgram die Gesprächsführung. Es entscheidet, wann der Agent zuhört, abwartet oder antwortet. So soll es verhindern, dass der Agent Anrufern ins Wort fällt oder Gesprächspausen entstehen. Das Modell ist allgemein verfügbar und lässt sich über die Deepgram Voice Agent API nutzen. Das „Think-Fast LLM“ arbeitet im Hintergrund. Es befolgt Anweisungen, ruft während des Gesprächs externe Tools auf und formuliert Antworten, die für die Sprachausgabe optimiert sind. Dieses Modell steht vorerst nur im Early Access über die Deepgram-LLM-API bereit. Entwickler können beide Modelle kombinieren oder jeweils mit einem bereits genutzten Modell koppeln. Angaben zu Latenz, Modellgröße oder Preisen macht Deepgram bislang nicht.

Anuff nennt ein Beispiel: Ein Kunde will eine Lieferung verschieben und korrigiert sich, während der Agent noch nach freien Terminen sucht. Statt Freitag passe ihm nun Donnerstag. Think-Live bestätige die Änderung sofort, während Think-Fast die Anfrage anpasse und die Suche abschließe.

Sprachassistenten im technischen Support

Octonomy bringt Voice Agent, der Messwerte gegen die Anlagendokumentation prüft

Kontext jenseits der Wörter

Der zweite Baustein ist der Real-Time Context Standard (RCS). Die meisten Voice Agents verketten heute Speech-to-Text, ein LLM und Text-to-Speech. An jeder Schnittstelle gehen dabei Informationen wie Tonfall, Flüstern oder Zögern verloren, weil nur der reine Text weitergereicht wird. RCS ergänzt das verbreitete Chat-Completions-Format deshalb um drei Felder. Das erste beschreibt, wie der Sprecher klang. Das zweite legt fest, wie der Agent darauf reagieren soll. Das dritte gibt dem Text-to-Speech-Modell vor, wie die Antwort gesprochen werden soll. Deepgram vergleicht den Ansatz mit Tool Calling und dem Model Context Protocol (MCP).

Das Unternehmen bezeichnet RCS als herstellerunabhängigen, offenen Standard, den es gemeinsam mit dem Pipecat-Team entwickelt hat. Die Spezifikation samt Demo liegt auf GitHub und ist zur Kommentierung offen. Weitere Unterstützer außerhalb von Deepgram und Pipecat werden bislang nicht genannt.

KI-Lösungen für Firmenkunden

DeepL: Übersetzung zeigt Emotionen

Pipecat wird zum Unterbau

Damit ist der Standard eng an Deepgrams eigene Strategie geknüpft. Das Unternehmen hat angekündigt, Daily zu übernehmen, den Hersteller von Pipecat. Einen Kaufpreis haben die Unternehmen nicht genannt. Pipecat soll nach Angaben von Deepgram unter der bisherigen BSD-Lizenz Open Source bleiben und weiterhin Modelle anderer Anbieter unterstützen. Zudem wollen beide Firmen eine unabhängige Pipecat Foundation gründen.

Auf Pipecat baut Deepgram eine Voice-Agent-Plattform, die das Framework, RCS und die eigenen Modelle zusammenführen soll. Entwickler sollen ihre Agents dort über Deepgram oder in der eigenen Cloud betreiben können. Einen Zeitplan gibt es laut Unternehmen noch nicht.

Deutsch bei der Sprachausgabe verfügbar

Erweitert hat Deepgram auch die Sprachunterstützung. Das Sprachausgabemodell Flux TTS ist in neun Sprachen allgemein verfügbar, darunter Deutsch, Französisch und Italienisch. 32 weitere Sprachen befinden sich im Early Access. Bei der Spracherkennung für Voice Agents unterstützt Flux STT Multilingual zehn Sprachen allgemein, 31 weitere im Early Access. Das Transkriptionsmodell Nova-3 Multilingual deckt 55 Sprachen ab. Für die Datenverarbeitung bietet Deepgram regionale Endpunkte in den USA, der EU, Indien und Australien an, über die Verarbeitung und Speicherung in der jeweiligen Region bleiben. Eine Global API für Verbindungen mit geringerer Latenz ist angekündigt.

(ID:51008748)