KI-Sprachübersetzung: Aure analysiert Stimme laufend DeepL passt Übersetzungsstimme in Echtzeit an

Von Berk Kutsal 2 min Lesedauer

DeepL erweitert seine Echtzeitübersetzung um das Modell „Aure“. Es soll nicht nur die Identität einer Stimme übertragen, sondern auch Veränderungen bei Tonfall, Tempo und Betonung während eines Gesprächs berücksichtigen. Verfügbar ist Aure nach Angaben des Unternehmens in DeepL Voice für Online-Meetings und persönliche Gespräche sowie über die Voice-API. Zum Start unterstützt das Modell acht Sprachen.

Aure soll Pausen, Betonung und Sprechtempo im Gespräch erkennen und in der übersetzten Stimme abbilden.(Bild:  DeepL)
Aure soll Pausen, Betonung und Sprechtempo im Gespräch erkennen und in der übersetzten Stimme abbilden.
(Bild: DeepL)

DeepL hat das Sprachmodell Aure vorgestellt. Es soll bei Echtzeitübersetzungen neben der Stimmidentität auch wechselnde Merkmale des Vortrags erfassen. Dazu zählen laut Unternehmen Tonfall, Emotion, Betonung und Sprechtempo. Aure ist ab sofort in DeepL Voice für Online-Meetings, persönliche Gespräche und in der DeepL API für Voice verfügbar.

Der Schritt baut auf einer zuvor eingeführten Funktion zur Stimmerhaltung auf. Sie habe anhand einer statischen Stimmprobe eine wiedererkennbare synthetische Stimme erzeugt. Dabei sei die Stimme der übersetzten Ausgabe nach den ersten Momenten eines Gesprächs festgelegt worden. Veränderungen im Verlauf, etwa ein Wechsel von ruhigem zu nachdrücklichem Sprechen, habe dieses Verfahren nicht berücksichtigt.

Aure analysiere dagegen fortlaufend sowohl das Quell-Audio als auch die übersetzten Wörter. So solle die Ausgabe nicht nur den Inhalt, sondern auch die jeweilige Sprechweise abbilden. DeepL beschreibt dafür einen Ansatz, bei dem Stimmidentität, Prosodie und gesprochener Inhalt getrennt verarbeitet und in die Zielsprache übertragen werden. Reinforcement Learning verfeinere die Ausgabe zusätzlich. Genauere Angaben zur Modellarchitektur oder zu messbaren Qualitätsverbesserungen macht das Unternehmen nicht.

Echtzeitanpassung unter schwierigen Bedingungen

Nach Angaben von DeepL muss Aure Stimmen auch bei Hintergrundgeräuschen, Echos und Klangverzerrungen erkennen. Zugleich soll das Modell eine Stimme sprachübergreifend wiedergeben, ohne Akzente zu überzeichnen. Eine weitere Herausforderung sei die begrenzte Verfügbarkeit realer Aufnahmen, in denen dieselbe Person mehrere Sprachen spricht.

DeepL zufolge passt sich Aure deshalb während des Gesprächs an, bevor ein Satz beendet ist. Das Modell soll dabei Merkmale einer Stimme von vorübergehenden Veränderungen unterscheiden, etwa wenn eine Person müde, begeistert oder gestresst klingt.

Das Thema knüpft an einen früheren Beitrag zur Übertragung von Emotionen in DeepL Voice an. Mit Aure liegt der angekündigte Fortschritt laut DeepL vor allem in der laufenden Anpassung des Sprechausdrucks, nicht allein in der Erzeugung einer wiedererkennbaren Stimme. Das Unternehmen erklärt zudem, Gesprächsprotokolle und Übersetzungen nicht dauerhaft zu speichern und nach Ende einer Sitzung aus dem Arbeitsspeicher zu löschen.

Zum Start unterstützt Aure Englisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch, Portugiesisch und Koreanisch. DeepL kündigt weitere Sprachen an.

(ID:51014631)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung