Mobile-Menu

Alibaba pusht Open-Source-Video-KI Wan2.2: MoE-Modelle für Kinoqualität

Von Berk Kutsal 1 min Lesedauer

Anbieter zum Thema

Alibaba.com (Europe) LTD
QUNIS GmbH

Mit Wan2.2 veröffentlicht Alibaba Open-Source-Modelle zur Generierung großer Videos auf Basis einer Mixture-of-Experts-Architektur. Die Serie verspricht weniger Rechenaufwand, mehr künstlerische Kontrolle – und ist frei verfügbar.

Wan2.2 bietet erstmals Open-Source-MoE-Modelle für die Videoerstellung. Alibaba verspricht weniger Rechenaufwand, präzise Steuerung und erweiterte Trainingsdaten.(Bild: Alibaba)
Wan2.2 bietet erstmals Open-Source-MoE-Modelle für die Videoerstellung. Alibaba verspricht weniger Rechenaufwand, präzise Steuerung und erweiterte Trainingsdaten.
(Bild: Alibaba)

Alibaba hat in die Open-Source-Serie Wan2.2 vorgestellt, die laut Unternehmen als erste große MoE-Modelle (Mixture-of-Experts) für die Videoerzeugung gilt. Bei MoE besteht das Modell aus mehreren spezialisierten Teilnetzen, von denen pro Rechenschritt nur ein Teil aktiv ist. Das senkt den Rechenaufwand und erlaubt gleichzeitig eine gezielte Spezialisierung.

Die Reihe umfasst das Text-zu-Video-Modell Wan2.2-T2V-A14B, das Bild-zu-Video-Modell Wan2.2-I2V-A14B und das Hybridmodell Wan2.2-TI2V-5B, das beide Aufgaben in einem Framework vereint.

Die MoE-Varianten setzen im Denoising-Prozess auf zwei spezialisierte Experten: Einer erzeugt das Szenenlayout bei hohen Rauschwerten, der andere verfeinert Details und Texturen bei niedrigen Rauschwerten. Obwohl die Modelle 27 Milliarden Parameter umfassen, werden pro Schritt nur 14 Milliarden aktiviert. Das soll den Rechenaufwand um bis zu 50 Prozent verringern.

Erweiterte Datenbasis und Steuerung

Wan2.2 wurde mit einem deutlich erweiterten Datensatz trainiert: Die Menge an Bilddaten stieg um 65,6 Prozent, die Videodaten um 83,2 Prozent im Vergleich zu Wan2.1. Das Training zielte unter anderem auf eine bessere Darstellung komplexer Bewegungen wie Mimik, Handgesten oder Sportaktionen sowie auf die Einhaltung physikalischer Gesetzmäßigkeiten.

Ein promptbasiertes Steuersystem erlaubt Eingriffe in Parameter wie Beleuchtung, Tageszeit, Farbtöne, Kamerawinkel, Bildgröße, Komposition und Brennweite. Die Modelle sind laut Anbieter in der Lage, künstlerische Absichten präzise umzusetzen.

Das kompakte TI2V-5B nutzt eine komprimierte 3D-VAE-Architektur mit einer zeitlichen und räumlichen Komprimierungsrate von 4x16x16. Dadurch erreicht es eine 64-fache Gesamtdatenkompression und kann ein fünf Sekunden langes 720p-Video in wenigen Minuten auf einer einzelnen GPU erzeugen.

Die Wan2.2-Modelle stehen auf Hugging Face, GitHub und in der ModelScope-Community von Alibaba Cloud zum Download bereit. Frühere Wan-Versionen wurden laut Anbieter über 5,4 Millionen Mal heruntergeladen.

(ID:50507519)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte