CogVideoX-5B stellt einen bedeutenden Fortschritt im Bereich der KI-generierten Videos dar. Entwickelt von Forschern der Tsinghua-Universität und Zhipu AI, ist dieses Open-Source-Modell zur Text-zu-Video-Generierung dabei, die Grenzen dessen zu erweitern, was in der künstlichen Intelligenz und der digitalen Inhaltsproduktion möglich ist.
CogVideoX-5B ist ein groß angelegtes Diffusion-Transformer-Modell mit beeindruckenden 5 Milliarden Parametern. Diese erhebliche Vergrößerung der Modellgröße im Vergleich zu seinen Vorgängern führt zu verbesserter Leistung und nuancierter Video-Generierung. Zu den herausragenden Merkmalen gehören:
Hochwertige Ausgabe: Das Modell erzeugt Videos mit einer Auflösung von 720x480, die klare und detaillierte Visuals bieten.
0:00/1×
Flüssige Bewegung: Mit einer Ausgabe von 8 Bildern pro Sekunde erzeugt CogVideoX-5B flüssige Bewegungen in den generierten Videos.
Verlängerte Dauer: Das Modell kann kohärente Videos von bis zu 6 Sekunden Länge produzieren, was komplexeren Erzählungen und Szenen ermöglicht.
Erweiterte Textinterpretation: CogVideoX-5B glänzt bei der Verständnis und Übersetzung detaillierter Textaufforderungen in visuelle Inhalte und erfasst Nuancen und Einzelheiten mit bemerkenswerter Genauigkeit.
Vielseitigkeit: Von Naturszenen bis zu futuristischen Konzepten zeigt das Modell ein beeindruckendes Spektrum an Fähigkeiten bei der Video-Generierung.
CogVideoX ist eine Open-Source-Version des Video-Generierungsmodells, das aus QingYing stammt. Die folgende Tabelle zeigt die Liste der derzeit angebotenen Video-Generierungsmodelle zusammen mit ihren grundlegenden Informationen:
| Merkmal | CogVideoX-2B | CogVideoX-5B (Dieses Repository) |
|---|---|---|
| Modellbeschreibung | Ein Einstiegsmodell mit ausgewogenem Kompatibilität. Geringe Kosten für Betrieb und sekundäre Entwicklung. | Größeres Modell mit höherer Video-Generierungsqualität und besseren visuellen Effekten. |
| Inferenzpräzision | FP16* (Empfohlen), BF16, FP32, FP8*, INT8, keine Unterstützung für INT4 | BF16 (Empfohlen), FP16, FP32, FP8*, INT8, keine Unterstützung für INT4 |
| Einzel-GPU-VRAM-Verbrauch | FP16: 18GB unter Verwendung von SAT / 12.5GB* unter Verwendung von Diffusoren INT8: 7.8GB* unter Verwendung von Diffusoren mit torchao |
BF16: 26GB unter Verwendung von SAT / 20.7GB* unter Verwendung von Diffusoren INT8: 11.4GB* unter Verwendung von Diffusoren mit torchao |
| Multi-GPU-Inferenz-VRAM-Verbrauch | FP16: 10GB* unter Verwendung von Diffusoren | BF16: 15GB* unter Verwendung von Diffusoren |
| Inferenzgeschwindigkeit (Schritt = 50, FP/BF16) | Einzelne A100: ~90 Sekunden Einzelne H100: ~45 Sekunden |
Einzelne A100: ~180 Sekunden Einzelne H100: ~90 Sekunden |
| Feinabstimmungspräzision | FP16 | BF16 |
| Feinabstimmungs-VRAM-Verbrauch (pro GPU) | 47 GB (bs=1, LORA) 61 GB (bs=2, LORA) 62GB (bs=1, SFT) |
63 GB (bs=1, LORA) 80 GB (bs=2, LORA) 75GB (bs=1, SFT) |
| Prompt-Sprache | Englisch* | Englisch* |
| Prompt-Längenlimit | 226 Tokens | 226 Tokens |
| Video-Länge | 6 Sekunden | 6 Sekunden |
| Bildrate | 8 Bilder pro Sekunde | 8 Bilder pro Sekunde |
| Video-Auflösung | 720 x 480, keine Unterstützung für andere Auflösungen (einschließlich Feinabstimmung) | 720 x 480, keine Unterstützung für andere Auflösungen (einschließlich Feinabstimmung) |
| Positionale Kodierung | 3d_sincos_pos_embed | 3d_rope_pos_embed |
Diese umfassende Tabelle bietet einen klaren Vergleich zwischen den beiden Modellen und hebt die erweiterten Fähigkeiten von CogVideoX-5B in Bezug auf die Qualität der Video-Generierung und die visuellen Effekte hervor. Benutzer können das geeignete Modell basierend auf ihren spezifischen Anforderungen und verfügbaren Rechenressourcen auswählen.
CogVideoX-5B, das bahnbrechende Open-Source-Modell zur Text-zu-Video-Generierung, hat eine Welt kreativer Möglichkeiten eröffnet. Hier sind 10 aufregende Aufforderungen, die Sie verwenden können, um die Fähigkeiten dieser innovativen KI-Technologie zu erkunden:
0:00/1×
"Ein älterer Herr mit gelassenem Ausdruck sitzt am Ufer, eine dampfende Tasse Tee neben sich. Er ist in sein Kunstwerk vertieft, Pinsel in der Hand, während er eine Ölgemälde auf einer Leinwand, die auf einem kleinen, verwitterten Tisch gelehnt ist, anfertigt. Die Meeresbrise spielt mit seinem silbernen Haar, das sanft sein locker sitzendes weißes Hemd umspielt, während die salzige Luft ein unvergleichbares Element zu seinem fortschreitenden Meisterwerk hinzufügt. Die Szenerie strahlt Ruhe und Inspiration aus, während die Leinwand des Künstlers die lebendigen Farben des untergehenden Sonnenlichts, das sich im stillen Meer spiegelt, einfängt."
0:00/1×
"Ein Golden Retriever mit glänzenden schwarzen Sonnenbrillen läuft verspielt über eine Dachterrasse, die gerade durch einen leichten Regen erfrischt wurde. Die Szenerie entfaltet sich aus der Ferne, die energetischen Sprünge des Hundes werden größer, je näher er der Kamera kommt, sein Schwanz wedelt vor unrestrainierter Freude, während Wassertropfen auf dem Beton hinter ihm glitzern. Der bewölkte Himmel bietet einen dramatischen Hintergrund und hebt das lebendige goldene Fell des Hundes hervor, während er auf den Betrachter zuschießt."
0:00/1×
"An einem strahlend sonnigen Tag säumen eine Reihe von Weidenbäumen das Ufer des Sees, deren schlanke Zweige sanft im leichten Wind schwanken. Die ruhige Oberfläche des Sees spiegelt den klaren blauen Himmel wider, während mehrere elegante Schwäne graziös durch das stille Wasser gleiten und zarte Wellen hinterlassen, die die spiegelähnliche Qualität des Sees stören. Die Szenerie strahlt friedliche Schönheit aus, während das Grün der Weiden einen malerischen Rahmen für die friedlichen gefiederten Besucher bietet."
0:00/1×
"Eine chinesische Mutter, in einen weichen, pastellfarbenen Morgenmantel gehüllt, wiegt sanft in einem gemütlichen Schaukelstuhl, der in der ruhigen Umgebung eines Kinderzimmers steht. Das schwach beleuchtete Schlafzimmer ist mit verspielten Mobiles geschmückt, die von der Decke hängen und Schatten an die Wände werfen, die tanzen. Ihr Baby, in eine zarte, gemusterte Decke gewickelt, liegt an ihrer Brust, das früheres Weinen des Kindes jetzt durch zufriedenes Gurren ersetzt, während die beruhigende Stimme der Mutter das Kleine in den Schlaf wiegt. Der Duft von Lavendel erfüllt die Luft und trägt zur ruhigen Atmosphäre bei, während ein warmes, orangefarbenes Licht von einer nahegelegenen Nachtlampe die Szene sanft beleuchtet und einen Moment zarter Liebe und Geborgenheit einfängt."
0:00/1×
"Ein im Anzug gekleideter Astronaut, mit rotem Marsstaub an seinen Stiefeln, reicht einem Außerirdischen, dessen Haut schimmernd blau ist, die Hand, während sie unter dem rosa gefärbten Himmel des vierten Planeten stehen. Im Hintergrund steht eine schlanke silberne Rakete, ein Zeichen menschlicher Ingenieurskunst, hoch aufgerichtet, während die zwei Vertreter unterschiedlicher Welten einen historischen Gruß inmitten der trostlosen Schönheit der Marslandschaft austauschen."
Die außergewöhnliche Leistung von CogVideoX-5B basiert auf mehreren innovativen technischen Ansätzen:
Im Kern von CogVideoX-5B befindet sich ein ausgeklügelter 3D Variational Autoencoder. Diese Komponente ist entscheidend für:
CogVideoX-5B führt einen Expert-Transformer mit adaptivem LayerNorm ein, der:
Das Modell integriert eine verbesserte End-to-End-Video-Verständniskomponente, die:
CogVideoX-5B hat in verschiedenen Benchmarks beeindruckende Leistungen gezeigt und mehrere bekannte Wettbewerber wie VideoCrafter-2.0 und OpenSora übertroffen. Es glänzt in Schlüsselbereichen wie:
