在线可玩！智谱开源图生视频模型，网友直呼Amazing！

叨乐 发自 凹非寺
量子位 | 公众号 QbitAI

刚刚，智谱把 清影 背后的 图生视频 模型 CogVideoX-5B-I2V 给开源了！ （在线可玩）

一起开源的还有它的标注模型 cogvlm2-llama3-caption 。

在实际应用中，CogVideoX-5B-I2V支持 「一张图」+「提示词」 生成视频。

而cogvlm2-llama3-caption则是负责将 视频内容转换成文本描述 。

不过用过的网友却对它的表现褒贬不一：

有人在用过之后直呼Amazing。

也有人试了半天，最后还是选择了CogVideoX之前的版本，还夸夸说：我最看好这个型号！

所以到底效果如何，咱们来实测一波！

实测CogVideoX-5B-I2V

测试开始~输入提示词：咖啡店员握住双手笑着对客人表示欢迎，说话时身体自然活动 （依旧是老生常谈的“手部”问题）

第二次实测，试了一下简短提示词：吗喽颠着二郎腿打电话 （效果不理想，主体还是静态的没有动起来）

第三次的提示词是：“明月圆圆，几个人坐在河边谈心说话，举杯高歌。”显示生成完成，但是到最后显示环节却直接NAN了 （呜呜呜）

整体效果有些一言难尽，而且生成速度有些慢。

咱们还是来看一下团队自己发布的一些成功作品吧：

提示词：当万花筒般的蝴蝶在花朵中翩翩起舞时，花园变得生机勃勃，它们精致的翅膀在下面的花瓣上投下阴影。

提示词：一位穿着西装的宇航员，靴子上沾满了火星的红色尘埃，在第四颗行星的粉红色天空下，他伸出手与一个外星人握手。

提示词：湖岸边长满了柳树，细长的枝条在微风中轻轻摇曳。平静的湖面倒映着清澈的蓝天，几只优雅的天鹅在平静的水面上优雅地滑翔

论文也已公开

值得一提的是，目前CogVideoX-5B-I2V模型的代码均已开源，支持在抱抱脸中进行部署。

相关研究论文也已公开，纵观论文内容，有三大技术亮点值得说道说道~

首先便是团队自研了一个高效的 三维变分自编码器结构 （3D VAE），将原视频空间压缩至2%大小，大大减少了视频扩散生成模型的训练成本及训练难度。

模型结构包括编码器、解码器和潜在空间正则化器，通过四个阶段的下采样和上采样实现压缩。时间因果卷积确保了信息的因果性，减少了通信开销。团队采用上下文并行技术以适应大规模视频处理。

在实验中，团队发现大分辨率编码易于泛化，而增加帧数则挑战较大。

因此，团队分两阶段训练模型：首先在较低帧率和小批量上训练，然后通过上下文并行在更高帧率上进行微调。训练损失函数结合了L2损失、LPIPS感知损失和3D判别器的GAN损失。

其次是 专家Transformer 。

团队使用VAE的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。

同时，他们使用T5，将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。

最后，团队反向拼接嵌入来恢复原始潜在空间形状，并使用VAE进行解码以重建视频。

最后的亮点，便是在于 数据 了。

团队开发了负面标签来识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪音视频。

通过video-llama训练的过滤器，他们标注并筛选了20000个视频数据点。同时，计算光流和美学分数，动态调整阈值，确保生成视频的质量。

视频数据通常没有文本描述，需要转换为文本描述以供文本到视频模型训练。现有的视频字幕数据集字幕较短，无法全面描述视频内容。

为此，团队还提出了一种从图像字幕生成视频字幕的管道，并微调端到端的视频字幕模型以获得更密集的字幕。
这种方法通过Panda70M模型生成简短字幕，使用CogView3模型生成密集图像字幕，然后使用GPT-4模型总结生成最终的短视频。

他们还微调了一个基于CogVLM2-Video和Llama 3的CogVLM2-Caption模型，使用密集字幕数据进行训练，以加速视频字幕生成过程。

One more thing

值得一提的是，CogVideoX近来这一个月也没有闲着，化身勤更达人码出了一堆更新！

2024年9月17日 ，提供了SAT权重的推理和微调代码和安装依赖的命令，使用GLM-4优化了提示词
链接：https://github.com/THUDM/CogVideo/commit/db309f3242d14153127ffaed06a3cf5a74c77062

2024年9月16日 ，用户可以利用本地开源模型+FLUX+CogVideoX，实现自动化生成高质量视频。
链接：https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/tools/llm_flux_cogvideox/llm_flux_cogvideox.py

2024年9月15日 ，CogVideoX的LoRA微调权重已成功导出，并在diffusers库中成功通过测试。
链接：https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/sat/README_zh.md

2024年8月29日 ，在CogVideoX-5B的推理代码中加入了pipe.enable_sequential_cpu_offload()和pipe.vae.enable_slicing()功能，使显存占用降至5GB。

2024年8月27日 ，CogVideoX-2B模型的开源协议已修改为Apache 2.0协议.

当天，智谱AI开源了更大规模的CogVideoX-5B模型，显著提升了视频生成的质量与视觉效果。这个模型优化了推理性能，允许用户在RTX 3060等桌面显卡上进行推理，降低了硬件的要求。

2024年8月20日 ，VEnhancer工具已支持对CogVideoX生成的视频进行增强，提升视频分辨率和质量。

2024年8月15日 ，CogVideoX依赖的SwissArmyTransformer库升级至0.4.12版本，微调不再需要从源代码安装该库。同时，引入了Tied VAE技术以优化生成效果。
而这次CogVideoX-5B-I2V的开源，也代表着CogVideoX系列模型已经支持文生视频、视频延长、图生视频三种任务。

相关链接已附上，感兴趣的朋友们可以围观一波~

在线试玩：https://huggingface.co/spaces/THUDM/CogVideoX-5B-Space
开源地址：https://github.com/THUDM/CogVideo
论文地址：https://arxiv.org/pdf/2408.06072

点这里 ???? 关注我，记得标星哦～