北大、快手开源视频生成模型Pyramid Flow，1分钟生成5秒视频

智东西10月11日消息，据VentureBeat报道，北京大学、北京邮电大学和快手科技在本周联合开源了一款名为Pyramid Flow的高清视频生成模型。Pyramid Flow能根据文本描述制作长达10秒、分辨率为1280×768、每秒24帧的视频。

Pyramid Flow采用了金字塔流匹配算法，优化了视频生成的效率和质量。这一算法将视频生成过程分解为多个阶段，每个阶段对应着不同的分辨率。

在推理阶段，Pyramid Flow模型能够以相当快的速度生成视频。具体来说，它可以在56秒内生成一段时长为5秒、分辨率为384p的视频，这一速度与市面上许多全序列扩散模型相当，甚至更快。

目前，该项目已经在Hugging Face和GitHub上开源。

开源地址：

1、https://github.com/jy0205/Pyramid-Flow

2、https://huggingface.co/rain1011/pyramid-flow-sd3

一、金字塔流匹配算法：高质量AI视频新技术，逐层提高分辨率

文生视频领域有一个非常难的技术挑战，就是如何有效地处理和生成高维度的视频数据。

针对这一技术挑战，Pyramid Flow研发团队提出了金字塔流匹配算法。

金字塔流匹配算法的核心思想是将视频生成过程分解为多个阶段来有效处理高维度的视频数据。这些阶段从低分辨率开始，逐步升级到高分辨率，从而逐步提升视频的清晰度。

这个过程就像是先画一个简单的草图，然后一点点地加上颜色和细节，直到画出一幅完整的画。

▲金字塔流匹配算法：视频的生成是在不同的分辨率层次上逐步进行的（图源：arxiv论文截图）

二、开源数据集训练，Pyramid Flow生成5-10秒高清视频

Pyramid Flow模型通过分阶段的方式生成视频，大大减少了计算成本。

//oss.zhidx.com/uploads/2024/10/6708ce81379bf_6708ce8130b37_6708ce8130b05_2.mp4

▲Pyramid Flow生成的视频展示（图源：Pyramid Flow官网）

与传统的扩散模型相比，Pyramid Flow的金字塔流匹配算法将token数量减少了4倍。

//oss.zhidx.com/uploads/2024/10/6708cef0f36bb_6708cef0ea0a5_6708cef0ea080_2.mp4

▲Pyramid Flow生成的视频展示（图源：Pyramid Flow官网）

据官网介绍，该模型可以在768p分辨率和每秒24帧的条件下生成5至10秒的视频，并且是基于开源数据集进行训练的。

//oss.zhidx.com/uploads/2024/10/6708cfe934692_6708cfe922581_6708cfe92255e_2.mp4

▲Pyramid Flow生成的视频展示（图源：Pyramid Flow官网）

具体来说，Pyramid Flow在训练时用到的数据集包括LAION-5B、CC-12M、SA-1B以及WebVid-10M和OpenVid-1M等。

1、LAION-5B：一个用于多模态AI研究的大型数据集。

2、CC-12M：一个由网络爬虫收集的图像文本对的数据集。

3、SA-1B：具有高质量、无模糊图像的数据集。

4、WebVid-10M和OpenVid-1M：两个被广泛用于文本到视频生成的视频数据集。

三、宽松许可，Pyramid Flow开源商业用途，轻松实现视频微调

Pyramid Flow是开源的AI视频生成工具，它允许用户用在商业项目里，但须保留版权声明。

//oss.zhidx.com/uploads/2024/10/6708d06aaa71b_6708d06aa00f2_6708d06aa00cf_2.mp4

▲Pyramid Flow生成的视频展示（图源：Pyramid Flow官网）

通过使用Pyramid Flow，用户可以免费调整视频细节，这项功能对于电影制片厂来说很有吸引力。

电影制片厂可以通过使用Pyramid Flow来提高视频制作效率、降低视频制作成本，并探索新的视频创意工具。

不过，要想充分利用好这一模型，电影制片厂还需要具备一定的开发人才和计算资源。

目前，Pyramid Flow缺乏像Runway Gen-3 Alpha这样的模型所具备的一些高级微调功能，比如精确控制摄像机角度、关键帧和人体姿态等电影元素。

//oss.zhidx.com/uploads/2024/10/6708d0bf19031_6708d0bf0fc60_6708d0bf0fc3e_2.mp4

▲Pyramid Flow生成的视频展示（图源：Pyramid Flow官网）

//oss.zhidx.com/uploads/2024/10/6708d11fb804e_6708d11fb15f1_6708d11fb15d1_2.mp4

▲Pyramid Flow生成的视频展示（图源：Pyramid Flow官网）

//oss.zhidx.com/uploads/2024/10/6708d140beee7_6708d140b8aa9_6708d140b8a87_3.mp4

▲Pyramid Flow生成的视频展示（图源：Pyramid Flow官网）

来源：VentureBeat、Pyramid Flow官网、arxiv