- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
谷歌推出“文生视频”扩散模型
1月29日消息，谷歌研究院日前推出了一款名为Lumiere的“文生视频”扩散模型，主打采用自家最新开发的“Space-TimeU-Net”基础架构，号称能够一次生成“完整、真实、动作连贯”的视频。
▲图源谷歌官方新闻稿（下同）
谷歌表示，业界绝大多数“文生视频”模型无法生成时间长、质量佳、动作连贯逼真的内容，这是因为此类模型通常“分段生成视频”，首先产生几张关键帧，接着用“时间超级分辨率（TemporalSuper-Resolution）”技术，生成关键帧之间的视频文件，这种方法虽然能够节省RAM，但难以生成“连贯逼真”的视频。
谷歌提到，他们的新模型Lumiere相对于业界模型最大的不同是采用了全新“Space-TimeU-Net”基础架构，该架构能够在空间和时间上同时“降采样（Downsample）”信号，从而在“更紧凑的时空中进行更多运算”，令Lumiere生成持续时间更长、动作更连贯的视频。
IT之家注意到，Lumiere一次可以生成80帧视频（16FPS下5秒视频/24FPS下约3.34秒视频），虽然这一数据看起来很短，不过研究人员提到，5秒视频长度实际上“已经超过大多数媒体作品中的平均镜头时长”。
除了应用“Space-TimeU-Net”基础架构外，谷歌还介绍了Lumiere的基础特性，该AI建立在一个经过预先训练的“文生图”模型基础上，研究人员首先让基础模型生成视频分帧的基本像素草稿，接着通过空间超分辨率（SSR）模型，逐步提升分帧分辨率及细节，并利用“Multidiffusion”通用生成框架提升模型稳定性，从而保证了最终输出的视频一致性和连续性。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-01-29 15:45:06
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
