• 我的订阅
  • 科技

首发根据音频生成 4K 分辨率 1 小时长视频,复旦、百度联手打造

类别:科技 发布时间:2024-10-22 09:49:00 来源:IT之家

IT之家 10 月 21 日消息,复旦大学和百度联合开发了一款名为 Hallo2的全新 AI 模型,该模型可以生成长达数小时的 4K 分辨率人物动画,现已在 GitHub 发布开源。

首发根据音频生成 4K 分辨率 1 小时长视频,复旦、百度联手打造

Hallo2 模型建立在 latent diffusion models 的基础上,相比上一代 Hallo 模型的效果更好,支持了长视频生成,通过引入数据增强方法如 patch-drop 和高斯噪声,有效提高了长时间视频的视觉一致性和时间连贯性。

首发根据音频生成 4K 分辨率 1 小时长视频,复旦、百度联手打造

Hallo2 还结合了向量量化生成对抗网络和时间对齐技术,保证了高分辨率视频的质量和流畅性。

此外,Hallo2 将可调整的语义文本标签的肖像表情作为条件输入。这超出了传统的音频提示,可以提高可控性并增加所生成内容的多样性。项目页面介绍称,Hallo2 是第一种实现 4K 分辨率并生成长达 1 小时的音频驱动的人像图像动画的方法,并通过文本提示进行增强。

IT之家附 Hallo2 项目地址如下:

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-10-22 12:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

一文详解AIGC:忘记概念,只聊落地
...将视频进行剪辑和剪切,进行音频的音乐配合等。视频超分辨率及去噪:对视频信号进行去噪处理和超分辨率,以提高视频的视觉效果和品质。工具推荐及总结其实,刚才说的这些智能形式,并非所
2023-06-10 15:00:00
让霉霉说地道中文,背后玩家竟来自中国,7个月收入百万美元
...队协作和企业功能。来源:HeyGenHeyGen可以基本保证1080P的分辨率,满足广告、电商、新闻等行业的需求,还能帮助用户制作PPT
2023-10-23 19:41:00
Meta版Sora深夜横空出世,小扎放出16秒高清大片!92页论文曝光技术细节,Llama 3架构立功
...计。而且,该模型有强大的适应性,可生成不同纵横比、分辨率和时长的高质量图像和视频。预训练阶段,在大约1亿个视频和10亿张图像上进行了联合预训练。它是通过「看」视频,来学习视觉
2024-10-08 09:52:00
2022生成模型进展有多快,新论文盘点9类生成模型代表作
...建高质量3D网格模型,比DreamFusion快2倍,同时实现了更高分辨率,并在人类评估中以61.7%的比率超过DreamFusion
2023-01-30 16:34:00
Sora这就落伍了?Meta“最强视频模型”不用DiT,用Llama大力出奇迹了
...时长最长可达16秒。该模型能够自然地生成多种纵横比、分辨率和时长的高质量图像和视频。模型通过联合预训练,处理约1亿个视频和约10亿张图像,通过“观看”视频来学习视觉世界。这只
2024-10-08 09:51:00
Sora刷屏 标贝科技AI配音为音视频内容创作插上翅膀
...无论是效果、时长还是视频的真实性、稳定性、一致性、分辨率等方面,sora的能力都实在令人震惊!Sora 生成式AI新里程碑据介绍
2024-02-29 12:00:00
Camtasia2023试用版下载电脑屏幕录制软件
...络摄像头。网络摄像头让您的视频更具个性。媒体。导入分辨率高达4K的图像、音频和视频。注释。箭头、标注、形状等有助于表达您的观点。过渡。将介绍/结尾添加到片段、图像、形状或文本
2023-02-13 06:00:00
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...阶段。从生成视频的效果看,对物理世界规律的理解、高分辨率、镜头动作连贯性以及时长等,都有非常大的提升空间。从模型本身角度看,需要更具突破式创新的新模型架构,它应该更高效压缩视
2024-07-27 09:30:00
“3D视频版Sora”来了!
...的优化上,SV4D使用参考多视图图像的第一帧,优化由多分辨率哈希网格以及密度和颜色多层感知机(MLP)表示的静态NeRF,然后解冻时间变形MLP,并使用随机采样的视图和帧来优
2024-07-26 09:30:00
更多关于科技的资讯: