• 我的订阅
  • 科技

字节版Sora火爆24小时,同名论文再次被热议

类别:科技 发布时间:2024-09-26 13:41:00 来源:量子位

“不需要再等OpenAI的鸽王Sora了”。‍

字节版Sora终于来了,这一次还憋了个大的——

一口气推出Seaweed和PixelDance两款豆包视频模型,支持文生/图生视频,时长可达10s。

以PixelDance为例,其最大特色在于多主体交互,一致性多镜头生成。

啥意思??——直接来看几个官方demo。

First kill,现在手上有这样一张原图:

若使用当前大多视频模型,一般只能进行到“摘墨镜”这个环节;而PixelDance能解锁时序性多拍动作指令。(摘完墨镜还能站起来,并走向雕像)

还有类似电视剧的飙戏名场面(多个主体),各自眼神、动作,一整个拿捏。

Double kill,饱受吐槽的PPT动画有新解了。PixelDance拥有变焦、环绕、平摇、缩放、目标跟随等多镜头话语言能力。

提示词:一名亚洲男子带着护目镜游泳,身后是另一名穿潜水服的男子

关键来了,在一致性方面,PixelDance号称能10秒讲述完整故事。

说人话就是,在一句提示词内,实现多个镜头切换,同时保持主体、风格和氛围的一致性。

提示词:一个女孩儿从汽车上下来,远处是夕阳

提示词:水墨风格的鸟,比例16:9

小结一下,字节版Sora这次主打多主体交互、酷炫运镜、一致性多镜头以及多风格比例。

发布会一结束,网友们的期待值也是拉满了,嗷嗷待哺内测资格!

字节版Sora火爆24小时,同名论文再次被热议

字节版Sora火爆24小时,同名论文再次被热议

字节版Sora火爆24小时,同名论文再次被热议

与此同时,字节研究团队一篇PixelDance同名论文,也被扒了出来,再次引发热议。‍‍‍

字节版Sora火爆24小时,同名论文再次被热议

背后论文揭示「PixelDance」原型‍‍

字节团队此前入选CVPR 2024的论文,就提出了名为一种PixelDance的模型。‍

字节版Sora火爆24小时,同名论文再次被热议

先划重点,团队采用的方法可以概括为:

基于潜在扩散模型,结合视频片段的首帧和尾帧图像指令与文本指令进行视频生成,并有效利用公开视频数据进行训练。

首先,团队采用广泛使用的2D UNet作为扩散模型,该模型由一系列空间下采样层和一系列空间上采样层构建,并插入了跳跃连接。

具体来说,它由两个基本模块构建,即2D卷积模块和2D注意力模块。

通过插入时间层将2D UNet 扩展为3D变体,其中在2D卷积层之后插入1D时间卷积层,2D注意力层之后插入1D时间注意力层。

模型可以通过图像和视频联合训练,在空间维度上保持高保真生成能力。

不过对于图像输入,1D时间操作被禁用。团队在所有时间注意力层中使用双向自注意力。

字节版Sora火爆24小时,同名论文再次被热议

其次是指令注入。具体来说,PixelDance基于

文本指令源于使用详细的文本注释以精确描述视频的帧和动作 首帧图像指令描述了视频片段的主要场景 尾帧图像指令(在训练和推理过程中可选使用)描绘了视频片段的结尾,并提供了额外的控制

字节版Sora火爆24小时,同名论文再次被热议

这里要插一句,与文本指令相比,图像指令更加直接且易于获取——使用真实视频帧作为训练中的图像指令。

据了解,文本指令由预训练的文本编码器编码,并通过交叉注意力融入扩散模型。

图像指令由预训练的VAE编码器编码,并与受扰的视频潜变量或高斯噪声一起作为扩散模型的输入。

在训练过程中,团队使用(真实的)首帧指令来强制模型严格遵循该指令,从而保持连续视频片段之间的一致性。

当然了,PixelDance独特之处在于使用尾帧指令的方式。

简单说,团队有意避免让模型完全复制尾帧指令,因为在推理过程中提供一个完美的尾帧是很困难的,模型应该能够处理用户提供的粗略草稿,并作为指导。

字节版Sora火爆24小时,同名论文再次被热议

为了实现这一点,团队开发了三项技术:

1、在训练过程中,尾帧指令是从视频片段的最后三帧(真实的)中随机选择的。2、向指令中引入了噪声,以减少对指令的依赖性并提高模型的鲁棒性。3、在训练中以一定概率(例如 25%)随机丢弃尾帧指令。

相应地,团队提出了一种简单但有效的推理策略。

概括起来就是,在前τ次去噪步骤中,利用尾帧指令引导视频生成朝向期望的结束状态。

在剩余的步骤中,指令被丢弃,允许模型生成时间上更连贯的视频。

通过调整τ,可以控制尾帧指令对生成结果的影响。

字节版Sora火爆24小时,同名论文再次被热议

接下来,团队在WebVid-10M数据集上训练了视频扩散模型,该数据集包含大约1000万个短视频片段——

平均时长为18秒,分辨率通常为336 × 596,且每个视频都附有与视频内容松散相关的文本描述。

不过WebVid-10M存在一个问题,即所有视频上都带有水印,这导致生成的视频中也会包含水印。

因此,团队将训练数据扩展为另外自收集的50万个无水印视频片段,它们包含真实世界的实体,如人类、动物、物体和风景,并附有粗粒度的文本描述。

尽管这一额外数据集只占了很小比例,但团队惊讶地发现:

将该数据集与WebVid-10M结合训练后,如果图像指令没有水印,PixelDance就能够生成无水印的视频。

最终,PixelDance在视频-文本数据集和图像-文本数据集上进行联合训练。

对于视频数据,从每个视频中随机采样16个连续帧,每秒4帧。

此外,按照之前的工作,采用LAION-400M作为图像-文本数据集;每8次训练迭代使用一次图像-文本数据。

字节版Sora火爆24小时,同名论文再次被热议

自论文发布之后,到产品上线这段时间具体又做了哪些改进,目前还不得而知。

由于刚发布,目前只能简单看到官方提及:

字节版Sora火爆24小时,同名论文再次被热议

感兴趣的话可以亲自上手试一试来感受一下,目前豆包视频模型已在火山引擎开启企业用户的邀请测试;个人用户可在字节旗下的即梦AI申请内测。

官方声称,未来将逐步开放给所有用户。

那么,你期待这次的字节版sora吗?

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-26 14:45:10

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

东信和平申请字节码指令执行专利,提升字节码指令的执行效率
...局信息显示,东信和平科技股份有限公司申请一项名为“字节码指令执行方法、虚拟机、设备、介质”的专利,公开号CN119938219A,申请日期为2024年12月。专利摘要显示,本
2025-05-10 09:55:00
OpenAI直播第二弹!奥特曼2024年最大惊喜竟来自字节?强化微调让o1-mini逆袭o1
...称为「2024年我最大的惊喜」的技术,技术路线竟和来自字节跳动之前公开发表的强化微调研究思路相同。OpenAI 12天连播的第二弹
2024-12-09 09:53:00
被字节起诉索赔 800 万的实习生拿下 NeurIPS 2024 最佳论文
...,人工智能领域顶级学术会议NIPS2024最佳论文近日出炉,字节跳动"破坏大模型训练"的前实习生田某某与字节合作论文被人工智能顶级会议NeurIPS评为最佳论文(BestPaper)
2024-12-04 21:05:00
被字节索赔800万的实习生:拿下NeurIPS 2024最佳论文!
快科技12月4日消息,据媒体报道,因恶意攻击字节训练集群,而被起诉赔偿侵权损失800万元及合理支出2万元,并公开赔礼道歉的实习生田某某,获得了NeurIPS 2024的最佳论文奖
2024-12-04 15:08:00
豆包“王炸”:字节跳动一天发布两款视频生成大模型
字节跳动正式宣告进军AI视频生成。9月24日,字节跳动旗下火山引擎在深圳举办AI创新巡展,一举发布了豆包视频生成-PixelDance
2024-09-24 18:15:00
惊掉下巴!被字节起诉800万实习生,拿下NeurIPS 2024最佳论文
【新智元导读】太戏剧了!攻击字节训练集群的实习生,居然刚刚获得了NeurIPS 2024最佳论文奖?虽然看起来像爽文剧情,但这位高材生接下来的路,应该是难走了。刚刚,恶意攻击字节
2024-12-05 09:47:00
北大字节VAR最佳论文、厦大清华亚军,NeurIPS 2024最佳论文出炉
...)。一共有两篇论文获得最佳论文奖:一是由北京大学、字节跳动研究者共同完成的《Visual Autoregressive Modeling: Scalable Image Ge
2024-12-05 09:47:00
火山引擎丢出视频大模型「王炸」,云厂商从「价格战」回归「卷性能」
...打开更多场景。自今年 2 月 Sora 面世以来,很多人都期待字节的动作。拥有抖音和剪映这两个最强的视频 App 在手
2024-09-26 13:33:00
突破视频多模态大模型瓶颈!「合成数据」立大功,项目已开源
...的工作想要分享,欢迎投稿或者联系报道。本文作者来自字节跳动,南洋理工大学 S-Lab 和北京邮电大学。其中第一作者为南洋理工大学 S-Lab 的博士生 Yuanhan Zhang (https://zhangyuanhan-ai
2024-10-22 09:54:00
更多关于科技的资讯:
龙头链主“挂帅” 合肥“创投城市计划”升级
大皖新闻讯 9月16日,随着“科聚零碳-科大硅谷全球合伙人走进零碳中心暨‘创投城市计划’新能源投资路演对接会”的举办,合肥“创投城市计划”实现全面升级
2025-09-18 15:31:00
9月8日,一位客户神色匆匆地来到行唐联社只里信用社,称需为父母办理社保卡开通业务,且次日就要报送账号用于打款。临柜工作人员接过相关资料
2025-09-18 11:19:00
【儒商巡礼】德州彩诗禾纺织有限公司董事长王波: 深耕纺织,“织”出新篇
鲁网9月18日讯(记者 吴美琳)从贸易领域起步,到自建实体工厂,再到打造差异化绿色纺织品牌,他始终以“进取”“守正”“仁爱”为底色
2025-09-18 11:28:00
本报讯 日前,中国文房四宝协会市场研究与督导专业委员会(以下简称“专委会”)“跨界赋能・智创未来”专题研学活动,在北京新发地农产品批发市场举办
2025-09-18 11:40:00
□ 左 鲤日前,上海博物馆以“清雍正粉彩蝠桃纹橄榄瓶”为原型设计的蝠桃瓶发光冰箱贴引发争议。有网友认为该文创产品的瓶底开孔与发光设计
2025-09-18 11:40:00
当前,人工智能、虚拟现实(VR)、超高清、多模态等新科技,正以“体验重构者”“需求激活者”“边界拓展者”的角色,为旅游新消费注入强劲动能
2025-09-18 11:45:00
第三届#SpainFoodNation峰会推动西班牙美食参与中国市场
近日,西班牙对外贸易发展和投资局(ICEX)携手西班牙农业渔业和食品部(MAPA)在上海举办了第三届#SpainFoodNation峰会
2025-09-18 11:46:00
山东九羊集团携钢铁大模型亮相全省“人工智能+”创新应用工作会议
9月17日,山东省“人工智能+”创新应用工作会议在济南举行。作为“人工智能+钢铁”领域的企业代表,山东九羊集团有限公司(以下简称山东九羊集团)受邀现场演示钢铁大模型应用实践
2025-09-18 12:27:00
浪潮助力四川教育大数据平台荣获IDC中国未来企业大奖·智慧城市特别奖
9月5日,2025 IDC中国未来企业大奖优秀奖名单正式揭晓,由四川省教育信息化与大数据中心主办,浪潮软件技术支持的“四川省教育大数据平台”建设项目荣获“2025 IDC中国未来企业大奖优秀奖”
2025-09-18 12:28:00
“痛金”让年轻人“上头” 黄金消费刮起“二次元风”
消费日报网讯(记者牛夏风)从“痛车”“痛包”到“痛衣”,“万物皆可痛”的风又吹到了黄金饰品上。“吉伊卡哇”联名款、《天官赐福》联名款
2025-09-18 13:17:00
海南三亚信兴超级体验店重装开业 多重优惠惠及消费者
消费日报网讯(记者郑红梅)9月19日至21日,海南三亚信兴电器超级体验店将迎来重装升级后的盛大开业。此次开业活动以“多重优惠叠加”为核心
2025-09-18 13:18:00
深信服AD以技术之力铸业务之基,稳居IDC市场份额第一
近日,国际数据公司(IDC)发布最新报告,深信服AD斩获2025Q2中国负载均衡市场占有率第一。这已是深信服AD连续多个季度领跑市场
2025-09-18 13:51:00
不差钱的腾讯,也开始借钱了?
A时隔四年后,腾讯再次发债,首发点心债。腾讯控股在港交所公告称,于2025年9月16日,公司已与经办人就根据计划发行本金总额90亿元的票据订立认购协议
2025-09-18 09:01:00
从“客户”到“伙伴”,济宁银行全周期金融服务构建财富管理新生态
鲁网9月18日讯济宁银行坚守“金融为民”初心,不断创新金融产品,完善服务渠道,努力为客户提供更加专业、更有温度的金融服务
2025-09-18 10:53:00
厦门网讯(厦门日报记者 林露虹)作为2025厦门国际动漫节配套活动,第三届游戏创业者路演系列活动(简称“游路演”)将于10月29日至30日举行
2025-09-18 08:20:00