• 我的订阅
  • 科技

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

类别:科技 发布时间:2024-09-26 13:45:00 来源:机器之心Pro

我们用17个Prompt,实测了一把字节的两大视频生成模型。

字节憋了个大招。

9 月 24 日,字节跳动旗下的火山引擎在深圳办了一场 AI 创新巡展,一口气发布了两款视频生成大模型,正式宣告进军 AI 视频生成。

这两款模型,一个名为 PixelDance(以下简称 P 模型),一个名为 Seaweed(以下简称 S 模型),不仅在审美、动幅上提升了一个 level,还破解了多主体互动和一致性难题。

话不多说,先整几个视频让大家感受下:

一位年轻女生微簇眉头,生气地戴上一副墨镜,这时,男主角入画,紧紧抱住了她。

这段 10 秒的镜头中,人物面部表情变化自然,没有任何虚化崩坏。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

再如,一只金毛小狗在草地上追逐泡泡。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

以及一个 3D 风格的可爱小女孩正在跳舞。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

看来,字节这次是把攒了许久的绝活儿,一股脑全倒出来了。

目前,新款豆包视频生成模型正在即梦 AI 内测版小范围测试,未来将逐步开放给所有用户。

我们也在第一时间拿到内测资格,接下来,就奉上新鲜出炉的一手实测。

解锁多动作、多主体

目前,市面上大部分视频生成模型,只能完成简单指令或者单一动作。而这次,豆包视频生成模型一顿升级,不仅可以遵循复杂 Prompt,还能捕捉多动作序列和主体互动。

例如,梵高站在自己的画作前,捂嘴大笑起来,脸上的褶子都清晰可见;随即又秒变严肃,手缓缓落下,捋捋自己的小胡子。

整套动作行云流水,表情自然逼真。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

再比如,我们输入 Prompt:两名宇航员行走在夜晚繁华的街道上。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

两名身穿宇航服的航天员,一前一后漫步在繁华街道上,身后人来人往,两侧的建筑亮起了绚丽的灯光和店招。

众所周知,AI 最容易犯的毛病之一,就是左右腿不分,或者惊现四条腿。

而在豆包视频模型中,二人走路姿势正常,几乎与真人无异,没有模糊、扭曲,也没有出现各种诡异画面。

我们还输入了一段形容词贼多的 Prompt:一只蜗牛在雨后的森林地面上缓缓爬行,它身后留下一条闪闪发光的粘液轨迹。蜗牛的触角谨慎地移动着,它的壳的每一段都有精细的纹理。一个摄像机跟踪着蜗牛的缓慢旅程。镜头非常接近,以至于蜗牛壳和身体上的水滴清晰可见,地面的细节也展现得非常清楚。

我们还试了下图生视频,上传图片后,输入 Prompt:金鱼游动,水中冒着气泡。

别看这个 Prompt 简单, 豆包模型的「脑回路」却复杂得很。不仅完美遵循文字指令,还学会了摇镜头。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

画面一开始,水缸中的金鱼开始游动,并伴随着大量气泡。随后,镜头一拉,现出女孩全身,她在水中缓缓转过身,发丝和宽松的衣摆在水中的漂浮感,以及头顶露出水面的状态,豆包模型均捕捉到位。

此外,豆包视频模型还采用全新设计的扩散模型训练方法,成功攻克了多镜头切换时难以保持一致性的困扰,可 10 秒讲述一个起承转合的故事。

比如,用它生成一段睡美人的故事。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

睡美人躺在床上陷入沉睡,窗外的小鸟叽叽喳喳也吵不醒她,这时一位王子俯下身吻了睡美人,试图唤醒她。

在这个 prompt 中,涉及多个镜头的切换,但主体、风格、氛围和逻辑仍能保持一致性。

审美高级,风格多变

豆包新模型采用深度优化的 Transformer 结构,大幅提升了视频生成的泛化能力,黑白、3D 动画、2D 动画、国画、厚涂等多种风格,它通通支持。

再来个动画风格的。

身穿灰色时尚卫衣的猫咪,迈着「六亲不认」的步伐,走在星光闪耀的 T 台上。

其中,猫咪眨巴着眼睛,毛发和衣服褶皱处理得也相当逼真,胸前的两根衣带也能随着步伐而摆动。

大家觉得豆包视频生成模型水平咋样呢?来评论区聊聊吧。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-26 14:45:10

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

终于拿到内测!豆包-PixelDance真是字节视频生成大杀器
...豆包-Seaweed,参阅机器之心报道《字节版 Sora 终于来了!一口气两款视频模型,带来的震撼不只一点点》中带「即梦 AI」水印的视频
2024-09-30 09:51:00
字节版Sora火爆24小时,同名论文再次被热议
...ra了”。‍字节版Sora终于来了,这一次还憋了个大的——一口气推出Seaweed和PixelDance两款豆包视频模型
2024-09-26 13:41:00
在港投资AI 张一鸣的新副本
...业。2021年扩充到13个职业。而5月16日的这次人才扩招,则一口气扩充至51个职业,其中就包括人工智能、云端基础设施、软件、创新及科技、数据科学、网络安全这些方面的专家。
2023-06-08 17:46:00
B站AI课几秒出总结,划词就给解释,这个「AI学习搭子」真香
...动给云雀大模型也改了个名,统一叫「豆包」大模型,还一口气发布了 9 个大模型产品,涵盖通用模型、角色扮演、语音识别、文生图等多个领域。不过,功能再花哨,不好用也没人买账。毕竟
2024-07-27 09:29:00
大厂加码落地大模型,京东云一口气发了10个AI应用
...nchmark。" 京东云新发布的AI应用,图片由公司提供为什么一口气发这么多AI产品,京东云言犀相关人士的回答是:"电商需要的是一整套的系统的AI应用,而不是某一款提供单
2024-12-07 09:55:00
OpenAI空降视频生成模型:一口气生成60s,风格画质尺寸灵活定制 | 最前线
文 | 周鑫雨编辑 | 苏建勋2023年4月,成立于纽约的Runway AI发布了一段用AI生成的视频:模糊卡顿、物体扭曲
2024-02-18 06:20:00
30多款大模型亮相,现阶段厂商比客户更需要大模型
...|Koko,编辑|南四如果不是在WAIC展会上,你很难有机会一口气见到这么多AI大模型。7月6日至8日,WAIC2023在上海举办
2023-07-12 22:00:00
AI视频新战场:字节对决快手、反击Sora
字节跳动以性价比策略切入市场,掀起价格竞争,但高性能模型仍保持付费门槛。B端市场对豆包视频大模型的接纳度有待观察,其商业变现与用户场景适配性成为主要考验。@科技新知 原创作者丨萧
2024-09-30 13:34:00
云计算一哥终于搞多模态了:一口气6个大模型,还有个3nm芯片!
...布自家新款AI多模态系列大模型,名曰Amazon Nova。而且是一口气涵盖文本对话、图片生成、视频生成,甚至直接吐露一个小目标
2024-12-05 09:45:00
更多关于科技的资讯:
2025年全国大学生计算机大赛总决赛落幕 西工大获奖数量质量再创新高
近日,2025年全国大学生计算机系统能力大赛各赛道总决赛圆满落幕。本届大赛吸引了来自清华大学、北京大学、复旦大学、华中科技大学
2025-10-07 11:40:00
太划算!遵义多重补贴点燃消费热情
多彩贵州网讯国庆中秋“双节”同至,遵义市推出的“悦·遵义‘双节’欢乐购”促消费活动覆盖整个长假,其中“焕新过节·乐享生活”家电家居促销活动形式丰富
2025-10-07 14:51:00
□南京日报/紫金山新闻记者 张安琪9月23日,2025南京金秋经贸洽谈会开幕式上,一批全球首个、国内首批、性能全球最高的科技成果密集亮相
2025-10-06 09:49:00
国庆中秋长假期间,新能源汽车已成为众多家庭出游的重要选择。为进一步破解高速服务区“充电难、排队久”的现实困境,山西交控集团坚持“科技创新+服务升级”双轮驱动
2025-10-06 18:01:00
邮储信用卡气球雨惊喜派对即将空降青岛李沧万达,国庆中秋邀您共启幸运之旅!
鲁网9月30日讯2025年国庆、中秋双节同庆之际,为回馈广大市民与持卡人长期以来的支持,邮储银行青岛分行将于10月1日-8日
2025-10-06 14:11:00
□南京日报/紫金山新闻记者 于洁尘 通讯员陈天骄“干我们这行的,哪有节假日?越是假期越要忙。”10月5日一大早,28岁的陈潇离开南京
2025-10-06 09:48:00
节日我在岗丨十堰高周波:抓创新赶订单 全力冲刺年度目标
十堰广电讯(全媒体记者 陈林)在国庆中秋假期,位于十堰经济开发区的十堰高周波科工贸有限公司抓创新赶订单,全力冲刺年度目标
2025-10-05 20:21:00
节日我在岗丨艾斯卓智能科技:节日不休 赶制订单
十堰广电讯(全媒体记者 耿吉国)放假不放松,生产不停工。国庆中秋长假,我市各生产企业铆足干劲抓生产、赶订单,奋力冲刺年度目标任务
2025-10-05 20:21:00
普阳钢铁工程机械用高强高韧宽厚板全国市场占有率名列前茅一块宽厚板的靶向发力——“铁疙瘩”怎样变成“金娃娃”(十)从矿山到港口
2025-10-05 07:47:00
人气旺 厦门多个商场假日客流爆棚、销售额亮眼
集美大悦城商圈内,小朋友和机器人亲密互动。(本组图/厦门日报记者 黄晓珍 摄)国庆中秋假期, 厦门SM购物中心潮玩店内人气火爆
2025-10-04 09:20:00
省数据和政务服务局发布公告公开征集一批河北省高质量数据集河北日报讯(记者解楚楚)9月26日,河北省数据和政务服务局发布公告
2025-10-04 08:03:00
央媒看太原9月30日,央视财经频道《经济信息联播》栏目以《双节市场备货足美食特产受青睐》为题,报道了假期到来,太原市各大综合市场提前备货
2025-10-04 07:17:00
厦门网讯(厦门日报记者 朱道衡)近日,2025鼓浪屿世遗文创作品征集活动启动。此次活动面向全国(含港澳台地区)高校、企业
2025-10-03 08:37:00
厦门网讯(厦门日报记者 楚燕 通讯员 石青青)长假期间,许多人从忙碌的工作中解脱出来,趁机好好休息。可是,如果休息方式不得当
2025-10-03 08:37:00
渤海之潮涌动着澎湃的脉搏,海河之畔镌刻着科技的印记。10年前,一颗带有“清华”基因的种子在天津这片沃土扎根;10年后,它长成一棵枝繁叶茂的参天大树
2025-10-03 09:25:00