• 我的订阅
  • 科技

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

类别:科技 发布时间:2024-09-26 13:45:00 来源:机器之心Pro

我们用17个Prompt,实测了一把字节的两大视频生成模型。

字节憋了个大招。

9 月 24 日,字节跳动旗下的火山引擎在深圳办了一场 AI 创新巡展,一口气发布了两款视频生成大模型,正式宣告进军 AI 视频生成。

这两款模型,一个名为 PixelDance(以下简称 P 模型),一个名为 Seaweed(以下简称 S 模型),不仅在审美、动幅上提升了一个 level,还破解了多主体互动和一致性难题。

话不多说,先整几个视频让大家感受下:

一位年轻女生微簇眉头,生气地戴上一副墨镜,这时,男主角入画,紧紧抱住了她。

这段 10 秒的镜头中,人物面部表情变化自然,没有任何虚化崩坏。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

再如,一只金毛小狗在草地上追逐泡泡。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

以及一个 3D 风格的可爱小女孩正在跳舞。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

看来,字节这次是把攒了许久的绝活儿,一股脑全倒出来了。

目前,新款豆包视频生成模型正在即梦 AI 内测版小范围测试,未来将逐步开放给所有用户。

我们也在第一时间拿到内测资格,接下来,就奉上新鲜出炉的一手实测。

解锁多动作、多主体

目前,市面上大部分视频生成模型,只能完成简单指令或者单一动作。而这次,豆包视频生成模型一顿升级,不仅可以遵循复杂 Prompt,还能捕捉多动作序列和主体互动。

例如,梵高站在自己的画作前,捂嘴大笑起来,脸上的褶子都清晰可见;随即又秒变严肃,手缓缓落下,捋捋自己的小胡子。

整套动作行云流水,表情自然逼真。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

再比如,我们输入 Prompt:两名宇航员行走在夜晚繁华的街道上。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

两名身穿宇航服的航天员,一前一后漫步在繁华街道上,身后人来人往,两侧的建筑亮起了绚丽的灯光和店招。

众所周知,AI 最容易犯的毛病之一,就是左右腿不分,或者惊现四条腿。

而在豆包视频模型中,二人走路姿势正常,几乎与真人无异,没有模糊、扭曲,也没有出现各种诡异画面。

我们还输入了一段形容词贼多的 Prompt:一只蜗牛在雨后的森林地面上缓缓爬行,它身后留下一条闪闪发光的粘液轨迹。蜗牛的触角谨慎地移动着,它的壳的每一段都有精细的纹理。一个摄像机跟踪着蜗牛的缓慢旅程。镜头非常接近,以至于蜗牛壳和身体上的水滴清晰可见,地面的细节也展现得非常清楚。

我们还试了下图生视频,上传图片后,输入 Prompt:金鱼游动,水中冒着气泡。

别看这个 Prompt 简单, 豆包模型的「脑回路」却复杂得很。不仅完美遵循文字指令,还学会了摇镜头。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

画面一开始,水缸中的金鱼开始游动,并伴随着大量气泡。随后,镜头一拉,现出女孩全身,她在水中缓缓转过身,发丝和宽松的衣摆在水中的漂浮感,以及头顶露出水面的状态,豆包模型均捕捉到位。

此外,豆包视频模型还采用全新设计的扩散模型训练方法,成功攻克了多镜头切换时难以保持一致性的困扰,可 10 秒讲述一个起承转合的故事。

比如,用它生成一段睡美人的故事。

字节版Sora终于来了!一口气两款视频模型,带来的震撼不只一点点

视频链接:https://mp.weixin.qq.com/s/FlyrUWhePcWhfhNuh7tplA

睡美人躺在床上陷入沉睡,窗外的小鸟叽叽喳喳也吵不醒她,这时一位王子俯下身吻了睡美人,试图唤醒她。

在这个 prompt 中,涉及多个镜头的切换,但主体、风格、氛围和逻辑仍能保持一致性。

审美高级,风格多变

豆包新模型采用深度优化的 Transformer 结构,大幅提升了视频生成的泛化能力,黑白、3D 动画、2D 动画、国画、厚涂等多种风格,它通通支持。

再来个动画风格的。

身穿灰色时尚卫衣的猫咪,迈着「六亲不认」的步伐,走在星光闪耀的 T 台上。

其中,猫咪眨巴着眼睛,毛发和衣服褶皱处理得也相当逼真,胸前的两根衣带也能随着步伐而摆动。

大家觉得豆包视频生成模型水平咋样呢?来评论区聊聊吧。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-26 14:45:10

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

终于拿到内测!豆包-PixelDance真是字节视频生成大杀器
...豆包-Seaweed,参阅机器之心报道《字节版 Sora 终于来了!一口气两款视频模型,带来的震撼不只一点点》中带「即梦 AI」水印的视频
2024-09-30 09:51:00
字节版Sora火爆24小时,同名论文再次被热议
...ra了”。‍字节版Sora终于来了,这一次还憋了个大的——一口气推出Seaweed和PixelDance两款豆包视频模型
2024-09-26 13:41:00
在港投资AI 张一鸣的新副本
...业。2021年扩充到13个职业。而5月16日的这次人才扩招,则一口气扩充至51个职业,其中就包括人工智能、云端基础设施、软件、创新及科技、数据科学、网络安全这些方面的专家。
2023-06-08 17:46:00
B站AI课几秒出总结,划词就给解释,这个「AI学习搭子」真香
...动给云雀大模型也改了个名,统一叫「豆包」大模型,还一口气发布了 9 个大模型产品,涵盖通用模型、角色扮演、语音识别、文生图等多个领域。不过,功能再花哨,不好用也没人买账。毕竟
2024-07-27 09:29:00
大厂加码落地大模型,京东云一口气发了10个AI应用
...nchmark。" 京东云新发布的AI应用,图片由公司提供为什么一口气发这么多AI产品,京东云言犀相关人士的回答是:"电商需要的是一整套的系统的AI应用,而不是某一款提供单
2024-12-07 09:55:00
OpenAI空降视频生成模型:一口气生成60s,风格画质尺寸灵活定制 | 最前线
文 | 周鑫雨编辑 | 苏建勋2023年4月,成立于纽约的Runway AI发布了一段用AI生成的视频:模糊卡顿、物体扭曲
2024-02-18 06:20:00
30多款大模型亮相,现阶段厂商比客户更需要大模型
...|Koko,编辑|南四如果不是在WAIC展会上,你很难有机会一口气见到这么多AI大模型。7月6日至8日,WAIC2023在上海举办
2023-07-12 22:00:00
AI视频新战场:字节对决快手、反击Sora
字节跳动以性价比策略切入市场,掀起价格竞争,但高性能模型仍保持付费门槛。B端市场对豆包视频大模型的接纳度有待观察,其商业变现与用户场景适配性成为主要考验。@科技新知 原创作者丨萧
2024-09-30 13:34:00
云计算一哥终于搞多模态了:一口气6个大模型,还有个3nm芯片!
...布自家新款AI多模态系列大模型,名曰Amazon Nova。而且是一口气涵盖文本对话、图片生成、视频生成,甚至直接吐露一个小目标
2024-12-05 09:45:00
更多关于科技的资讯:
□南京日报/紫金山新闻记者何洁 实习生杨久久国际审计留学来华学什么?中国审计智慧如何推动高质量共建“一带一路”行稳致远
2025-10-30 07:57:00
近日,第五届青年企业家创新创业盛典(简称“青创盛典”)在深圳成功举办。本次活动由北京、上海、深圳、广州、厦门等12个省市“双创”机构重点支持
2025-10-29 14:31:00
中新经纬10月29日电 (魏薇)“中国民营火箭企业正加速突破可重复使用技术瓶颈,预计一年内攻克液体可重复使用火箭核心难题
2025-10-29 14:41:00
大皖新闻讯 近日,知名火锅品牌巴奴毛肚火锅(以下简称巴奴)宣布11月1日起对会员体系进行全新升级,核心变动为会员等级判定标准从“消费次数”改为“消费金额”
2025-10-29 15:32:00
从频繁捡耳机到狂甩不掉,听智慧定制蓝牙耳机如何终结佩戴尴尬
通勤路上刚戴上耳机,一个哈欠就让右耳的耳塞滑进了衣领;晨跑时耳机随着步伐甩动,耳塞在耳道里反复松动,最后干脆“跳”出耳朵
2025-10-29 15:46:00
六大巨头携手唯欧口腔集团,战略合作共建产业新生态
在中国口腔医疗行业迈向高质量发展的重要阶段,产业链协同与国际化合作已成为推动行业升级的关键力量。2025年10月16日
2025-10-29 15:49:00
灵芝孢子油什么品牌好吃 2025年灵芝孢子油品牌排行榜TOP5
灵芝孢子油什么品牌好吃?这是消费者选购时最关注的核心问题。作为灵芝孢子油领域研究人员,本文结合行业数据与用户真实反馈,从有效含量
2025-10-29 15:50:00
远征 A2 完成第五次 OTA 升级,智元迈向场景应用”全面智能体”
近日,智元机器人正式宣布远征A2人形机器人完成第五次全量OTA升级。本次升级聚焦于机器人在动态环境下的语义理解、路径规划
2025-10-29 15:51:00
双11哪些家电值得买?抄作业!上榜的都是爆款
今年双11与往年复杂的促销玩法不同,今年各大电商平台进一步简化规则,通过热卖榜、新品榜等不同维度的榜单,为消费者提供更直观的购物参考
2025-10-29 16:29:00
双11家电市场观察:理性消费时代,品质与体验成破局关键
今年双11,各大平台简化玩法,推广“官方立减”“单件直降”等,以降低用户的决策成本、提升购物体验。同时,大促的日常化和高频化
2025-10-29 16:32:00
济宁移动智慧医疗与人工智能实验室揭牌成立
鲁网10月29日讯10月28日,由济宁移动、济宁市第一人民医院、国家健康医疗大数据研究院三方合作共建的智慧医疗与人工智能实验室揭牌仪式
2025-10-29 17:45:00
10月28日,太钢出口欧洲的首批绿钢产品启运。此次启运标志着太钢绿钢成功突破欧盟绿色产品市场,正式跻身产业链中高端。此次出口的304L不锈钢中板
2025-10-29 18:00:00
日前,“一键和解跨域共建放心消费多元共享”主题活动在杭州举行。太原市市场监督管理局与杭州、成都、厦门、南宁、兰州等五市共同签署《共建共享优化消费环境合作协议》
2025-10-29 18:00:00
【劲牌故事荟 大家谈友好】一金一铜背后是企业的创新升维
□楚青萱10月17日至19日,第二十九届全国发明展览会在石家庄国际会展中心举行,同期举办了“一带一路”暨金砖国家技能发展与技术创新大赛
2025-10-29 18:28:00
“码”上雄安,一触即发!雄安新区“企业码”创新应用系统上线
据中国雄安网消息,当数字中国的脉搏在雄安跳动,一座“未来之城”再次按下加速键。10月29日,雄安新区企业码创新应用系统正式上线
2025-10-29 18:28:00