• 我的订阅
  • 科技

一日连发两款视频大模型,火山引擎要让每个人都能用上AI

类别:科技 发布时间:2024-09-25 15:00:00 来源:雷科技

9月24日,字节跳动旗下火山引擎在深圳举办AI创新巡展,并首次对外发布豆包视频生成-PixelDance、豆包视频生成-Seaweed两款AI大模型,并公布了多项AI大模型的全新升级,以一种全新的姿态迎接AI时代的到来。

雷科技此次受邀参与巡展,在活动现场就发现了不一样的东西,现场设置了四个不同的展示区,用来展示目前AI大模型在C端最受欢迎的四款应用:AI奇遇、AI音乐、AI智能助手和AI Bot,分别对应娱乐、创作、问答和个性化AI需求四大板块。

一日连发两款视频大模型,火山引擎要让每个人都能用上AI

图源:雷科技

这一系列的AI应用中,AI Bot受到了许多人的关注,这是一个全新的AI应用开发平台,利用AI大模型的强大理解能力,帮助用户开发专属于自己的AI应用。你不需要懂得编程、调试、DeBug,只需要按部就班地给出自己的需求,剩下的一切AI都会帮你完成。

此前,雷科技上线的小雷Bot就是基于AI Bot打造,利用雷科技过去十年积累的海量文章与评测数据,为读者提供购买咨询、产品问答等多项功能。

而在AI奇遇中,用户可以扮演一个角色,偶遇某些人或故事,通过用户给出的反馈,故事也会发生相应的改变,一切均由AI实时生成,让每个人都有独属于自己的故事。这项技术不仅可以让用户创作出属于自己的故事,同时也能为游戏厂商提供新的创作思路,真正做到千人千面的故事情节塑造。

至于AI问答,大家估计都不陌生,作为AI大模型最早期的应用,豆包对AI问答进行过多轮升级,如今已经支持最高256K的上下文理解,并且能够进行复杂的逻辑推理,满足用户多样化的提问需求。

还差个AI音乐?别急,我们待会再来聊聊。

用AI打破视频创作边界

在视频创作领域,火山引擎及其背后的字节跳动,恐怕是最有发言权的,抖音在全球掀起的全民视频创作热潮,造就了一个全新的互联网视频时代。所以,火山引擎的视频生成模型更关注用户在实际使用时的创作流程和创作效果,而不仅仅是简单地生成画面和动作。

一日连发两款视频大模型,火山引擎要让每个人都能用上AI

图源:雷科技

火山引擎希望用户可以在视频生成模型中,得到与实际拍摄几乎一致的画面效果。为此他们对视频生成模型进行了大量的优化,基于DiT架构结合高效的DiT融合计算单元,让视频生成模型拥有执行复杂指令的能力,并且能够根据要求进行大动态和运镜的切换,在专业拍摄中常用的变焦、环绕、平摇、缩放、目标跟随等镜头语言效果,大模型都能做到。

借助运镜切换功能,豆包视频生成模型可以真正提供更真实的拍摄效果,并且让创作者更好地展示自己的创意想法,这在以往的视频生成大模型中少见的。

而且,火山引擎还攻克了视频主体在运动时,经常会出现的服装、头饰、光影、风格突变问题。这类问题此前一直困扰视频生成模型用户,因为人们对连贯画面里的突兀变化会更加敏感,所以即使只有些许的差异,也会让观看体验大打折扣,而AI生成的不确定性,让AI视频在这方面的问题显得尤为严重。

对此,火山引擎借助DiT架构的多种特性,让视频生成模型能够对生成的画面元素进行标记,并在后续的生成中时刻保持相关元素的存在。虽然并不能保证完全的一致,但是已经能够最大程度消除明显的服装、配饰、风格变化等问题,确保视频画面不会出现易察觉的BUG。

一日连发两款视频大模型,火山引擎要让每个人都能用上AI

图源:雷科技

此外,火山引擎还解决了多动作指令互动、人物中途插入等痛点,在现场的演示视频中,就有这样的片段:一个女人生气地看向侧边,然后转头戴上眼镜,此时一个男人出画面边缘进入,拥抱住女人。虽然在传统拍摄中,这是一个很普通的镜头,但是在AI视频里,却要求AI在表情神态、多动作执行、新元素插入等方面都不能出错,才能生成一个合格的视频。

随后火山引擎还展示了多个由豆包视频生成模型制作的AI视频,从多人互动到运动长镜头,都可以在保证视频流畅度的同时确保视频元素的一致和主体风格不变化。在我看来已经完全满足日常的创作需求,如果愿意花更多的时间去打磨,即使是普通人也能坐在家里用AI制作出一部大片。

为了满足更多用户的创作风格需求,火山引擎还引入了深度优化的Transformer结构,大幅度提升了豆包视频生成模型的泛化能力,不仅支持3D动画、2D动画、国画、黑白、厚涂等多种风格,还支持多种比例的视频生成,让模型能够被应用到各个领域。

显然,这也是火山引擎对豆包视频生成模型的期待,成为每一个创作者的助手,让每个人都能创作出属于自己的作品。

豆包AI模型Pro升级

豆包视频生成模型并非巡展中唯一的看点,火山引擎同时还宣布了豆包通用模型、音乐模型等多个模型的全面升级,现在,豆包AI大模型可以给大家在更多领域提供更好的体验。

比如前面提到的AI音乐,在展示区中雷科技就已经体验到了其强大的创作能力,在极短的时间里就能生成一首朗朗上口的音乐,根据要求切换不同的曲风并生成歌词。可以说,豆包音乐生成模型已经成功打通了整个AI音乐的创作链路,普通的创作者不需要再纠结歌词、曲风和演唱效果,只需要说出要求,然后点击生成即可。

虽然现场试用时感觉创作流程非常简单,背后却是火山引擎的「负重前行」,通过对音乐模型的全面升级与优化,结合独特的音乐生成通用架构和全新的解码模型,豆包音乐生成模型能够以秒为单位完成音乐生成,并且呈现出更真实的演唱效果。

一日连发两款视频大模型,火山引擎要让每个人都能用上AI

图源:雷科技

实话说,在现场聆听演示音乐时,周围不少嘉宾都下意识发出感叹:“这个真的不错”,如果不提前说是AI创作的话,估计不少人会误以为是某个新锐歌手的作品。

从视频到音乐,火山引擎已然攻克了AI创作的两大难关,并且完成了整个AI创作链路的整合:豆包通用模型完成故事脚本、文生图模型完成前期视觉设定、视频生成模型与音乐模型完成作品素材创作,最后再由剪映提供AI智能剪辑支持,让视频创作的门槛与难度得到前所未有地降低。

一日连发两款视频大模型,火山引擎要让每个人都能用上AI

图源:雷科技

火山引擎还在现场展示了全新的数字人生成应用,仅需数分钟即可完成数字人生成,并在数秒内进行音色克隆。简单的操作就可以让用户得到一个专属数字人,拟真的神态和语气,可以满足直播、在线教学、智能客服对话等多个领域的应用。

此外,豆包的数字人还能与同声传译模型结合,让数字人随时切换不同的语言进行对话,这项功能在现场也引起了许多关注。近年来,出海、海外直播市场已经成为电商生态的另一个支柱,但是能够熟练掌握外语的主播数量却远无法满足市场需求,利用数字人+同声传译模型制作的外语主播,将有望成为市场的新选择,这也是火山引擎向泛领域进军的一个重磅项目。

一日连发两款视频大模型,火山引擎要让每个人都能用上AI

图源:雷科技

从视频、音乐到数字人,火山引擎正在构建一个涵盖多领域的AI创作生态,推动着AI技术走向更加广泛的行业应用。未来,随着这些技术的持续优化与普及,无论是内容创作者还是企业,都能够在AI生态中找到更高效的创作方式,开启全新的智能化创作时代。

让所有人都能用上AI

为了满足日益高企的AI模型需求,火山引擎一直在升级大模型的承载能力。目前业内多数大模型最高支持300K甚至100K的TPM(每分钟token数),而豆包大模型的默认并发流量标准已经提高到800K TPM,是行业普遍标准的2-8倍以上,并且允许用户灵活扩容。

与业界最高并发流量标准相辅的,还有进一步降低的算力成本。

在会后的采访中,火山引擎CEO谭待提到,火山引擎是业内最早降低算力成本的大模型团队之一,截至目前豆包大模型的算力定价已经低于行业99%,目前定价仅为0.0008元/千Tokens,引领算力成本进入「厘」时代。

谭待认为,只有算力成本降低,才能解锁更多的应用场景,降低开发者的进入门槛,并且减少运营成本支出,才能形成更好的AI应用生态。而且,降低成本也带来了更高的调用量,让大模型获得更好的成长,得以进行快速的迭代升级。

在今年5月份推动降价后,仅4个月的时间豆包调用量就达到每天13000亿次,是5月份的10倍,市场里的AI应用覆盖增长显著,而且火山引擎在降价的同时还在提升大模型的整体能力,降价提质也让更多的开发者热衷于豆包大模型。

作为字节跳动的2B云平台,火山引擎此前就对企业开放了大量的底座模型,这在大模型团队中并不多见。针对这个问题,谭待也做了进一步的解读,火山引擎选择开放底座大模型的初衷就是推动行业创新,通过对豆包大模型的技术进行整合,为企业端提供更安全、稳定的底座大模型,并非简单地将豆包大模型丢给企业,而是从企业端的需求出发,提供更多的服务与应用,助力企业进行AI创新。

此外,采访中还提到了Sora,作为最早的视频生成模型之一,Sora的问世一度引起广泛关注,但是至今为止Sora仍未公开发布,以至于被业内称之为「期货」。因为对算力的高要求,视频生成大模型的全面开放一直存在不小的阻力,这也让我们担心豆包视频生成大模型是否可以在短期内放出。

对此,谭待充满了信心,因为豆包并非一个独立的视频生成模型,其本质上是依托于豆包通用模型等一系列技术的成果,所以许多技术挑战在此之前就已经解决了,同时火山引擎也一直在优化视频生成模型的效率,使其能够更快地进入公开市场,目前在即梦AI等功能里已经可以申请内测体验,并且在国庆节后会放出更多的公开API。

谭待在采访中还特别强调了技术积累和长期规划的重要性。他指出,火山引擎的目标不仅仅是解决当前的市场需求,更是在为未来的AI发展打下坚实的基础。通过持续优化底层技术架构,火山引擎能够以更低的成本提供更高质量的服务,从而保持技术领先优势。

最后,谭待认为随着AI技术的不断成熟,拥有庞大用户和企业支持的火山引擎将继续保持在行业内的领先地位。未来几年,火山引擎将持续专注于技术深耕和行业落地,通过更高效、更智能的AI解决方案帮助企业实现数字化转型和创新发展。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-25 17:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

火山引擎丢出视频大模型「王炸」,云厂商从「价格战」回归「卷性能」
...模型,被寄予厚望。这就来了。9 月 24 日,字节跳动旗下火山引擎在深圳举办 AI 创新巡展,一举发布了包括「豆包视频生成大模型」「音乐生成大模型」在内的多款模型。在此之前,
2024-09-26 13:33:00
终于拿到内测!豆包-PixelDance真是字节视频生成大杀器
「火山爆发,震撼天地。」这八个字会在你的头脑中触发怎样的影像?是否与下面的视频类似?视频链接:https://mp.weixin
2024-09-30 09:51:00
火山引擎发布大模型训练视频预处理方案 已应用于豆包
10月15日消息,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案。目前,该技术方案已应用于豆包视频生成模型。火山引擎总裁谭待在活动致辞表示,在AIGC、多模态等技术的共
2024-10-15 15:07:00
火山引擎发布豆包大模型文旅解决方案
8月15日,火山引擎「AI创新巡展」第二站在厦门举办。活动中,火山引擎首次发布了大模型文旅解决方案,以字节豆包大模型和火山引擎AI全栈云基础设施为底座,结合抖音内容生态,助力以厦
2024-08-16 16:03:00
豆包大模型综合能力提升20.3%,火山引擎成立零售大模型联盟
8月21日,2024火山引擎 AI 创新巡展在上海举办,带来豆包大模型的一系列产品升级。豆包语音模型和视觉模型再升级,对话式 AI 实时交互解决方案进一步强化 AI 交互体验
2024-08-23 13:41:00
全面AIGC时代,豆包模型家族准备好了
AI时代,大模型更新的速度是多少?火山引擎的答案是:两个月。今年5月,火山引擎一口气推出了9款豆包大模型家族;紧接着,7月在「AI创新巡展」成都站中发布了豆包·图生图模型;9月2
2024-09-26 13:49:00
豆包“王炸”:字节跳动一天发布两款视频生成大模型
...节跳动正式宣告进军AI视频生成。9月24日,字节跳动旗下火山引擎在深圳举办AI创新巡展,一举发布了豆包视频生成-PixelDance
2024-09-24 18:15:00
字节跳动豆包大模型发布,火山引擎全栈AI服务助力企业智能化转型
火山引擎总裁 谭待火山引擎总裁谭待表示,企业要做好大模型落地,面临模型效果、推理成本、落地难度的三大关键挑战:既要有好的基础大模型做支撑,解决复杂难题,也要有低成本的推理服务让大
2024-05-15 16:16:00
豆包再降价,字节“饱和式”进攻仍在继续
大模型应用大战即将一年整,竞争依然激烈。12月18日的火山引擎Force冬季大会上,字节跳动“豆包全家桶”又迎来了新成员。豆包视觉理解模型正式亮相,其具备更强的内容识别、理解和推
2024-12-20 09:25:00
更多关于科技的资讯:
“生物制药工艺与设备发展新趋势研讨会”于10月16日下午举行,麦济生物、艾捷博雅科技、碧博生物等企业的代表,就生物制药工艺优化与设备选型提供了新思路与新方法。责编:卢思宇、姚凯红
2025-10-27 10:19:00
河北日报讯(记者刘英、刘杰)近日,经省科技厅批准,由廊坊润泽科技发展有限公司牵头组建的省级创新联合体——河北省人工智能创新联合体成立
2025-10-27 08:07:00
厦门网讯 (厦门日报记者 薛尧) “品牌金饰每克突破1100元,自己买工具打首饰能省近一半!”近日,受国际金价持续震荡
2025-10-25 08:13:00
南报网讯(记者何洁)10月22日至24日,由《自然》系列期刊编辑部和南京大学及中国生物物理学会联合主办的首届“人工智能生物学”国际学术会议在南京举行
2025-10-25 08:53:00
近日,胜利石油工程公司管具技术服务中心井控装置试压泵保压阀成功实现部件自主化维修,彻底改变以往依赖外部采购的被动局面。这次突破
2025-10-25 09:27:00
春雪食品斩获IDC未来企业大奖
近日,第十届IDC中国CIO峰会在上海落幕。莱阳春雪食品集团以数字化重塑全产业链的硬核实践,荣获“IDC未来企业大奖-卓越奖”
2025-10-25 12:55:00
AI搜索流量占比突破45%的2025年,头部GEO服务商正以技术代差重塑市场格局,这份基于1200+企业实战数据的白皮书
2025-10-25 14:27:00
抗衰冻龄选对成分是关键!2025全球五大麦角硫因品牌深度测评&选购指南
衰老的本质是细胞层面的多维损伤叠加 —— 自由基氧化、线粒体功能衰退、DNA 修复能力下降等机制相互交织,单一成分干预早已无法满足科学抗衰需求
2025-10-25 14:29:00
深耕眼科近30载,菏泽摘镜“标杆”王丽霞院长解说全飞秒4.0
通讯员 任兆潘在菏泽近视矫正领域,王丽霞院长的名字早已成为 “专业” 与 “放心” 的代名词。作为菏泽华厦眼科医院业务副院长
2025-10-25 14:39:00
“赞上合、聚天马,展风采,新体验”,2025天津马拉松将于10月26日鸣枪起跑。10月26日6:55至10:25,天津海河传媒中心《奔跑吧
2025-10-25 15:26:00
星光不负,码向未来 ———选择鸿蒙的800万种可能
摘要:每一位开发者都在用自己的方式点亮属于自己那颗星在这个追求效率的时代,技术的温度,正藏身于那些被巧妙化解的日常困境里
2025-10-25 15:44:00
同程旅行完成收购万达酒管,专业商旅平台成就“更高端”的出行体验
近日,同程旅行宣布完成对万达酒店管理公司的战略收购。这次收购远不止于简单的资源叠加,而是OTA乃至商旅服务生态的一次战略性升级
2025-10-25 15:45:00
可信数据空间新产品新服务新生态发布会在杭州中国数谷举行
2025年10月22日,“可信数据空间新产品·新服务·新生态发布会”在杭州中国数谷会议中心隆重举行。大会由北京燕元数联网络科技有限公司
2025-10-25 15:47:00
10月24日,我省首个脑机接口临床研究中心在山医大一院成立。山西医科大学将与清华海峡研究院协同创新中心在脑机接口这一前沿项目方面展开深入合作
2025-10-25 19:08:00
据第三方权威数据显示,2025年头部与尾部GEO服务商的效果差距已达430%,而企业更换服务商的平均成本高达首年投入的150%
2025-10-25 21:10:00