• 我的订阅
  • 科技

视觉理解、3D生成,豆包这次又玩出了什么新花样?

类别:科技 发布时间:2024-12-18 22:49:00 来源:卓越科技

时光飞逝啊,家人们,前几天才大雪,眼瞅着又快到冬至了。

搁往年的情况,到了年底,这才到各大厂商纷纷发力的时候,毕竟年关将近嘛,总得搞出点啥新东西,一方面是给上头来点交代,还指着年终奖回去过年呢,另一方面也能给大家长长眼界。

特别是这AI行业,就连OpenAI一改之前大半年不更的惰性,直接开启了十二场直播,带来了包括主打整合功能的Projects、做到“耳聪目明”的高级语音模式,简化开发体验兄弟强化微调技术等全新功能演示。

既然GPT做了,那么国内大模型又怎么能不做呢,月之暗面Kimi发布视觉思考模型k1;腾讯微信推出多模态大模型POINTS1.5;巨人网络发布千影有声游戏生成大模型,还有不胜枚举的初创公司带着自家模型的新进展试图刷个脸熟。

所以呢,豆包又又又更新了。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

而且啊,这次还不是之前那每半个月发条站内信息告诉你的「小功能」更新,12月18日,字节跳动在上海举行了「火山引擎FORCE原动力大会·冬」,大会正式带来了豆包大模型家族的全面升级,并打造2000平方米的AI展区,以及举办10+场的专题论坛。

为了仔细观察一下豆包这一年来的进步,顺便看看字节接下来要折腾些什么新东西,小雷也是顶着凛冬,不远万里来到上海参与了本次开发者节的开幕演讲,接下来跟着我走就对了。豆包大模型全面升级

在国产大模型中,豆包的起步确实是相对慢一点的。

当字节在去年10月上架自家首款AI原生应用——豆包App时,百度这边已经宣布在搜索、文库、地图等各种应用中全部植入了AI能力;阿里的通义千问已经到了2.0版本;就连一批资源不多的AI初创团队也已经陆续登上台面。

但或许是因为技术积累、厚积薄发的缘故,豆包AI生态在2024年实现了高速发展,甚至做到了后来居上。

在模型上,字节补全了图像、语音、音乐、视频、3D等不同模态的生成式AI模型;在应用上,豆包App已成为国内用户最多的ToCAI产品,截至11月底,累计用户规模已超过1.6亿,单日活跃用户接近900万。

不知不觉间,字节已经成为目前拥有最全生成式AI模型、最多AI应用的技术公司,而此时距离今年5月,字节跳动宣布自家豆包大模型正式开启对外服务以来,也就过了半年时间而已。

那么这次豆包,又给我们带来了什么惊喜呢?

首先是视觉理解模型

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

研究显示,人类接收的信息超过80%来自视觉。视觉理解将极大地拓展大模型的能力边界,同时也会降低人们与大模型交互的门槛,为大模型解锁更丰富的应用场景。

在加入视觉理解模型后,现在豆包也能够像GPT-4o一样,接受文本、音频和图像任意组合的输入与输出,并通过深度融合视觉和语言模态,无需任何提示,即可识别日常生活中的大部分物体乃至企业,完成分析图表、处理代码、解答学科问题等交互。

豆包战略研究负责人周昊表示:“豆包一直在努力,让用户的输入更快更方便”。

正因如此,豆包产品非常注重多模态的输入和打磨,包括语音、视觉等能力,试图改变了人们对大模型交互体验的既定思路,让人机对话体验更接近人与人之间的实时对话。

目前,这些模型都已通过火山引擎开放给企业客户。

在视频创作领域,火山引擎及其背后的字节跳动,恐怕是最有发言权的。

抖音在全球掀起的全民视频创作热潮,造就了一个全新的互联网视频时代,所以,即梦AI的视频生成也更关注用户在实际使用时的创作流程和创作效果,而不仅仅是简单地生成画面和动作。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

在大会上,即梦Dreamina张楠展示了两个令人惊艳的AI视频片段,从多人互动到运动长镜头,两个视频都可以在保证视频流畅度的同时确保视频元素的一致和主体风格不变化,在我看来已经足够惊艳出彩。

张楠认为,生成式AI技术可以把每个人脑子里的奇思妙想快速视觉化,“像做梦一样”。即梦希望成为“想象力世界”的相机,记录每个人的奇思妙想,帮助每个有想法的人轻松表达、自由创作。

不仅如此,在大会上张楠正式宣告,具备更长视频生成能力的豆包视频生成模型1.5版将于2025年春季正式推出,端到端实时语音模型也将很快上线,从而解锁多角色演绎、方言转换等新能力,为更多更精细的AI视频创造实现赋能。

大家熟悉的豆包大模型多款产品,在本次大会上也迎来重要更新。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

豆包通用模型pro已全面对齐GPT-4o,使用价格仅为后者的1/8;音乐模型从生成60秒的简单结构,升级到生成3分钟的完整作品;文生图模型2.1版本,更是在业界首次实现精准生成汉字和一句话P图的产品化能力,该模型目前已接入即梦AI和豆包App中。

最最最特别的,还是本次大会上首次亮相的豆包3D生成模型,该模型与火山引擎数字孪生平台veOmniverse结合使用,可以高效完成智能训练、数据合成和数字资产制作,成为一套支持AIGC创作的物理世界仿真模拟器。

AI赋能游戏创作,或许并不是一场梦。大模型应用加速落地

比起空口说白话的「能力」,对于用户来说,落到实处的「应用」显然是更值得关注的。

普通用户使用体验很好解决,豆包战略研究负责人周昊表示,做产品要把关键用户需求解决好,只要豆包App能做到输入方便、离用户近、模型能力更强,就能继续维持高速发展。

而在企业这边,面向诸多企业用户,火山引擎这次特地升级了火山方舟、扣子和HiAgent三款平台产品,帮助企业构建好自身的AI能力中心,高效开发AI应用。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

其中,火山方舟发布了大模型记忆方案,并带来了全域AI搜索能力,前者在更低延迟和成本的基础上,为大模型赋予了「更加懂你」的能力,后者则能在记忆能力的基础上,做到一体化、场景化和个性化的搜索推荐,并对企业私域信息进行有机整合。

作为目前业内最便捷的AIBot定制平台,现在扣子也获得了今天大模型升级的一系列能力,你依然可以通过按部就班地给出自己的需求来制作属于自己的AIBot。

总感觉雷科技上线的小雷Bot也是时间该更新了,只要小雷努力一下,或许之后根据用户上传的照片、视频里的手机,给出购买建议这些功能也能实现?

最后,小雷还去逛了一下展区。

这次字节也在现场设置了五个不同的展示区,分别是:豆包大模型、构建AI创意中枢、AI驱动应用创新、持续创新的AI云与基础设施和AI加速行业跃迁。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

要说里面比较有趣的,一个是网易伏羲和火山引擎合作的AINPC,在数个不同故事主题的开放世界庞大背景下,火山大模型化身千行百业的NPC,融入进游戏的游历玩法中,为玩家带来与AI人物角色实时互动的全新体验。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

还有前面提到的AI音乐,实测只需要几个关键词,在极短的时间里就能生成一首朗朗上口的音乐,根据要求切换不同的曲风并生成歌词,这次豆包还特地让一个小姐姐在现场演唱大模型生成的曲目,这种人机协同的新体验也是头一遭。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)AI更实用,更好用

整个发布会看下来,字节跳动/火山大模型正在做的事情还挺好理解的:

“满足具体且真实的需求,关心用户具体且真实的生活。”

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

自ChatGPT发布,如今也差不多过去两年时间了,自全球掀起的这场大模型竞赛也已经有一年半时间了,但是如今怎么将大模型落地,依然是萦绕在每一家AI公司的最大命题。

有媒体统计,自从GPT-3.5上线以来,在各家大厂继续大规模投入的同时,中国新成立的AI公司已经有近8万家陷入注销、吊销或停业异常的状态,甚至出现部分厂商决定用已有的服务器转行游戏业的情况,百模大战的热闹和惨烈都出乎很多人的意料。

而火山引擎这边,则是在FORCE原动力大会·冬上,交出了一份大模型与行业结合的高分答卷。

作为世界排名第二、中国排名第一名的AIAPP,数据显示,截至12月中旬,豆包通用模型的日均tokens使用量已超过4万亿,较七个月前首次发布时增长了33倍。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

(图源:雷科技)

不仅如此,豆包大模型还获得众多行业客户青睐,不仅与八成主流汽车品牌合作,更是接入到包括vivo、荣耀在内的多家手机、PC等智能终端,覆盖终端设备约3亿台,来自智能终端的豆包大模型调用量在半年时间内增长100倍。

在我看来,豆包获得青睐背后的原因其实很简单——就是价格更低、效果更好

在今天的大会上,豆包让视觉理解模型进入“厘时代”,价格来到了0.003/千tokens,一块钱能够处理284张图片,比行业价格便宜85%,诸如记忆能力、大模型推理成本也有肉眼可见的降低。

目前大模型的格局尚不清晰,我们很难预测一个超级应用何时出现,但以能力更强、价格更低和更易落地的大模型与行业融合,或许真的能加速大模型商业化的探索,也能从中找到更多AIGC应用与市场契合度的可能性。

火山引擎希望能助力更多企业实现智能化转型和业务增长,成为推动各行各业向前发展的强劲动力,迎接更加丰富的硬件品类、更快落地的技术应用、更加蓬勃的产业生态。这样一个目标,说着倒是容易,但想要实现的话,需要企业背后的决心、技术力和市场能力,缺一不可。

或许可以这么认为,在这场AI竞争淘汰赛中,字节跳动正在火力全开,而国产AI大模型的格局,很可能要有新变化了。

25年1月7日,CES(国际消费电子展)2025即将盛大开幕,雷科技报道团蓄势待发,即将飞赴美国·拉斯维加斯现场全程报道,敬请关注。

视觉理解、3D生成,豆包这次又玩出了什么新花样?

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-12-18 23:45:06

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

豆包再降价,字节“饱和式”进攻仍在继续
...然激烈。12月18日的火山引擎Force冬季大会上,字节跳动“豆包全家桶”又迎来了新成员。豆包视觉理解模型正式亮相,其具备更强的内容识别、理解和推理、视觉描述等能力;明年1月
2024-12-20 09:25:00
约4万亿的日均调用Token数量,将豆包大模型再次聚焦在行业镁光灯下。货比三家,从日均调用Token数量就不难看出,越来越多的客户选用了豆包大模型。另外,随着近日豆包视觉理解模型
2024-12-23 11:49:00
字节发布豆包1.5深度思考模型:“实拍级”图像生成
...,字节跳动旗下火山引擎总裁谭待正式发布了备受瞩目的豆包1.5深度思考模型。谭待指出,豆包1.5深度思考模型在多个关键领域展现出卓越性能。在数学、编程、科学推理这类专业领域中,
2025-04-17 11:54:00
终于拿到内测!豆包-PixelDance真是字节视频生成大杀器
...头拉近,岩浆正在火山口跳动冒出。这段 10 秒的视频是豆包视频生成模型基于以上提示词想象创造的。可以说这段视频的拟真度非常高,并且有着娴熟的运镜,足以放入任何影视作品中。有着
2024-09-30 09:51:00
豆包“王炸”:字节跳动一天发布两款视频生成大模型
...节跳动旗下火山引擎在深圳举办AI创新巡展,一举发布了豆包视频生成-PixelDance、豆包视频生成-Seaweed两款大模型
2024-09-24 18:15:00
字节跳动为企业提供极具性价比的多模态大模型能力
...,在今天举办的火山引擎Force大会上,字节跳动正式发布豆包视觉理解模型,为企业提供极具性价比的多模态大模型能力。豆包视觉理解模型千tokens输入价格仅为3厘
2024-12-18 17:35:00
全面透视豆包:功能、版本、价格、优势、应用
本文将深入探讨豆包的功能特点、应用场景、费用结构以及企业应用优势和注意事项,帮助读者全面了解并合理利用这一AI工具,提升个人和企业的效率与竞争力。一、豆包介绍豆包是字节跳动公司基
2024-07-24 14:44:00
全面AIGC时代,豆包模型家族准备好了
...的答案是:两个月。今年5月,火山引擎一口气推出了9款豆包大模型家族;紧接着,7月在「AI创新巡展」成都站中发布了豆包·图生图模型;9月24日,「AI创新巡展」深圳站中,豆包模
2024-09-26 13:49:00
抖音豆包火爆,视觉中国沾光录得8天5板
近日,抖音豆包概念席卷A股市场。12月12日,相关概念股持续活跃,截至收盘,省广集团、引力传媒、视觉中国等多股涨停。消息面上,12月10日,字节跳动旗下视频生成模型PixelDa
2024-12-13 09:47:00
更多关于科技的资讯:
画里有话|充电宝容量岂能“充水”
今年8月,消费者王先生在淘宝某品牌官方旗舰店购买了一款电芯容量为10000毫安的充电宝,背面小字标示的额定容量仅有6000毫安
2025-10-23 08:37:00
厦门网讯(厦门日报记者 杨霞瑜)“AI凑单比价”“AI万能搜”“AI帮我挑”……今年“双11”大促已经开始,AI在电商平台中被广泛使用
2025-10-23 08:42:00
荣耀与比亚迪达成深度战略合作 共绘智慧出行\
10月21日,荣耀与比亚迪在深圳签署战略合作协议。双方将依托荣耀车联解决方案与比亚迪 DiLink的全新一代智慧生态,以"人"为核心
2025-10-23 08:46:00
Fanttik官宣成为NBA休斯顿火箭队官方合作伙伴,以创新和品质突破行业边界
10月16日,创新工具品牌Fanttik官宣成为NBA休斯顿火箭队官方合作伙伴。此次合作基于双方理念的高度契合,Fanttik以“高性能
2025-10-23 09:16:00
宁波银行南京分行携手高德地图共筑南京餐饮数字化增长新生态
10月22日,高德到店助力餐饮行业经营发展(南京专场)活动在南京圆满落幕。该活动由宁波银行南京分行与高德地图联合主办,吸引众多餐饮企业家代表参与
2025-10-23 09:44:00
近年来,民生银行石家庄分行坚持“以客户为中心”的服务理念,将支付业务作为全行战略性基础业务之一,紧跟市场发展趋势和客户需求
2025-10-23 10:02:00
沐曦发布首款全国产通用GPU芯片“中国芯”,浦口造□南京日报/紫金山新闻记者肖凡 通讯员吴晓倩IP设计、晶圆制造、封装测试全流程国内生产
2025-10-23 07:46:00
10月22日从中北大学获悉,第十九届“挑战杯”全国大学生课外学术科技作品竞赛2025年度中国青年科技创新“揭榜挂帅”擂台赛日前在全国各地拉开帷幕
2025-10-23 07:49:00
聚焦雄安新区|首颗“雄安造”卫星完成生产下线
雄安新区空天信息产业从布局迈向实质性产出阶段首颗“雄安造”卫星完成生产下线河北日报讯(记者解丽达、曹铮 见习记者李畅)10月22日
2025-10-23 07:55:00
10月22日,安平国际会展中心。当天开幕的第25届中国·安平国际丝网博览会,用满场的“智造”活力,改写着人们对丝网的老印象
2025-10-23 07:59:00
试水市场化,VR博览会迸发新活力
会展作为经济发展的“晴雨表”和“风向标”,不仅是经济发展的助推器,更是展示经济活力的重要窗口。如今,世界VR产业大会成为南昌乃至江西的一张名片
2025-10-23 06:29:00
AI赋能医院病案内涵质量提升
鲁网10月22日讯(记者 魏萱)为深入推进健康中国建设,进一步深化医药卫生体制改革,全面提升医疗质量安全水平,建设有特色的医疗质量管理体系
2025-10-22 14:27:00
胡海建眼中的“末端决胜论”,跨越速运陆运体系如何做到“快、准、稳”?
在跨越速运的“陆空协同”运力体系中,陆运网络是连接航空枢纽与客户的关键环节。董事长胡海建深知,末端服务的“最后一公里”直接影响客户体验
2025-10-22 14:37:00
布蕾克咖啡携\
近日,布蕾克咖啡携新品「云南有机瑰夏礼盒」等多款咖啡产品登陆高端超市品牌Ole'精品超市,通过优质渠道将高品质咖啡呈现给广大咖啡爱好者
2025-10-22 14:37:00
AI驱动 数据赋能丨浪潮云领跑中国城市可信数据空间市场
近日,艾瑞咨询正式发布《2025年中国城市可信数据空间行业研究报告》,从城市可信数据空间的发展驱动因素和核心价值出发,对其总体架构
2025-10-22 17:06:00