• 我的订阅
  • 科技

GPT-4劲敌,谷歌进入高能+高产模式

类别:科技 发布时间:2024-02-21 14:05:00 来源:虎嗅APP
GPT-4劲敌,谷歌进入高能+高产模式

出品 | 虎嗅科技组

作者 | 杜钰君

编辑 | 王一鹏

头图 | 视觉中国

在这场争夺AIGC话语权与领导力的追逐战里,谷歌与微软争相拼臂力秀肌肉。Gemini 1.5 Pro的横空出世,将多模态大模型的标准提到了一个新高度。

一、极致性能背后的模型架构

当地时间2月15日,Alphabet与Google公司首席执行官Sundar Pichai携首席科学家Jeff Dean等众高管在X平台发布了多模态模型Gemini 1.5 Pro。这是继2月7日的Gemini 1.0 Ultra后,谷歌在多模态大模型赛道的又一力作。

GPT-4劲敌,谷歌进入高能+高产模式

图源:X平台Alphabet与Google公司首席科学家Jeff Dean推文

“巧合”的是,Open AI在Gemini 1.5 Pro官宣两小时发布Sora这枚重磅炸弹,颇有“一较高下”的劲头。只是由于当下大家的视线焦点集中在视频领域,Sora 又是 OpenAI 首次发布文生视频模型,所以无奈被抢了头条。

GPT-4劲敌,谷歌进入高能+高产模式

图源:微博评论

Gemini 1.5 Pro建立在谷歌对Transformer和MoE架构的领先研究之上。传统Transformer充当一个大型神经网络,而 MoE(Mixture of Experts 混合专家模型)模型则分为更小的“专家”神经网络。在这一结构之下,通过将模型参数划分为多个组别而实现的计算的稀疏化,即每次执行推理任务时,根据对输入类型的判断,MoE模型会通过门控网络选择性地激活神经网络中最契合指令的专家参与计算。

这种专业化、模块化的划分可以在提升预训练计算效率的同时提升大模型处理复杂任务的性能,更快地学习复杂任务的同时保证准确性。与稠密模型相比,MoE模型的预训练速度更快;使用MoE 层代替transformer 中的前馈网络(FFN)层。因而对的采用可以弥补Transformer架构运算效率的问题。

在Switch-Transformer、M4等领域,Google 一直是深度学习 MoE 技术的早期采用者。目前大部分大语言模型开源和学术工作都没有使用 MoE 架构。有消息称,GPT-4也采用了由 8 个专家模型组成的集成系统。2023年12月8日Mistral AI 发布的 Mixtral 8x7B 同样采用了这种架构。就国内的大模型而言,只有Minimax采用了MoE架构。

二、扩容的上下文窗口意味着什么?

虽然Gemini 1.5 Pro是 Gemini 1.5 系列的初代版本,但初代便表现不俗。扩大上下文窗口后的高水平性能是Gemini 1.5 Pro的一大亮点。

多模态大模型卷到今日,上下文窗口容量已然成为提升其理解能力的关键掣肘。此前的SOTA模型将上下文窗口容量卷到了20万token。而谷歌的Gemini 1.5 Pro直接将上下文窗口容量提到了100万token(极限为1000万token),远远超出了 Gemini 1.0 最初的 32,000 个 token,创下了最长上下文窗口的纪录。

对于文本处理,Gemini 1.5 Pro在处理高达530,000 token的文本时,能够实现100%的检索完整性,在处理1,000,000 token的文本时达到99.7%的检索完整性。甚至在处理高达10,000,000 token的文本时,检索准确性仍然高达99.2%。在音频处理方面,Gemini 1.5 Pro能够在大约11小时的音频资料中,100%成功检索到各种隐藏的音频片段。在视频处理方面,Gemini 1.5 Pro能够在大约3小时的视频内容中,100%成功检索到各种隐藏的视觉元素。

GPT-4劲敌,谷歌进入高能+高产模式

图源:Gemini 1.5 Pro官方测试数据

Gemini 1.5 Pro大大超过Gemini 1.0 Pro,在27项基准(共31项)上表现更好,特别是在数学、科学和推理(+28.9%),多语言(+22.3%),视频理解(+11.2%)和代码(+8.9%)等领域。即使是对比Gemini 系列的高端产品Gemini 1.0 Ultra, Gemini 1.5 Pro也在超过一半的基准(16/31)上表现更好,特别是在文本基准(10/13)和许多视觉基准(6/13)上。在 NIAH测试中,Gemini 1.5 Pro能够在长达100万token的文本块中,以99%的准确率找出隐藏有特定信息的文本片段。

GPT-4劲敌,谷歌进入高能+高产模式

图源:Gemini 1.5 Pro官方测试数据

这个上下文长度使Gemini 1.5 Pro可以自如地处理22小时的录音、超过十倍的完整的1440页的书(587,287字)“战争与和平”,以及四万多行代码、三小时的视频。

三、机器脑有多好使

除高效架构和强上下文处理能力之外,Gemini 1.5 Pro的优秀品质还在于“情境学习”技能,它可以根据长提示,从以前从未见过的信息中学习新技能,而不需要额外的微调。强学习能力、信息检索与数据分析能力使得在知识海洋中“海底捞针”由想象映照进了现实。

根据官方发布的测试报告,当给定卡拉曼语(一种全球使用人数不足 200 人的语言)的语法手册时(500页的语言文献,一本词典和400个平行句子),Gemini 1.5 Pro模型可以学习将英语翻译成卡拉曼语,其水平与学习相同内容的人相似。

GPT-4劲敌,谷歌进入高能+高产模式

图源:Gemini 1.5 Pro官方演示样本

当被一个45分钟的Buster基顿电影“小神探夏洛克”(1924年)(2674帧,1FPS,684k token)提示时,Gemini 1.5 Pro可以从其中的特定帧中检索和提取文本信息,并提供相应的时间戳。此外还可以从一张手绘素描中识别电影中的一个场景。与侧重于衡量模型检索能力的特定事实或细节的任务不同,这些问题通常需要了解跨越大量文本的信息片段之间的关系。

GPT-4劲敌,谷歌进入高能+高产模式

图源:Gemini 1.5 Pro官方演示样本

Gemini 1.5 Pro在处理长达超过100,000行的代码时,还具备极强的问题解决能力。面对庞大的代码量,它能够深入分析各个示例,提出实用的修改建议,还能详细解释代码的条例框架。给出了整个746,152个令牌JAX代码库,Gemini 1.5 Pro可以识别核心自动微分方法的具体位置。开发者可以直接上传新的代码库,利用这个模型快速熟悉、理解代码结构。

GPT-4劲敌,谷歌进入高能+高产模式

图源:Gemini 1.5 Pro官方演示样本

正如NVIDIA高级科学家Jim Fan所言,Gemini 1.5 Pro意味着LLM能力的大幅跃升,这对于做个体户的小公司而言可谓一骑绝尘。

在人机协同的探索过程中,单一的文本交互很难满足多场景多样态的内容生产诉求。多模态的信息处理与生成能力显然是技术变革的发力点。纽约大学计算机助理教授谢赛宁说,人才第一,数据第二,算力第三,其他都没有什么是不可替代的。Gemini 1.5 Pro是谷歌与巅峰对决的又一利器,或许AGI时代正加快到来。

本内容为作者独立观点,不代表虎嗅立场。未经允许不得转载,授权事宜请联系 hezuo@huxiu.com

正在改变与想要改变世界的人,都在虎嗅APP

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-02-21 14:45:11

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

OpenAI劲敌来了!这款大模型多项测试超越GPT-4o,号称最强智能
...价为3美元,每生成百万token为15美元,并具有20万个token的上下文窗口,约合15万个单词。现在,用户可以通过Anthropic的网页客户端和iOS应用免费试用新模型
2024-06-21 12:43:00
OpenCity大模型预测交通路况,零样本下表现出色,来自港大百度
...任务中展现了广泛的适用性。模型只需快速微调就能适应上下文,可以无缝部署在各种场景中。 可扩展性:OpenCity展示了有希望的缩放定律,表明该模型有潜力在最小的额外训练或微调
2024-09-02 13:34:00
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...即整合时空依赖编码器,以提升大型语言模型在捕捉时空上下文中的时间序列依赖性的能力。具体来说,我们设计的时空编码器由两个核心组件构成:一个是门控扩散卷积层,另一个是多层次关联注
2024-08-01 09:40:00
刚炮轰完GPT模式 杨立昆推出首个“世界模型”
...。具体来说,Meta研究人员证明了使用信息(空间分布)上下文预测包含语义信息(具有足够大的规模)的大型块的重要性。▲I-JEPA使用单个上下文块来预测来自同一图像的各种目标块的表示
2023-06-14 18:02:00
infini-attention:谷歌大内存机制
谷歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说)
2024-04-14 02:57:00
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,
2024-08-22 09:51:00
梁文锋杨植麟论文撞题,“注意力机制”对大模型意味着什么
...于NSA(Natively Sparse Attention,原生稀疏注意力)。据DeepSeek,上下文建模对于下一代语言模型至关重要
2025-02-19 18:43:00
林达华谈大模型发展之路:未来会有更高效的模型结构出现
大模型的上下文长度快速增长,超长上下文解锁新应用,但推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一
2024-03-25 10:53:00
陈天奇团队LLM结构化生成新引擎XGrammar:百倍加速、近零开销
...就是遵循某个特定格式(如 JSON、SQL 等)的数据。但使用上下文无关语法(CFG)来进行约束解码的方法并不高效
2024-11-27 13:37:00
更多关于科技的资讯:
江西10家企业入选“中国VR50强企业”
本报讯(全媒体记者左阳天)10月19日,“2025中国VR50强企业”名单正式发布,这是“中国VR50强企业”名单连续第七年发布
2025-10-21 05:52:00
校地专场对接会上,我市一批“钢铁新农人”集中显身手“火眼金睛”识熟果 自动采摘不伤花□南京日报/紫金山新闻记者徐宁果园里
2025-10-21 07:44:00
青春华章 | 南京微短剧产业联盟成立,“攥指成拳”闯千亿级赛道
南京微短剧产业联盟成立,“攥指成拳”闯千亿级赛道共聚“微”光,好“剧”有戏□南京日报/紫金山新闻记者鲁舒婷近260家相关企业
2025-10-21 07:45:00
培育产业向“新”力 2025厦门国际时尚周圆满落幕
2025厦门国际时尚周在中山路举行,精彩活动吸引众多市民游客。“九球天后”潘晓婷亮相2025厦门国际时尚周。厦门国际时尚周助力首发经济
2025-10-20 08:56:00
总台文创“月兔趣集”数字资产盲盒上线乐数通
中秋佳节,为推动中华优秀传统文化在数字时代实现创造性转化与创新性发展,浙江文化产权交易所(以下简称 “浙江文交所”)携手中央广播电视总台“总台文创”
2025-10-20 14:50:00
向“新”求质 | 潍柴雷沃智慧农业领航智能农机加速出海
鲁网10月20日讯10月17日-10月18日,潍柴雷沃智慧农业2025年全球合作伙伴发展大会在青岛举行。25款明星机型组成的“全矩阵”智能装备军团震撼列阵
2025-10-20 16:39:00
鸢都家电狂欢“三联家电10.25海信来了”引爆金秋消费季
鲁网10月20日讯 金秋消费季迎来重磅炸弹!三联家电宣布将于10月24日至26日启动年度促销活动——“10.25海信来了”
2025-10-20 16:46:00
战略协同 产品赋能 运营提效丨潍柴雷沃智慧农业2025年全球合作伙伴发展大会召开
鲁网10月20日讯10月17日-18日,以“战略协同·产品赋能·运营提效”为主题的潍柴雷沃智慧农业2025年全球合作伙伴发展大会在青岛召开
2025-10-20 16:47:00
日前,中国联通、中国移动、中国电信相继宣布,已获得工信部批复,在全国范围开展eSIM手机业务商用试验。这标志着,移动手机彻底告别实体SIM卡的时代正在从愿景走向现实
2025-10-20 17:37:00
从山海通信到智慧出行: OPPO携多项技术创新成果亮相中国移动全球合作伙伴大会
日前,以“碳硅共生 合创AI+时代”为主题的2025中国移动全球合作伙伴大会在广州隆重举办。作为中国移动的重要合作伙伴
2025-10-20 20:00:00
从“黑色黄金”到“智慧矿藏”山东移动“海陆空”一体化擘画智慧油田新蓝图
在国家坚定不移推进能源安全新战略的时代背景下,我国能源行业的数字化转型正加速驶入深水区。在渤海之滨的东营,山东移动围绕胜利油田的智能化需求
2025-10-20 20:25:00
鲁网10月20日讯近日,国家数据局公布《2025年可信数据空间创新发展试点名单》,山东省唯一一个企业级国家试点项目——东营“华泰纸业可信数据空间创新发展试点”成功入选
2025-10-20 20:26:00
亿云信息案例成功入选2025年数字山东标准应用典型案例
近日,山东省大数据局公布2025年数字山东标准应用典型案例名单,山东科创旗下亿云信息报送的《亿云信息赋能企业数据资产入表服务标准化》案例成功入选
2025-10-20 20:20:00
匠心护航丨济宁移动圆满完成2025嘉祥圣德山野音乐节通信保障
鲁网10月20日讯10月18-19日,“共赴山野之约,让旋律在自然间共鸣”群星演唱会在嘉祥九顶山激情开唱,华语乐坛知名歌手轮番登台
2025-10-20 12:17:00
移动的 “智算样板间” 亮相青岛,施耐德电气破解算力基建难题
10月17日,一场穿行14城、总里程近2万公里的技术巡展抵达青岛。施耐德电气关键电源巡卡车化身 “数据中心行业的技术样板间”
2025-10-20 12:45:00