• 我的订阅
  • 科技

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

类别:科技 发布时间:2024-07-23 17:12:00 来源:新智元
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

新智元报道

编辑:alan

【新智元导读】当今的LLM已经号称能够支持百万级别的上下文长度,这对于模型的能力来说,意义重大。但近日的两项独立研究表明,它们可能只是在吹牛,LLM实际上并不能理解这么长的内容。

大数字一向吸引眼球。

千亿参数、万卡集群,——还有各大厂商一直在卷的超长上下文。

从一开始的几K几十K,发展到了如今的百万token级别。

Gemini的最新版本可以接收200万个token作为上下文。

这大概相当于140万个单词、2小时视频或者22小时的音频。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

但不知诸位平时用得着这么长的上下文吗?毕竟100K已经相当于一部比较长的小说了。

更重要的是,LLM真的能在这个长度上进行推理吗?

近日,有两篇独立研究分别表明:长上下文水分很大!LLM实际上并不能「理解」内容。

读小说挑战

首先是来自UMass、AI2和普林斯顿的研究人员,推出了一项针对性的测试。

论文地址:https://arxiv.org/pdf/2406.16264

代码和示例数据:https://github.com/marzenakrp/nocha

当前传统的长上下文测试手段一般被称为「大海捞针」(needle-in-a-haystack):

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

将一个事实(针)嵌入到大量的上下文信息(干草堆)中,然后测试模型能否找到这根「针」,并回答与之相关的问题。

这种方式基本上衡量的是LLM的检索能力,有些流于表面。

于是研究人员构建了NoCha(小说挑战)数据集,让模型根据所提供的上下文(书籍)验证声明的真假。

如下图所示,由小说的粉丝根据书籍内容,提出关于同一事件或角色叙述的一对相反的声明。

LLM看完小说后需要分别判断两个问题的真假(确保是根据理解做题,打击在考场上瞎蒙的)。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

对于一对问题的回答有四种情况,只有两个问题全对时才能得一分。

研究人员测试了目前最强的一些长上下文模型(包括闭源和开源),并将成绩单贴在墙上,公开处刑:

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

首当其冲的是GPT-4o,虽然全班第一,但是55.75分。

而开源阵营的成绩直接惨不忍睹,表现最好的Command R(simple)只有22.47%的准确率。

——要知道,这考试瞎蒙也能得25分(四选一)。

当然,这也说明人家不是瞎蒙的,确实动脑子了。

视觉上的长上下文

另一篇研究来自UCSB,考察的是视觉大模型(VLM)的长上下文能力。

论文地址:https://arxiv.org/pdf/2406.16851

主要的实验思路如下图所示,研究人员通过不断增加上下文长度(干扰图片的数量),将现有的VQA基准和简单图像识别集 (MNIST) 扩展为测试长上下文「提取推理」的示例。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

结果在简单VQA任务上,VLM的性能呈现出惊人的指数衰减。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

——LLM:原形毕露了家人们。

而与实际研究相对的,在今年早些时候,谷歌展示了几个预先录制的演示。

让Gemini 1.5 Pro搜索阿波罗11号登月的电视直播记录(约402页),查找包含笑话的引语,以及在电视直播中找到与铅笔素描相似的场景。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

主持这次简报会的谷歌DeepMind研究副总裁Oriol Vinyals表示,「Gemini 1.5 Pro可以在每一页、每一个单词上执行此类推理任务。」

一千零一夜

第一篇工作被作者命名为「One Thousand and One Pairs」(下面这盏灯应该也是这么来的)。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

一千零一在这里有两个含义,首先用于测试的材料基本都是小说,对于大模型来说,算是故事会了;

其次,作者真的花钱请人注释了刚刚好1001个问题对。

为了保证模型无法依靠自己的知识来作弊,这1001个问题大部分来自于最近出版的虚构叙事类读物。

数据收集

NoCha数据集包括63本新书(33本于2023年出版,30本于2024年出版)和四本经典小说,书籍的平均长度为127k个token(约98.5k个单词)。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

注释者首先写出关于书中事件或人物的真实陈述,然后针对同一对象创建相应的虚假陈述,同时还需要给出一个简短的解释,说明为什么这些说法是正确或错误的。

为了确保声明的质量,作者聘请了读过相同书籍的注释者,来验证五本书中的128个声明,并最终对其中的124个达成了一致。

下面给出参加本次考试的考生信息(开源和闭源两大阵营):

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

以及考试成绩:

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

结果分析

如果按照小说类型划分,所有六个闭源模型在历史小说上的准确率为56.4%,当代小说为46.8%,推理小说为38.8%。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

对于每个模型来说,都是历史小说的准确度最高,当代小说次之,推理小说的准确度最低。

从这个结果来看,貌似LLM的推理更多依赖于自身参数中的知识。

接下来做个对比实验:如果某个主张可以通过书中的一小部分内容来单独验证,那么提供本书的其余部分是否会影响其准确性?

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

上图显示了在四个短篇故事集上的模型性能,每两行为一组,上面一行表示给出整本书(约129k token)时的准确率,下面表示只给出与声明相关的部分(约21k token)。

Gemini对于添加上下文的表现相对稳健,而Claude-3-Opus的准确度直接下降了44.5%,Claude-3.5-Sonnet、GPT-4-Turbo和GPT-4o的表现也大幅下降。

作者表示,与句子层面的检索任务相比,模型在验证需要考虑整本书(或大部分)内容的问题时,显得力不从心。

另外,书中的一些隐含信息对于人类读者来说是明确的,但LLM却无法理解。

大海捞针

另一项研究来自加州大学圣巴巴拉分校(UCSB),作者引入了 LoCoVQA,一种带有干扰项的长上下文视觉问答 (VQA) 基准生成器。

LoCoVQA可以提供与问题相关的图像序列,以及一组可配置的视觉干扰项,从而准确评估VLM如何在杂乱的上下文中仅提取与查询相关的信息。

从原理上讲,这也是一项「大海捞针」的任务。

另外,LoCoVQA的方法能够以任意图像理解数据集为基础,创建长上下文图像理解测试。

生成方法

通过LoCoVQA合成的样本包含一个或多个与问答对(????、????)相对应的内容图像????。

内容图像可以从各种图像理解基准中采样,例如OK-VQA、MMStar 、MNIST等。

除了内容图像之外,每个样本还包括最多35个干扰图像(来自相同或者不同的数据集)。

VLM的输入样本可以是多个交错的图像,也可以是上面这种排列为网格的合成图像。

单图像推理任务

OK-VQA(Outside Knowledge Visual Question Answering)是一个单图像视觉问答数据集,包含5072个问题-答案-图像三元组。它需要外部知识来超越图像进行推理。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

LoCoVQA生成分布内的长上下文OK-VQA样本,确保内容图像不会出现可能使评估复杂化的概念冲突。

实验使用三个指标对样本进行评分:精确匹配(如果模型的响应包含任何真实答案作为子字符串,则为满分)、连续文本生成、和 ROUGE(候选人和推荐人之间)。

为了解决内容干扰冲突问题(视觉上下文中多个相似分布的图像使QA对模糊),作者实现了一种基于LM的鲁棒过滤方法。

对于每个视觉上下文图像,提示GPT-4列出前五个实体,如果存在重叠,则认为该问题可能含糊不清。

多图像推理任务

这里使用合成任务构建「序列VQA」数据集,将多个OCR示例作为交错图像输入,要求VLM列出所有文本(OCR规范数据集采用MNIST)。

为了获得所需的视觉上下文长度,研究人员从大约60K图像的MNIST训练集中采样1到8个随机颜色的数字,将它们的大小调整到其他上下文图像最大高度的1/6到1/2之间。

剩余的干扰图像是从5K个MS COCO的子集中随机采样的。VLM的任务是列出序列中存在的所有手写数字。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

通过改变序列中的位数,可以动态调整多图像干扰OCR任务的难度级别。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

上图展示了9个图像上下文中包含1、4 和8个数字的示例。仅当存储的生成数字字符串与基本事实完全匹配时,输出才被认为是正确的。

实验

参赛的VLM如下图所示:

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

研究人员在LoCoVQA生成的基准上,评估了以上九种视觉语言模型的性能。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

上图结果展示了单图像LoCoVQA任务中,模型性能如何随着视觉上下文长度的增加而变化。

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

上图为每个任务的模型在上下文长度为1、9和25时的性能,比较了不同模型在各种任务上的相对优势。

与其他模型相比,PaliGemma在OK-VQA上表现出色,而Mantis在AI2D上表现也很好。这些差异可能是由于训练任务的变化造成的。

参考资料:

https://techcrunch.com/2024/06/29/geminis-data-analyzing-abilities-arent-as-good-as-google-claims/

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-07-23 21:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

真香!智谱大模型,有了首个免费的API
...个姐妹,那么爱丽丝的兄弟有多少个姐妹呢?」问题时,正确率非常低。我们让 GLM-4-Flash 试了试,回答正确。改变了主角性别和亲属关系之后
2024-08-28 09:43:00
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
...模型在该网页/片段下尝试回答该样本,根据模型回答的正确率进行打分。基于这样的伪标注方法,研究人员构造了~80w样本用于训练。最后一步,人为验证。构造测试集时,研究者对第3步得
2024-11-11 13:34:00
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
...长度为2048个token的英语数据上进行训练,可能在多语言或长上下文上表现不佳。在未来的版本中,作者计划包括对更多具有更长上下文的多语言数据集的训练。最后,这项工作一直以有
2024-08-05 09:37:00
Bengio团队提出多模态新基准,直指Claude 3.5和GPT-4o弱点
...时间、地名、人名的错误,人类在简单难度下的中文平均正确率约为 98.58%,在困难难度下的中文平均正确率约为 91.84%。而去掉这些因为时间、地名、人名的错误,人类在简单难
2024-06-29 09:37:00
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,
2024-08-22 09:51:00
自我纠错如何使OpenAI o1推理能力大大加强?北大MIT团队理论解释
...效果的影响。主要结论如下:多数情况下,自我纠错后的正确率高于原正确率(图4) 正确率提升与自我评估的准确率高度相关(图4(c):),甚至呈线性关系(图5(a))。 采用不
2024-11-19 09:48:00
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
...数据集:LooGLE,专门用于测试和评估大语言模型(LLMs)长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索能力,又可以评估其对文本长程依赖的建模和理解能力
2024-08-08 09:39:00
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
【新智元导读】RNN模型在长上下文中表现不佳?近日,来自清华的研究团队对此进行了深入的实验分析,结果表明:不是RNN的锅
2024-11-28 12:03:00
空间智能版ImageNet来了!李飞飞吴佳俊团队出品
...种日常活动。评测结果表示,人类专家水平显著优于目前长上下文多模态模型中最厉害的Gemini Pro 1.5(85.0%对37
2024-11-11 13:31:00
更多关于科技的资讯:
“贵州白酒云展会”数字化平台于“一码贵州”正式上线
多彩贵州网讯 9月9日,在第十四届中国(贵州)国际酒类博览会盛大开幕之际,“贵州白酒云展会”数字化平台于“一码贵州”正式上线
2025-09-10 00:50:00
投洽会期间厦门火炬高新区共有41个项目完成签约 计划总投资约433亿元
投洽会上,火炬高新区企业展示的芯片产品吸引客商关注。(本组图/厦门日报全媒体记者 卢剑豪 摄)多家位于火炬高新区的专精特新“小巨人”企业亮相投洽会
2025-09-09 08:44:00
刚刚过去的暑假,“工厂游”火爆出圈。多地工厂纷纷敞开大门,推出丰富多彩的研学项目。而在社交平台上,“工厂游”的攻略被大量转发
2025-09-09 08:46:00
东南网9月8日讯(通讯员 苏培婷)9月5日,由大田县总工会、国网大田县供电公司联合主办,国网大田县供电公司工会承办的首届“电力工匠”职业技能竞赛AI技术应用项目比赛圆满落幕
2025-09-09 09:28:00
本报讯 作为中国洗涤用品工业协会主办的行业盛会,第45届(2025)中国洗涤用品行业年会与第17届中国国际日化产品原料及设备包装展览会(以下简称“中国国际日化展”)将于今年10月15日至17日在重庆国际博览中心举行
2025-09-09 10:44:00
摩登中国时尚展传递中国皮革强音
本报记者 解 磊 文/摄为了满足人们对鞋包服饰等消费需求,为国际国内品牌企业、特色区域、独立设计师提供一个高端商贸合作
2025-09-09 10:44:00
近年来,我国消费市场涌现出许多新亮点,其中一个令人意外却极具代表性的现象是:碳纤维最大应用市场,竟然不是航空航天或风电叶片
2025-09-09 10:45:00
获SIAL创新金奖:纸沙拉沙拉脆片掀起零食健康新主张
消费日报网讯 9月1日,在2025 SIAL西雅国际食品展(深圳)举办同期,第24届SIAL创新大赛获奖榜单正式发布。湖南立方体食品有限公司选送的产品纸沙拉沙拉脆片荣获金奖
2025-09-09 11:17:00
王腾发微博辟谣:有失职,但没有窃取机密出售
9月8日,王腾发布离开小米的微博,当天,“小米王腾因泄密被辞退”登上热搜。此前,2023年8月25日,王化曾发博表示,欢迎王腾回京~好好干
2025-09-09 11:18:00
王腾深夜发文离开小米,其曾被赠“谨言慎行”T恤
9月8日晚,中国区市场部总经理、REDMI品牌总经理王腾发布微博:很惭愧跟大家说声抱歉,过去犯了一些错误,接受该有的代价
2025-09-09 11:18:00
前零一万物联创戴宗宏创业:20人团队,能干上百人的AI定制项目
文|周鑫雨编辑|苏建勋国内市场、ToB、定制化——每个词都踩到了当下AI创业的雷点上。但这恰恰是前零一万物联合创始人戴宗宏
2025-09-09 15:19:00
不再低调的二次元,正在经营一种「痛系生活」
撰文|深海 封面来源|视觉中国 刚刚过去的这个夏天,上海俨然变成了一座二次元年轻人的“痛城”。 7月开始,几大动漫展会接连袭来
2025-09-09 21:51:00
全棉时代官宣孙颖莎为全球品牌代言人
9月8日,全棉时代官宣乒乓球运动员孙颖莎为全球品牌代言人,为旗下棉柔巾品类代言。双方将携手传递舒适、健康、环保的全棉生活方式
2025-09-09 14:30:00
京东超市11周年发布新战略 未来三年用户数从3亿将增至5亿
京东超市11周年发布会8日在北京举行,全球快消行业超400家知名品牌负责人、高管齐聚一堂。面对全球零售业遇到的多重挑战
2025-09-09 15:02:00
中秋至味 团圆共飨|好太太2025中秋礼盒上线啦!
月满人间,礼寄相思好太太中秋诚挚献礼好太太中秋礼盒是家的味道,更是爱的传递礼盒产品线下各大商超均有售卖欢迎各企事业单位
2025-09-09 15:19:00