• 我的订阅
  • 科技

OpenAI开启调查:GPT-4o及4o-mini模型性能下降

类别:科技 发布时间:2025-01-20 15:59:00 来源:浅语科技

快科技1月20日消息,据报道,OpenAI发布事故报告指出,当前遭遇GPT-4o和4o-mini模型性能下降问题,目前正在进行调查,并将尽快发布最新消息。

近期,科研人员创新性地推出了一项名为LONGPROC的基准测试工具,该工具专为评估模型在处理长上下文中的复杂信息并生成相应回复的能力而设计。

实验结果略显意外:包括GPT-4o在内的众多顶尖模型,虽然在常规长上下文回忆基准测试中表现优异,但在应对复杂的长文本生成任务时,仍暴露出显著的改进需求。

具体而言,尽管所有参测模型均宣称其上下文窗口大小超过32K tokens,但实际情况却大相径庭。开源模型在处理仅含2K tokens的任务时便显露疲态,而诸如GPT-4o等闭源模型,在应对8K tokens任务时性能也明显下滑。

以GPT-4o为例,在要求其生成详细旅行规划的任务中,即便提供了明确的时间节点和直飞航班信息,模型的输出结果中仍出现了不存在的航班信息,即产生了“幻觉”现象。

实验进一步揭示,即便是最前沿的模型,在生成连贯且冗长的内容方面仍存在较大提升空间。特别是在需要输出8k tokens的任务中,即便是参数庞大的先进模型也未能幸免于难,这或许预示着未来大型语言模型(LLM)研究的一个极具潜力的方向。

OpenAI开启调查:GPT-4o及4o-mini模型性能下降

【本文结束】如需转载请务必注明出处:快科技

责任编辑:鹿角

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-01-20 17:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
在长文本理解能力这块,竟然没有一个大模型及格!北大联合北京通用人工智能研究院提出了一个新基准数据集:LooGLE,专门用于测试和评估大语言模型(LLMs)长上下文理解能力。该数据
2024-08-08 09:39:00
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
...今的LLM已经号称能够支持百万级别的上下文长度,这对于模型的能力来说,意义重大。但近日的两项独立研究表明,它们可能只是在吹牛,LLM实际上并不能理解这么长的内容。大数字一向吸
2024-07-23 17:12:00
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,
2024-08-22 09:51:00
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行
2024-08-22 09:49:00
腾讯推出 Hunyuan-Large 开源大模型
IT之家11月5日消息,腾讯今日宣布推出Hunyuan-Large大模型,官方表示这是目前业界已经开源的基于Transformer的最大MoE模型
2024-11-05 18:56:00
梁文锋杨植麟论文撞题,“注意力机制”对大模型意味着什么
2月18日,在大洋彼岸的马斯克秀出最新大模型Grok 3当天,国产AI公司深度求索(DeepSeek)最新一篇论文引发关注
2025-02-19 18:43:00
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...领域中,序列建模是一项至关重要的任务。然而,现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。因此,北京大学林宙辰、徐鑫提出了一种全新混合序列建模架构 ——Mix
2024-10-16 13:34:00
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
【新智元导读】RNN模型在长上下文中表现不佳?近日,来自清华的研究团队对此进行了深入的实验分析,结果表明:不是RNN的锅
2024-11-28 12:03:00
王小川公布最新大模型,号称全球最长上下文,是GPT-4的14倍|钛媒体焦点
搜狗创始人、百川智能创始人兼CEO 王小川国内大模型技术竞争加速,继讯飞星火、智谱推出最新产品之后,百川也迎来了新的大模型成果。钛媒体获悉,10月30日上午,王小川创立的 AI
2023-10-30 15:02:00
更多关于科技的资讯:
近日,字节跳动推出的AI视频生成模型Seedance2.0在海内外互联网上再度刷屏。据官方介绍,该模型能够根据文本或图像生成电影级视频
2026-02-10 23:41:00
江南时报讯 近日,苏州农商银行与人保财险苏州市分公司深化协同,成功落地全国首单银保合作“科创贷”。该企业作为国家级高新技术企业
2026-02-10 21:42:00
西秀食品“双星”冲刺首季“开门红”
连日来,位于西秀区的贵州安顺云鹫食品有限公司和贵州好味达食品有限公司呈现一派热火朝天的生产景象。作为本土食品行业的标杆企业
2026-02-10 22:10:00
锦江国际集团启动马年春节多元促消费活动,激发假日市场新活力
马年春节临近,锦江国际集团依托“吃、住、行、游”全产业链优势,为海内外宾客准备了丰富的年娱、年味项目,陪伴大家一起过个精彩中国年
2026-02-10 17:24:00
潮新闻讯 目光所及,即是世界。此刻,我们站在迈向高水平科技自立自强的时代关口。“科技创新和产业创新深度融合”“概念验证”“中试平台”“职务科技成果赋权”“资产单列管理”“技术经理人”等成为了中国科技成果转化行业的热词
2026-02-10 18:06:00
中国消费者报北京讯(记者吴博峰)记者近日从江苏省储能行业协会获悉,即将于今年5月举办的CESC2026第四届储能大会主论坛将汇聚行业各方人士
2026-02-10 18:33:00
中国消费者报报道(记者何永鹏)近日,由市场监管总局发展研究中心、中国社会科学院财经战略研究院课题组联合完成的《2025直播电商行业发展白皮书》(以下简称《白皮书》)正式发布
2026-02-10 19:03:00
2025年池州市累计完成以旧换新交易11.24万笔 带动社会消费22.6亿元
大皖新闻讯 记者从2月9日召开的池州市提质增效实施消费品以旧换新政策新闻发布会上获悉,2025年,池州市累计完成消费品以旧换新交易11
2026-02-10 18:14:00
记者今天(2月10日)了解到,市场监管总局(国家标准委)批准发布一批重要国家标准。在新兴领域方面,发布脑机接口、数字孪生等5项国家标准
2026-02-10 14:15:00
滨州移动科技赋能年货盛会 铸就网络保障新典范
鲁网2月10日讯2026年2月6日至8日,“购在中国·2026滨州迎新春消费季暨乐购滨州年货大集”在滨州市全民健康文化中心体育场南广场盛大举办
2026-02-10 15:09:00
西北工业大学科研团队在脑机接口关键领域取得新突破
想象一下,当瘫痪者用意念操控机械臂,稳稳端起水杯;当失语者的思维被直接“翻译”成流畅语音;当帕金森患者的颤抖经神经调控逐渐平息……这些曾出现在科幻电影里的场景
2026-02-10 16:06:00
创新潮涌!温州乐清科技创新指数连续八年领跑全省
日前,位于温州乐清北白象镇中方智能园区的温州合力自动化仪表有限公司,成功研发出AI智能物联直行程电动执行器。作为流体控制领域的领军企业
2026-02-10 16:20:00
诺特兰德公益创新获认可,一举摘得公益节三项荣誉
鲁网2月10日讯1月22日至23日,第十五届公益节暨2025ESG影响力年会在北京举行。全球膳食营养品牌诺特兰德凭借其在公益领域的持续深耕与创新实践
2026-02-10 16:22:00
中国消费者报重庆讯(记者刘文新)2月6日,重庆举行低空经济重大成果发布会,发布《重庆市低空装备产业链产品名录》(2025版)
2026-02-10 16:03:00
中交一航局二公司检测中心研发一款基于若依结构的档案管理系统
鲁网2月10日讯近日,中交一航局二公司检测中心研发一款基于若依结构的档案管理系统,该系统依托若依架构精准破解行业痛点,集成RBAC权限管控
2026-02-10 15:09:00