• 我的订阅
  • 科技

智源研究院发布FlagEval“百模”评测结果

类别:科技 发布时间:2024-12-20 11:22:00 来源:中国经济网

智源研究院发布FlagEval“百模”评测结果

12月19日,智源研究院发布并解读国内外100余个开源和商业闭源的语言、视觉语言、文生图、文生视频、语音语言大模型综合及专项评测结果。

智源评测发现,2024年下半年大模型发展更聚焦综合能力提升与实际应用。多模态模型发展迅速,涌现了不少新的厂商与新模型,语言模型发展相对放缓。模型开源生态中,除了持续坚定开源的海内外机构,还出现了新的开源贡献者。

语言模型,针对一般中文场景的开放式问答或者生成任务,模型能力已趋于饱和稳定,但是复杂场景任务的表现,国内头部语言模型仍然与国际一流水平存在显著差距。语言模型主观评测重点考察模型中文能力,结果显示字节跳动Doubao-pro-32k-preview、百度ERNIE 4.0 Turbo位居第一、第二,OpenAI o1-preview-2024-09-12、Anthropic Claude-3-5-sonnet-20241022位列第三、第四,阿里巴巴Qwen-Max-0919排名第五;在语言模型客观评测中,OpenAI o1-mini-2024-09-12、Google Gemini-1.5-pro-latest 位列第一、第二,阿里巴巴Qwen-max-0919、字节跳动Doubao-pro-32k-preview位居第三、第四,Meta Llama-3.3-70B-Instruct排名前五。

视觉语言多模态模型,虽然开源模型架构趋同(语言塔+视觉塔),但表现不一,其中较好的开源模型在图文理解任务上正在缩小与头部闭源模型的能力差距,而长尾视觉知识与文字识别以及复杂图文数据分析能力仍有提升空间。评测结果显示,OpenAI GPT-4o-2024-11-20与字节跳动Doubao-Pro-Vision-32k-241028先后领先于Anthropic Claude-3-5-sonnet-20241022,阿里巴巴Qwen2-VL-72B-Instruct和Google Gemini-1.5-Pro紧随其后。

文生图多模态模型,今年上半年参评的模型普遍无法生成正确的中文文字,但此次参评的头部模型已经具备中文文字生成能力,但整体普遍存在复杂场景人物变形的情况,针对常识或知识性推理任务,小于3的数量关系任务表现有所提升,大于3的数量关系依然无法处理,涉及中国文化和古诗词理解的场景对于模型而言是不小的挑战。评测结果显示,腾讯Hunyuan Image位列第一,字节跳动Doubao image v2.1、Ideogram 2.0分居第二、第三,OpenAI DALL·E 3、快手可图次之。

文生视频多模态模型,画质进一步提升,动态性更强,镜头语言更丰富,专场更流畅,但普遍存在大幅度动作变形,无法理解物理规律,物体消失、闪现、穿模的情况。评测结果显示,快手可灵1.5(高品质)、字节跳动即梦 P2.0 pro、爱诗科技PixVerse V3、MiniMax 海螺AI、Pika 1.5位列前五。

语音语言模型,得益于文本大模型的进步,能力提升巨大,覆盖面更全,但在具体任务上与专家模型还存在一定差距,整体而言,性能好、通用能力强的开源语音语言模型偏少。专项评测结果显示,阿里巴巴Qwen2-Audio位居第一,香港中文大学&微软WavLLM、清华大学&字节跳动Salmon位列第二、第三,Nvidia Audio-Flamingo,MIT & IBM LTU均进入前五。

智源研究院副院长兼总工程师林咏华在评测发布会上表示,FlagEval评测体系一直坚守科学、权威、公正、开放的准则,通过技术方法平台持续创新,打造丈量模型能力的标尺,为大模型技术生态发展提供洞察。2025年,FlagEval评测体系的发展将进一步探索动态评测与多任务能力评估体系,以评测为标尺感知大模型的发展趋势。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-12-20 15:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

智源评测体系发布 国内外“百模”评估结果出炉
...140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。本次智源评测,分别从主观、客观两个维度考察了语言模型的简单理解、知识运用、推理能力、数学能力、代码能力、任务解
2024-05-17 17:26:00
全球几十种大模型评测,如何甄别可信度?
...中使用这些数据,从而让模型对测试内容有所准备,导致评测结果不能真实反映模型的能力。更有甚者会针对特定评测数据集进行过度拟合,使得模型在这个特定的数据集上表现得非常好,但在实际
2024-12-23 13:44:00
...度和广度。此外,缺乏统一的评测标准,也让不同机构的评测结果缺乏可比性。林咏华在谈及这一问题时表示,“评测体系的开放性和科学性是关键,要实现统一标准,仍需克服多方利益博弈的障碍
2024-12-26 21:56:00
AI安全守护计划启动!信通院牵头,AIIA安全治理委员会发布三类模型安全评测
...情况,并启动了AI安全守护计划,发布了三大类别的安全评测结果。AIIA安全治理委员会成立于2023年12月底,经过半年运营,现有治理组、安全组两个工作组,近百家单位加入,主任
2024-07-25 09:26:00
港中文团队提出大模型元推理范式,革新大模型的评价体系
...计意义思考不足,起码会带来以下几个潜在危害:其一,评测结果能否真实反映大模型的能力?如果对此认识不足,往往会过分夸大模型的效果。其二,会让人以为指标的提升,等价于大模型能力的
2024-03-04 10:23:00
大模型权威报告:讯飞星火得分第一
...、物理、医学5个二级分类,题型上以单选和简答为主。评测结果中,讯飞星火78.50%的得分率排名第一。另外,讯飞星火在理科综合大类下80%的二级分类评测中得分率为第一,化学与生
2023-08-18 09:35:00
AI大模型“国标”首批测试结果公布,人工智能成市场新焦点
...达到国家相关标准。该测试由工信部中国电子技术标准化研究院发起,从大模型的通用性、智能性、安全性等多个维度开展,涵盖语言、语音、视觉等多模态领域,旨在建立大模型标准符合性名录,
2023-12-26 14:16:00
国内首个官方“大模型标准符合性评测”公布
...介绍,“大模型标准符合性评测”由中国电子技术标准化研究院发起,旨在建立中国大模型标准符合性名录,引领人工智能产业健康有序发展。该评测对外征集了学术界、产业界几十家头部单位意见
2023-12-23 15:09:00
国家大模型标准测试结果公布 首批仅四家企业产品通过
...业大模型产品通过。该测试由工信部中国电子技术标准化研究院(简称“工信部电子标准院”)发起,评测围绕多领域多维度模型评测框架与指标体系,从大模型的通用性、智能性、安全性等维度开
2023-12-23 15:02:00
更多关于科技的资讯:
河北日报讯(记者刘英、刘杰)近日,经省科技厅批准,由廊坊润泽科技发展有限公司牵头组建的省级创新联合体——河北省人工智能创新联合体成立
2025-10-27 08:07:00
厦门网讯 (厦门日报记者 薛尧) “品牌金饰每克突破1100元,自己买工具打首饰能省近一半!”近日,受国际金价持续震荡
2025-10-25 08:13:00
南报网讯(记者何洁)10月22日至24日,由《自然》系列期刊编辑部和南京大学及中国生物物理学会联合主办的首届“人工智能生物学”国际学术会议在南京举行
2025-10-25 08:53:00
近日,胜利石油工程公司管具技术服务中心井控装置试压泵保压阀成功实现部件自主化维修,彻底改变以往依赖外部采购的被动局面。这次突破
2025-10-25 09:27:00
春雪食品斩获IDC未来企业大奖
近日,第十届IDC中国CIO峰会在上海落幕。莱阳春雪食品集团以数字化重塑全产业链的硬核实践,荣获“IDC未来企业大奖-卓越奖”
2025-10-25 12:55:00
AI搜索流量占比突破45%的2025年,头部GEO服务商正以技术代差重塑市场格局,这份基于1200+企业实战数据的白皮书
2025-10-25 14:27:00
抗衰冻龄选对成分是关键!2025全球五大麦角硫因品牌深度测评&选购指南
衰老的本质是细胞层面的多维损伤叠加 —— 自由基氧化、线粒体功能衰退、DNA 修复能力下降等机制相互交织,单一成分干预早已无法满足科学抗衰需求
2025-10-25 14:29:00
深耕眼科近30载,菏泽摘镜“标杆”王丽霞院长解说全飞秒4.0
通讯员 任兆潘在菏泽近视矫正领域,王丽霞院长的名字早已成为 “专业” 与 “放心” 的代名词。作为菏泽华厦眼科医院业务副院长
2025-10-25 14:39:00
“赞上合、聚天马,展风采,新体验”,2025天津马拉松将于10月26日鸣枪起跑。10月26日6:55至10:25,天津海河传媒中心《奔跑吧
2025-10-25 15:26:00
星光不负,码向未来 ———选择鸿蒙的800万种可能
摘要:每一位开发者都在用自己的方式点亮属于自己那颗星在这个追求效率的时代,技术的温度,正藏身于那些被巧妙化解的日常困境里
2025-10-25 15:44:00
同程旅行完成收购万达酒管,专业商旅平台成就“更高端”的出行体验
近日,同程旅行宣布完成对万达酒店管理公司的战略收购。这次收购远不止于简单的资源叠加,而是OTA乃至商旅服务生态的一次战略性升级
2025-10-25 15:45:00
可信数据空间新产品新服务新生态发布会在杭州中国数谷举行
2025年10月22日,“可信数据空间新产品·新服务·新生态发布会”在杭州中国数谷会议中心隆重举行。大会由北京燕元数联网络科技有限公司
2025-10-25 15:47:00
10月24日,我省首个脑机接口临床研究中心在山医大一院成立。山西医科大学将与清华海峡研究院协同创新中心在脑机接口这一前沿项目方面展开深入合作
2025-10-25 19:08:00
据第三方权威数据显示,2025年头部与尾部GEO服务商的效果差距已达430%,而企业更换服务商的平均成本高达首年投入的150%
2025-10-25 21:10:00
中山路地标\
印有MINISO LAND品牌标识的围挡。厦门网讯(厦门日报记者 沈彦彦)在厦门本岛中山路西段核心区域,一块印满时尚IP(原意为知识产权
2025-10-26 08:59:00