• 我的订阅
  • 科技

刷榜跑分?AI评测不应走偏路线

类别:科技 发布时间:2024-03-22 02:41:00 来源:每日看点快看

本文转自:新华每日电讯“百模大战”以来,AI大模型的部分榜单上出现了一个奇怪现象:长期盘踞在榜单前列的,经常是一些名不见经传的国产大模型,它们竟然以接近满分的优势碾压了ChatGPT、Gemini和其他知名的AI大模型。

之所以令人大跌眼镜,是因为这与大众的实际体验严重不符。不少AI大模型分数名列前茅,实力却不及格。如果说“听不懂答不对、动不动就崩溃”司空见惯,那么更讽刺的是,有的大模型根本没对业界开放,就算大家想感受一下“第一名”的风采都找不到门路。

有人可能会好奇:一些AI大模型“高分低能”是怎么做到的?原因其实很简单,那就是评测中出现了数据污染和泄露。简单来说,榜单排名类似于有第三方“考官”出了一个题库,题库中大量考题针对性测评大模型各个方面的能力,而有的“考生”提前拿到题库,并把答案逐一背了下来。

“考高分”的目的也很明确,那就是投机取巧、炒作包装。业内人士告诉记者,在国内众多大模型激烈竞争、良莠不齐的当下,许多大模型还未在用户之间形成过硬的口碑,离产生世界级影响还有较远的一段路。而评测是直观体现大模型能力的关键方式之一,学术化榜单和市场化榜单都得到了广泛重视,刷榜跑分因此成为一些企业快速吸引眼球的手段。

当然,榜单失真的背后,不只有作弊的“考生”,也可能有徇私的“考官”。业界需要客观、公正、高水准的优质榜单帮助大家慧眼识珠、去伪存真,“考官”如果协助“考生”作弊,无疑会扰乱AI大模型的评测环境。所幸我们看到,部分榜单在遇到刷榜跑分问题后,及时推出补救措施,例如将公开大模型和非公开大模型区分为两张榜单,成功挤出大量非公开大模型的水分。

是金非金焰烈而晓,部分大模型企业一心扑在刷榜跑分上显然走偏了路线。说到底AI大模型的发展还是那句老话,关键核心技术要不来、买不来、讨不来,更包装不来,唯有一步一个脚印,扎扎实实地向前走。

(本报评论员周琳 董雪)

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-03-22 05:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

高途携手微软,AI黑科技赋能大学生产品
...全部再次升级AI,一站式解决听课、答疑、智能推题、考评测学情分析、全真模拟考场环境等关键备考环节,真正帮助同学实现上岸目标。微软GraphRAG技术助力高途考研产品升级在发布
2024-12-26 10:45:00
梦幻西游科举大赛题库上新,谁还不会点健康小常识了!
...终的殿试环节。乡试通过后,玩家需前往建邺城衙门寻找考官参与会试,会试共有20关。每位玩家最多可以参加2轮会试,闯过所有关卡并且用时最短的20位考生将获殿试资格。如果考生在完成
2023-01-26 22:42:00
...业务题 千道考题随机选“大家好,我们是负责本社区的考官,下面开始进行第一项考核……”。7月3日上午9时30分,于洪区迎宾路街道依云首府社区迎来了两位“大考官”。据考官王晓楠介
2023-07-14 03:44:00
...识的掌握情况;思维应变能力则包括整体逻辑思维能力,考官会观察考生是否能举一反三、是否具有发散思维;个人心态即考生是否积极阳光,是否中立不偏激,是否具备一定抗压能力和临场应变能
2023-01-18 07:06:00
...步:进场后问好;通常来说会有5-8位老师问考生问题(主考官+副考官+记录员),坐中间的一般是主考官。见面记得问老师们好,落落大方留下好的初印象。第三步:提问作答;一般会先让考
2024-02-20 19:34:00
...大模型技术哪家强”的讨论不绝于耳,各色名目的大模型评测应运而生。作为国内最权威的考试之一,高考覆盖各类学科及题型,同时在开考前这些题属于“绝密”,非常适合用来作为考查大模型智
2024-06-26 07:26:00
科大讯飞申请口语评测专利,口语评测结果更准确
...局信息显示,科大讯飞股份有限公司申请一项名为“口语评测方法、装置、相关设备及计算机程序产品”的专利,公开号 CN119942858A
2025-05-10 10:28:00
首个AI高考全卷评测结果发布:数学全都不及格
6月19日,上海人工智能实验室发布首个AI高考全卷评测结果,月初开源的阿里通义千问大模型Qwen2-72B排名第一,在语数外三科420分的满分中获得303分
2024-06-20 11:10:00
首个AI高考全卷评测结果发布:最高分303,数学全不及格
...平。在前不久高考结束后,上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试
2024-06-24 09:22:00
更多关于科技的资讯:
“安徽省电竞产业研究合作基地”聘任10名顾问
大皖新闻讯 2025年11月16日,安徽电竞创新发展大会在合肥举行。汇聚来自政府部门、行业协会、知名企业及高校的众多嘉宾
2025-11-17 09:24:00
为进一步提升网点服务能力与柜员专业素养,夯实业务基础,打造有温度的金融服务,近日,邮储银行唐山市分行组织开展了“星暖燕赵 星星闪耀”星级柜员竞赛活动
2025-11-17 10:07:00
张家口农商银行宣泰支行打破传统服务边界,以“线上服务提质、直播互动破圈、短视频赋能”为抓手,将便捷与温度融入数字金融场景
2025-11-17 10:11:00
阿里全力进军AI to C市场 千问APP上线公测
11月17日,阿里巴巴正式宣布“千问”项目,全力进军AI to C市场。当天,千问APP公测版上线,基于全球性能第一的开源模型Qwen3
2025-11-17 11:08:00
中新经纬11月17日电 据韩联社报道,三星集团将在未来五年对本土科学研究与试验发展等领域共投资450万亿韩元(约合人民币2
2025-11-17 11:48:00
近日,南都湾财社记者注意到,因为小天才电话手表社交圈的流行,已经产生了相应的产业链——加好友、冲点赞、买“靓号”、卖“高粉”账号
2025-11-17 12:04:00
“25岁,我勇敢从大厂裸辞”“37岁年薪百万,却主动告别互联网大厂”“离开大厂两年,我活成了想要的样子”……近来,“大厂离职”话题在社交平台持续升温
2025-11-17 12:05:00
潍坊联通圆满完成2025潍坊企业家大会通信保障任务
鲁网11月17日讯在第6个潍坊市 “企业家日”到来之际,2025潍坊企业家大会于11月1日隆重召开,主会场设在富华国际会议中心
2025-11-17 14:33:00
蓝盾出击!一场与病毒的闪电战——记潍坊联通快速响应团队的72小时攻坚
鲁网11月17日讯2025年10月21日下午,一阵急促的电话铃声在某单位响起,揭开了与病毒赛跑的序幕。“系统异常!多台办公电脑感染未知病毒
2025-11-17 14:34:00
安谋科技Arm China发布“周易”X3 NPU IP,破局AI算力勾勒智能未来全景图
2025年11月13日,国内领先的芯片IP设计与服务提供商安谋科技Arm China,正式揭开了新一代NPU IP“周易”X3的神秘面纱
2025-11-17 14:35:00
凯盛浩丰集团创新人力资源管理斩获北森2025AI应用先锋奖
鲁网11月17日讯近日,凯盛浩丰集团凭借人力资源领域的AI创新实践,斩获“北森2025AI应用先锋奖”。通过将AI技术融入招聘
2025-11-17 14:35:00
2026亚洲100必打卡榜目的地!福州入选
日前,携程正式发布口碑榜2026年度榜单,福州入选“2026亚洲100目的地榜”“2026中国100目的地榜”两个榜单
2025-11-17 15:20:00
当“工业硬核”遇见“健康温度”:如新在一汽开放日奏响家企健康新乐章
鲁网11月17日讯11月15日的青岛,寒意初显,但一汽解放青岛汽车有限公司的即墨厂区内却暖流涌动。一场名为“扬帆家年华·领航新乐章”的2025员工家属开放日暨员工音乐节正在这里温情上演
2025-11-17 15:45:00
2025年中共中央、国务院印发的《教育强国建设规划纲要(2024-2035年)》指出要全面推进智能化,促进人工智能助力教育变革
2025-11-17 16:28:00
吉林“智造”再启航:长光卫星三颗新星成功出征!
2025年11月17日,在吉林省航天信息产业园,长光卫星技术股份有限公司隆重举行了“瑶海科创号”、“电力工程号B星”及“吉星”高分07B01星三颗卫星的出征仪式
2025-11-17 16:36:00