- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
上海人工智能实验室公布首个ai高考全卷评测结果
6月20日消息，上海人工智能实验室19日公布了首个AI高考全卷评测结果。据介绍，2024年全国高考甫一结束，该实验室旗下司南评测体系OpenCompass选取6个开源模型及GPT-4o进行高考“语数外”全卷能力测试。
评测采用全国新课标I卷，参与评测的所有开源模型开源时间均早于高考，确保评测“闭卷”性。同时，成绩由具有高考评卷经验的教师人工评判，更加接近真实阅卷标准。
该机构表示，Qwen2-72B、GPT-4o及书生・浦语2.0文曲星（InternLM2-20B-WQX）成为本次大模型高考的前三甲，得分率均超过70%。大部分模型“考生”语文、英语科目表现良好，但数学方面仍有很大提升空间。
具体来看，InternLM2-20B-WQX取得了数学单科的最高分，超越包括GPT-4o在内的所有模型。
IT之家注：此次参与“大模型高考”评测的产品包含GPT-4o及其他6个模型。为公平起见，此次评测没有纳入商用闭源模型。
Mixtral8x22B：法国AI创业公司Mistral于2024年4月17日开源的对话模型。
Yi-1.5-34B：零一万物公司于2024年5月12日开源的Yi-1.5系列最大的模型。
GLM-4-9B：智谱AI于2024年6月4日推出的最新一代预训练模型GLM-4系列的开源版本。
InternLM2-20B-WQX：上海人工智能实验室于2024年6月4日开源的书生・浦语2.0系列文曲星大语言模型。
Qwen2-57B：阿里巴巴于2024年6月6日开源的Qwen2系列MoE对话模型。
Qwen2-72B：阿里巴巴于2024年6月6日开源的72B稠密模型。
语数外三科加起来的满分为420分，此次高考测试结果显示，阿里通义千问2-72B排名第一，为303分，OpenAI的GPT-4o排名第二，得分296分，上海人工智能实验室的书生・浦语2.0排名第三，三个大模型的得分率均超过70%。来自法国大模型初创公司的Mistral排名末尾，仅拿下185分。
数学是所有大模型的短板，平均得分率仅有36%，参与测试的大模型无一及格。
此外，阅卷教师也对大模型表现进行了整体分析，为模型能力提升策略提供参考。
语文
模型的现代文阅读理解能力普遍较强，但是不同模型的文言文阅读理解能力差距较大。
大模型作文更像问答题，虽然有针对性但缺乏修饰，几乎不存在人类考生都会使用举例论证、引用论证、名人名言和人物素材等手法。
多数模型无法理解“本体”“喻体”“暗喻”等语文概念。语言中的一些“潜台词”，大模型尚无法完全理解。
数学
大模型的主观题回答相对凌乱，且过程具有迷惑性，甚至出现过程错误但得到正确答案的情况。
大模型的公式记忆能力较强，但是无法在解题过程中灵活引用。
英语
英语整体表现良好，但部分模型由于不适应题型，在七选五、完形填空等题型得分率较低。
大模型英语作文普遍存在因超出字数限制而扣分的情况，而人类考生多因为字数不够扣分。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-06-20 12:45:03
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
