• 我的订阅
  • 科技

清华发布2024年3月版《SuperBench大模型综合能力评测报告》

类别:科技 发布时间:2024-04-22 09:46:00 来源:每日看点快看

本文转自:新华网

最近,由清华大学基础模型研究中心联合中关村实验室研制的SuperBench大模型综合能力评测框架,正式对外发布2024年3月版《SuperBench大模型综合能力评测报告》。评测共包含了14个海内外具有代表性的模型,结果显示:文心一言4.0表现亮眼。

清华发布2024年3月版《SuperBench大模型综合能力评测报告》

例如在人类对齐能力评测中,文心一言4.0表现优异,位居国内第一,其中在中文推理、中文语言等评测上,文心一言遥遥领先,和其他模型拉开明显差距,中文理解上,文心一言4.0领先优势明显,领先第二名GLM-4 0.41分,GPT-4系列模型表现较差,排在中下游,并且和第一名文心一言4.0分差超过1分。

清华发布2024年3月版《SuperBench大模型综合能力评测报告》

在语义理解中的数学能力上,文心一言4.0与Claude-3并列全球第一; GPT-4系列模型位列第四五,其他模型得分在55分附近较为集中,明显落后第一梯队;而在语义理解中的阅读理解能力上,文心一言4.0超过GPT-4 Turbo、Claude-3以及GLM-4拿下榜首。

而在企业选择大模型最看重的安全性评测上,国内模型文心一言4.0表现亮眼,拿下最高分(89.1分),Claude-3仅列第四。

清华发布2024年3月版《SuperBench大模型综合能力评测报告》

自去年3月16日文心一言首发至今,用户数已突破2亿,每天API调用量也突破了2亿。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-04-22 12:45:29

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

“整活”保险业务,AI大模型哪家强?
...险行业?10月10日发布的《人工智能大模型保险行业应用评测报告》(以下简称《报告》)便揭晓了答案。根据《报告》,10个主流大模型在知识问答领域表现普遍较好,在智能核保、智能理
2023-10-10 17:56:00
大模型权威报告:讯飞星火得分第一
...记者徐鹏)《麻省理工科技评论》中国最新发布的大模型评测报告显示,在8个一级大类的600道题目的测试和盲评中,讯飞星火认知大模型V2.0在6个大类中得分率排名第一,在此次评测中
2023-08-18 09:35:00
月狐数据发布中国市场首份《AIGC应用app智能化评测报告》
...上技术迭代的步伐,月狐数据发布《2023 AIGC应用app智能化评测报告》,该报告为中国市场首份围绕AIGC应用app的智能化水平以及智能体能力的专业测评报告
2024-03-14 17:06:00
新华社联合北大发布AI大模型评测:安全可靠成重点,360智脑表现优异
...新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告2.0》(以下简称“报告”)显示,当前中国大模型产品进步显著,360智脑、智谱ChatGLM等表现抢眼。其中36
2023-08-14 11:35:00
清华郑纬民院士:AI for Science的出现,让高性能计算与AI的融合成为刚需|MEET2023
...机遇共存交织的当下,这一领域泰斗 中国工程院院士、清华大学计算机科学与技术系郑纬民,在 MEET2023智能未来大会上
2023-01-11 05:00:00
中国信通院发布大模型安全基准测试报告 360智脑综合排名第一
...本文转自:中国新闻网近日,中国信息通信研究院发布大模型安全基准测试AI Safety Bench 2024年Q1的首轮测评报告(下称“测评报告”)
2024-04-10 20:16:00
智慧芽AI助手“芽仔”:你的智能研发专家,开启创新新范式
...新能源汽车、半导体等50多个高科技行业。国内客户包括清华大学、北京大学、中科院、中国石化、海尔、美的、小米、宁德时代、小鹏汽车、大疆、药明康德、商汤科技、华大等;国际客户包括
2024-03-21 16:15:00
...布)在评估 GEO 服务商时,通过可量化指标构建综合能力模型,企业选型需优先参考以下核心维度,其中PureblueAI 清蓝在多维度中表现突出,成为评测中的标杆案例:技术实力
2025-10-24 10:43:00
...报记者 赵广立2024年全国高考的“硝烟”刚刚散去,“大模型考生”就被抓回来重新“做题”了。市面上涌现出的大模型产品让人眼花缭乱,围绕“大模型技术哪家强”的讨论不绝于耳,各色
2024-06-26 07:26:00
更多关于科技的资讯:
豆包除夕AI互动19亿次 Seedance2.0为春晚提供技术支持
河北新闻网讯(记者 李春炜)2月16日,字节跳动旗下AI助手豆包与央视总台春晚联动,面向全国观众送出10万份科技好礼,并推出多项AI互动玩法
2026-02-17 20:35:00
中新经纬2月17日电 千问App数据显示,春节活动期间,全国超过1.3亿人第一次体验AI购物,说了50亿次“千问帮我”
2026-02-17 14:16:00
新春走基层|港口老司机“秀”新操作
2月16日,秦港股份九公司集控中心操作员曹宏璐在工作中。河北日报记者 张辉摄2月16日,农历除夕。下午2时30分许,随着“航旭鑫海”轮进入秦皇岛港902泊位
2026-02-17 08:53:00
1.3亿人春节首次体验AI购物,千问一跃成为国民级AI助手
2月17日大年初一凌晨,千问发布的数据显示,春节活动期间,全国超过1.3亿人第一次体验AI购物,说了50亿次“千问帮我”
2026-02-17 10:22:00
这一年,杭产机器人忙着进化忙着上岗
宇树机器人化身武林高手亮相春晚“这才一年,太震惊了!”昨晚的央视春晚上,宇树机器人和河南塔沟武术学校带来的《武BOT》一亮相
2026-02-17 07:17:00
新春走基层|总台春晚这条“骐骥驰骋”红色羊绒围巾出自河北品牌
见习记者于歆2026年总台春晚舞台上部分演员及嘉宾佩戴的“骐骥驰骋”红色羊绒围巾,出自河北品牌!由邢台市清河县的河北红太集团生产
2026-02-17 01:36:00
阿里发布千问3.5,性能媲美Gemini 3, Token价格仅为其1/18
2月16日除夕当天,阿里巴巴开源全新一代大模型千问Qwen3.5-Plus,性能媲美Gemini 3 Pro,登顶全球最强开源模型
2026-02-16 17:34:00
海信冰箱联手央视《探班春晚》 用真空保鲜科技“锁住年味”
鲁网2月16日讯2月16日,作为央视新闻新媒体《探班春晚》的独家家电合作伙伴,海信冰箱携真空保鲜科技亮相“春晚会客厅”
2026-02-16 18:47:00
余杭文化“新三样”扬帆 驶向全球文化蓝海
《长安三万里·梦回大唐》获金鸡虚拟现实电影季“年度最佳艺术表现奖”。后亚运时代,杭州如何将因赛会集聚的国际目光,转化为持续的城市发展动能
2026-02-16 11:33:00
北京亦庄与它石智航达成战略合作!共建产业新高地
2026年伊始,具身智能产业持续加速发展。2月14日,北京亦庄与它石智航达成战略合作,双方将在具身智能关键技术攻关、应用落地和产业生态建设方面展开合作
2026-02-16 08:21:00
厦门网讯(厦门日报记者 林露虹)马年春节假期,厦门科技企业的“电子年货”火热上线。在厦门过年,市民和游客可以请AI当导游
2026-02-16 08:40:00
自2025年夏季,京东、美团、阿里等数字平台企业相继开启围绕即时零售市场的激烈争夺。这场“闪购大战”,初期以各方投入“天价补贴”争抢流量而引发社会广泛关注
2026-02-16 08:53:00
马年新春,光景别样。打开手机AI小程序,输入姓名、爱好与新年心愿,一键可生成专属春联。AI深度融入日常生活,无所不在。拥抱AI
2026-02-16 07:39:00
鲁网2月15日讯在人工智能加速重构产业组织形态的背景下,“一人即公司”(OPC)正成为全球创新创业的新范式。2026年2月12日
2026-02-15 20:48:00