• 我的订阅
  • 科技

20款国产大模型角逐“最强王者”

类别:科技 发布时间:2024-06-02 05:34:00 来源:每日看点快看

本文转自:解放日报

20款国产大模型角逐“最强王者”

查睿

本报记者 查睿

近日,上海人工智能实验室联合魔搭社区推出中国大语言模型评测竞技场Compass Arena,首度集齐国内主流大模型全阵容,阿里通义千问、百度文心一言、腾讯混元、字节跳动豆包、书生·浦语等20款国产大模型出战,角逐中国大模型“最强王者”。

当下,“百模大战”厮杀正酣,各类榜单也层出不穷,其中国际开放研究组织LMSYS Org(Large Model Systems Organization)推出的大模型竞技场Chatbot Arena,已成为海外最具公信力的大模型竞技场之一,遗憾的是该竞技场中文化程度相对不足。为此,Compass Arena的推出将有效填补这一领域的空白。

相比考题固定的传统测评,中国大语言模型评测竞技场Compass Arena采用盲测、开放的测评模式,可以更全面地检验模型实力。Compass Arena设置了随机、匿名对战,大模型选手们成为“蒙面唱将”,模型信息隐去后,由系统随机匹配进行PK,用户可以天马行空自由出题,并作为评委主观评判和投票。如果大模型不小心“自报家门”,则对话被过滤,不计入成绩。通过成千上万轮PK挑战和用户投票,系统将对大模型进行自动排名。

Compass Arena由上海人工智能实验室OpenCompass司南评测体系与魔搭社区联合建设,前者负责组织评测,后者负责开源模型引入及社区打造。与Chatbot Arena相比,Compass Arena更聚焦中文大模型,主流国产大模型全覆盖,同时评测用户大多使用中文,可以充分评估国产大模型的性能。

目前,Compass Arena已汇聚超20款商业及社区模型,包括Qwen-Max、ERNIE-4.0-8K、Spark3.5 Max、Abab6.5、GLM4等国内头部厂商的旗舰款大模型,并引入了Llama3、Mixtral等海外标杆模型进行参照。更多模型及厂商还在不断加入中。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-02 11:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

AI界新晋王者被曝抄袭、作弊、做假,脸都丢光了
(id:SouthReviews)原标题 | 他们抄袭,作弊,做假,却宣称超越作者 | 南风窗记者 朱秋雨编辑 | 向由排版 | 菲菲AI大模型大战在2023年爆发后
2023-12-20 00:10:00
智源评测体系发布 国内外“百模”评估结果出炉
5月17日,智源研究院举办大模型评测发布会,正式推出智源评测体系,发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。本次智源评测,分别从主观、客观两
2024-05-17 17:26:00
大模型权威报告:讯飞星火得分第一
...息(记者徐鹏)《麻省理工科技评论》中国最新发布的大模型评测报告显示,在8个一级大类的600道题目的测试和盲评中,讯飞星火认知大模型V2.0在6个大类中得分率排名第一,在此次评
2023-08-18 09:35:00
字节扣子模型广场,给AI大模型搭了一座擂台
...移动App工场。在小雷看来,字节扣子创造性推出的“模型竞技场”其实也是受到A/B测试方法论的启发,让开发者可以更高效地开发Bot,同时帮助所有大模型更快进化,字节扣子正在邀请
2024-06-14 11:40:00
AI大模型也高考?成绩单出来了,星火综合第一
...湘晨报、量子位等多家权威媒体对近10款国产人工智能大模型进行了高考作文、数学、物理三个科目的评测,并公布了成绩。我们来一起回顾一下: 首先进行的是高考作文的评测。在搜狐科技
2024-06-12 09:29:00
阿里云发布通义千问2.5,性能赶超GPT-4 Turbo
...最强大模型。历经一年多追赶,国产大模型终于进入核心竞技场,可与国外一流大模型一较高下。奋力追赶一年,成就最强中文大模型大模型技术爆发一年多,行业竞争态势激烈而又多变。通义千问
2024-05-09 12:00:00
国内首个官方“大模型标准符合性评测”公布
...委员会人工智能分委会全体会议期间,国内首个官方“大模型标准符合性评测”结果公布,腾讯混元大模型、阿里通义千问等大模型成为首批通过评测的四款国产大模型的其中之二。据介绍,“大模
2023-12-23 15:09:00
AI大模型“国标”首批测试结果公布,人工智能成市场新焦点
12月22日,国内首个官方“大模型标准符合性评测”结果公布,百度文心一言、腾讯混元大模型、360智脑、阿里云通义千问四款国产大模型首批通过测试。测试结果称,上述四款模型符合《人工
2023-12-26 14:16:00
零一万物Yi-1.5来了,国产开源大模型排行榜再次刷新
...机器之心编辑部在 OpenAI 发布会的前一天,来自中国的大模型公司零一万物,让开源大模型社区活跃了起来:Yi 大模型家族新成员「Yi-1
2024-05-14 09:56:00
更多关于科技的资讯: