• 我的订阅
  • 科技

20款国产大模型角逐“最强王者”

类别:科技 发布时间:2024-06-02 05:34:00 来源:每日看点快看

本文转自:解放日报

20款国产大模型角逐“最强王者”

查睿

本报记者 查睿

近日,上海人工智能实验室联合魔搭社区推出中国大语言模型评测竞技场Compass Arena,首度集齐国内主流大模型全阵容,阿里通义千问、百度文心一言、腾讯混元、字节跳动豆包、书生·浦语等20款国产大模型出战,角逐中国大模型“最强王者”。

当下,“百模大战”厮杀正酣,各类榜单也层出不穷,其中国际开放研究组织LMSYS Org(Large Model Systems Organization)推出的大模型竞技场Chatbot Arena,已成为海外最具公信力的大模型竞技场之一,遗憾的是该竞技场中文化程度相对不足。为此,Compass Arena的推出将有效填补这一领域的空白。

相比考题固定的传统测评,中国大语言模型评测竞技场Compass Arena采用盲测、开放的测评模式,可以更全面地检验模型实力。Compass Arena设置了随机、匿名对战,大模型选手们成为“蒙面唱将”,模型信息隐去后,由系统随机匹配进行PK,用户可以天马行空自由出题,并作为评委主观评判和投票。如果大模型不小心“自报家门”,则对话被过滤,不计入成绩。通过成千上万轮PK挑战和用户投票,系统将对大模型进行自动排名。

Compass Arena由上海人工智能实验室OpenCompass司南评测体系与魔搭社区联合建设,前者负责组织评测,后者负责开源模型引入及社区打造。与Chatbot Arena相比,Compass Arena更聚焦中文大模型,主流国产大模型全覆盖,同时评测用户大多使用中文,可以充分评估国产大模型的性能。

目前,Compass Arena已汇聚超20款商业及社区模型,包括Qwen-Max、ERNIE-4.0-8K、Spark3.5 Max、Abab6.5、GLM4等国内头部厂商的旗舰款大模型,并引入了Llama3、Mixtral等海外标杆模型进行参照。更多模型及厂商还在不断加入中。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-02 11:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

国产大模型竞技场首超GPT-4o!零一万物GLM共同跻身Top10
...式对外发布新旗舰模型——Yi-Lightning(闪电)。在大模型竞技场(Chatbot Arena)上,Yi-Lightning性能直冲总榜单并列第6
2024-10-17 09:48:00
帝都、魔都双双押宝 年底了AI圈居然还有高手
...024-11-19而阶跃的 “ 第二步 ”Step-1V 走的也不错。拿?模型竞技场 Chatbot Arena 的数据来看
2024-12-26 00:36:00
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
【新智元导读】以开源极客之姿杀入江湖的Mistral AI,在9月份甩出了自家的首款多模态大模型Pixtral 12B
2024-11-20 09:43:00
GPT-4o mini登顶大模型竞技场,奥特曼:两个月内微调免费
...刚,GPT-4o mini版迎来“高光时刻”——登顶了lmsys大模型竞技场,和满血版并列第一,还把Claude 3
2024-07-25 09:31:00
起猛了,GPT-4o被谷歌新模型击败,ChatGPT官号:大家深吸一口气
...2000人匿名投票,Gemini 1.5 Pro(0801)代表谷歌首次夺得lmsys竞技场第一。(中文任务也第一)而且这次还是双冠王
2024-08-05 09:36:00
AI界新晋王者被曝抄袭、作弊、做假,脸都丢光了
(id:SouthReviews)原标题 | 他们抄袭,作弊,做假,却宣称超越作者 | 南风窗记者 朱秋雨编辑 | 向由排版 | 菲菲AI大模型大战在2023年爆发后
2023-12-20 00:10:00
...,360 通过 CoE 技术架构,构建了大模型竞技平台——模型竞技场(bot.360.com),目前已经入驻360AI浏览器
2024-09-16 17:42:00
国产模型指令跟随全球第一!来自LeCun亲推的最难作弊LLM新榜单
...而且它登上的这个排行榜LiveBench,虽然现在还没有大模型竞技场(LMSYS Chatboat Arena)那么广为人知
2024-11-22 09:54:00
智源评测体系发布 国内外“百模”评估结果出炉
5月17日,智源研究院举办大模型评测发布会,正式推出智源评测体系,发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。本次智源评测,分别从主观、客观两
2024-05-17 17:26:00
更多关于科技的资讯: