• 我的订阅
  • 科技

国产ai大模型首批评估名单公布

类别:科技 发布时间:2024-06-12 09:54:00 来源:浅语科技

6月11日消息,中国信息通信研究院公布了可信AI代码大模型评估的首轮评估名单,阿里云通义灵码、华为云盘古、智谱codegeex等国产AI大模型均入选并首批通过。

此次大模型评估以《智能化软件工程技术和应用要求第1部分:代码大模型》标准为依据,围绕通用能力、专用场景能力、应用成熟度,为模型能力提升和企业选型提供规范性参考。

国产ai大模型首批评估名单公布

IT之家注:《智能化软件工程技术和应用要求第1部分:代码大模型》(标准编号AIIA/PG0110-2023)标准于2024年1月25日正式发布,该标准由中国信通院与中国工商银行联合牵头发起,涵盖通用能力、专用场景能力和应用成熟度三大部分,包括100多个能力要求。

此次验证,依据标准开展,评价指标覆盖6大通用能力场景、7大专用能力场景、3大服务成熟度,多维度验证研发大模型在研发场景能力和人效优化效果方面的场景丰富度,重点考察研发大模型在代码理解、代码生成和补全、研发问答、单元测试用例生成等方面的能力支持度,全方位评估研发大模型在数据合规性、模型成熟度、服务成熟度方面的应用成熟度。

目前,华为云盘古大模型、智谱CodeGeeX代码大模型、阿里云AI编程助手通义灵码、中国电信星辰政务大模型等首批通过评估,并在全部100多个能力评估中表现优秀,获得4+评级。

国产ai大模型首批评估名单公布

国产ai大模型首批评估名单公布

以阿里云通义灵码为例,信通院评测结果显示:

在通用能力方面,通义灵码在代码转换、代码检查及修复、代码优化等方面表现突出;

在专用场景方面,通义灵码提供网站开发、数据库开发、大数据开发、嵌入式开发等多个场景支持能力;

在应用成熟度方面,通义灵码具备较完善的数据合规及数据分类分级机制,且模型稳定性及可维护性表现优异,在模型推理性能、模型服务风险可控性等方面均表现优秀。

公开资料显示,AI代码大模型首轮评估于今年3月启动,主要面向适用于金融、科技、互联网、电信、软件等各行业,生产、使用或计划使用代码大模型的企业,评估结果旨在为模型厂商提供代码大模型能力的评价和指导标准,以及为模型应用方提供有效衡量其能力水平的标准依据。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-12 12:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

来了!百度文心一言今起全面开放,首批国产大模型将正式上线,字节、商汤等在列!
...为全球大厂中首个发布的生成式AI产品,文心一言的基础模型文心大模型早在2019年就在国内率先发布,近期升级的文心大模型3.5也持续在十余个国内外权威测评中位居第一。百度创始人
2023-08-31 16:47:00
本文转自:重庆晨报6月12日,IDC发布《中国大模型市场主流产品评估,2024》,从基础能力到应用能力7大维度对11家大模型厂商的16款市场主流产品进行实测。结果显示商汤日日新5
2024-06-15 00:15:00
智源评测体系发布 国内外“百模”评估结果出炉
5月17日,智源研究院举办大模型评测发布会,正式推出智源评测体系,发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。本次智源评测,分别从主观、客观两
2024-05-17 17:26:00
国产模型指令跟随全球第一!来自LeCun亲推的最难作弊LLM新榜单
What???一直低调行事的国内初创公司,旗下模型悄悄地跃升成国内第一、世界第五(仅排在o1系列和Claude 3.5之后)
2024-11-22 09:54:00
北京经开区:加快打造AI原生产业创新高地,每年发放1亿元...
...人工智能产业生态。培育性能达到国际先进水平的通用大模型,打造人工智能标杆应用场景10个,集聚人工智能产业链企业100家
2024-03-29 16:42:00
报告:国产AI大模型“在工作提效方面优势明显”
...华社研究院中国企业发展研究中心近日发布《人工智能大模型体验报告2.0》(以下简称《报告》)。讯飞星火大模型以总分1013分位列本次国产主流大模型测评榜首位,《报告》认为其“在
2023-08-15 13:57:00
大模型权威报告:讯飞星火得分第一
...息(记者徐鹏)《麻省理工科技评论》中国最新发布的大模型评测报告显示,在8个一级大类的600道题目的测试和盲评中,讯飞星火认知大模型V2.0在6个大类中得分率排名第一,在此次评
2023-08-18 09:35:00
数据要素×工业制造:光纤通信企业携手奇点云,攻克“国产替代”迁移难关
...分,有问题可快速定位到对应的业务系统。·  CDM(公共模型层),负责数据的清洗、转换、整合和计算,按业务领域,构建面向分析的业务过程通用模型。实际拆分为销售域、财务域、生产
2024-03-19 11:18:00
中兴通讯“星云研发大模型”亮相,正式入局大模型
中兴通讯“星云研发大模型”亮相,正式入局大模型 2023年是业内公认的“AI大模型爆发元年”,在ChatGPT带动下,被称为AI产业“超级大脑”的大模型成为全球热点,它作为产业新
2023-10-12 16:08:00
更多关于科技的资讯: