• 我的订阅
  • 科技

北京智源发布悟道3.0大模型系列

类别:科技 发布时间:2023-06-10 21:58:00 来源:浅语科技

6月10日消息,在“2023北京智源大会”上,北京智源人工智能研究院发布悟道3.0大模型系列,包含悟道・天鹰(Aquila)语言大模型系列、“天秤(FlagEval)”大语言评测体系及开放平台以及悟道・视界视觉大模型系列。

北京智源发布悟道3.0大模型系列

附详细内容:

悟道・天鹰Aquila语言大模型是第一个中英文双语大模型,支持商用、符合数据合规要求,在中英高质量合规的语料数据库基础上从零开始训练。这次发布了该系列模型中的 7B、33B和AquilaChat对话模型,即70亿参数、330亿参数的基础模型,AquilaCode文本代码生成模型。

北京智源发布悟道3.0大模型系列

7B、33B在技术上继承了GPT-3、LLaMA等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的tokenizer,升级了BMTrain并行训练方法,在Aquila的训练过程中实现了比Magtron+DeepSpeedZeRO-2将近8倍的训练效率。

AquilaCode-7B代码模型,是基于Aquila-7B基础模式的代码模型,它也是7B(70亿参数),用小数据集、小参数量实现了高性能,支持中英双语。

大语言模型评测体系“天秤”在能力、任务、指标三个维度上建立了全方位的评测体系,包括30多种能力,加上5种任务,再乘以4大类的指标,总共差不多600维的评测体系。目前天秤开源大模型评测体系已经面向公众开放注册申请。在硬件方面支持英伟达、华为的昇腾、寒武纪、昆仑芯等多种芯片架构,以及PyTorch等多种深度学习框架。

北京智源发布悟道3.0大模型系列

北京智源发布悟道3.0大模型系列

北京智源发布悟道3.0大模型系列

视觉大模型方面,智源大会公布了在多模态序列中补全一切的多模态大模型Emu、最强十亿级视觉基础模型EVA、性能最强开源CLIP模型EVA-CLIP、首创了上下文图像学习技术路径的通用视觉模型Painter、分割一切的视界通用分割模型、以及首个零样本视频编辑方法vid2vid-zero等成果。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-06-10 23:45:06

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

用模型进化模型,智源发布开源套装;大模型带不来AGI,LeCun提出三大挑战 | 最前线
文 | 周鑫雨编辑 | 邓咏仪大模型的下一站是通用人工智能(AGI)吗?在6月9日开幕的智源大会上,来自中美两国AI领域的顶尖人才们围绕着大模型和AGI的未来进行了讨论。由于非营
2023-06-10 13:09:00
...真“悟道3.0”大模型系列发布 6月9日,为期两天的 “北京智源大会”在中关村国家自主创新示范区会议中心开幕。科技部副部长吴朝晖、北京市副市长于英杰出席开幕式并致辞。北
2023-06-27 00:19:00
中国最强AI研究院的大模型为何迟到了
...会的话题之一——开源大模型。6月9日,2023年智源大会在北京举行,座无虚席。在大会现场,“算力”、“大模型”“生态”等与AI相关的词时不时出现在参会者的聊天中,还有这个产业
2023-06-11 16:00:00
智源评测体系发布 国内外“百模”评估结果出炉
...图表的理解能力不足,大模型未来有很大的提升空间。 北京市海淀区教师进修学校校长姚守梅在解读大模型K12学科测试结果时指出,在语文、历史等人文学科的考试中,模型欠缺对文字背后
2024-05-17 17:26:00
...作文题“答案与问题”、新课标II卷“抵达未知之境”、北京高考(1)(2)卷的作文题“历久弥新”和“打开”等题目,文心一言、讯飞星火等多家大模型产品纷纷化身“写手”,并交出“作
2024-06-26 07:26:00
全球几十种大模型评测,如何甄别可信度?
...觉中国蓝鲸新闻12月20日讯(记者 武静静)要衡量一个大模型能力是否够强,评测是最直接的维度。大模型评测就是为大模型的一场“考试”,从不同大模型的表现中,不仅可以衡量现有技术
2024-12-23 13:44:00
东方财富董事长其实:建议进一步推动股权投资支持科技创新
...了工业制造、民生服务等四大领域典型应用的项目申报。北京、上海、深圳等部分地区亦陆续开展了大模型应用场景需求及解决方案的征集工作。在此经验基础上,其实建议由工信部牵头,进一步面
2024-03-07 17:31:00
AI潮起 共筑数智之基
...才等特色要素形成的AI+融合创新应用孵化平台。率先发布北京、山东、福建、湖北四大模型产业创新基地,已有东风汽车、三峡集团、齐鲁制药、东龙针纺等超10家行业龙头首批入驻。发布多
2024-05-25 07:21:00
...合作,共同推动技术产业创新发展。当天,中国信通院与北京智源研究院、天津大学等联合发布了大模型评测体系3.0,暨“方升”大模型基准测试体系。据介绍,测试指标重点强化行业和场景导
2023-12-26 17:41:00
更多关于科技的资讯: