• 我的订阅
  • 科技

Databricks推出目前最强开源 AI

类别:科技 发布时间:2024-04-01 12:06:00 来源:浅语科技

3月31日消息,Databricks近日在推出了一款通用大语言模型DBRX,号称是“目前最强开源AI”,据称在各种基准测试中都超越了“市面上所有的开源模型”。

Databricks推出目前最强开源 AI

从官方新闻稿中得知,DBRX是一个基于Transformer的大语言模型,采用MoE(MixtureofExperts)架构,具备1320亿个参数,并在12TToken的源数据上进行预训练。

研究人员对这款模型进行测试,相较于市场上已有的LLaMA2-70B、Mixtral、Grok-1等开源模型,DBRX在语言理解(MMLU)、程式设计(HumanEval)及数学逻辑(GSM8K)等基准测试上的表现较为突出。官方同时提到,DBRX在上述3项基准测试中也超越了OpenAI的GPT-3.5。

Databricks推出目前最强开源 AI

DatabricksAI部分副总裁NaveenRao向外媒TechCrunch透露,该公司花了两个月及1000万美元的成本来训练DBRX,虽然目前DBRX在整体成绩方面发挥较好,不过目前该模型需要使用4块英伟达H100GPU运行,因此还有待优化空间。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-04-01 18:45:22

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练
...分割、两种负载的物体侦测)、语言(语音识别、大语言模型、自然语言处理)和推荐系统。简单来说,就是由不同的设备供应商提交完成基准任务所需要的时间
2023-06-28 07:00:00
11分钟训完gpt-3,英伟达横扫mlperf8项基准测试
...PT-3的大规模基准测试。MLPerfLLM基准测试是基于OpenAI的GPT-3模型进行的,包含1750亿个参数
2023-06-30 22:24:00
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3
2024-04-19 15:58:00
疯狂一夜!美国AMD、谷歌纷纷亮出大杀器,人类迎来巨变前夜?|钛媒体焦点
...迄今为止功能最强大、最通用的多模态人工智能(AI)大模型:Gemini(中文称“双子座”)。具体来看,谷歌最新发布的Gemini 1
2023-12-07 13:02:00
英伟达h100gpu在mlperf基准测试创造6项新记录
...PT-3的大规模基准测试。MLPerfLLM基准测试是基于OpenAI的GPT-3模型进行的,包含1750亿个参数
2023-11-10 02:18:00
...ng Face 平台中的 NVIDIA DGX Cloud AI 超级计算来训练和调整 AI 模型;与 BOXX、戴尔科技
2023-08-15 01:10:00
11月23日,InflectionAI发布了全球第二代大语言模型(LLM)Inflection-2,据其官方宣称,该模型仅次于OpenAI的GPT-4
2023-11-23 20:56:00
突发!谷歌发布史上最强大模型Gemini,打爆GPT-4
...在谷歌官网联名发文,宣布推出这一万众瞩目的多模态大模型。标题明晃晃写着“最大”、“最强”,主打的就是一个干爆GPT-4
2023-12-07 09:35:00
2023 AI现状报告:GPT-4仍最强,监管方向缺乏全球共识
...越来越困难。由于基准变得不那么明确,用于评估大语言模型的“基于氛围”的方法在业界越来越普遍。·人工智能安全在2023年首次占据舞台中心。但人工智能界内部存在深刻分歧,世界各国
2023-10-12 15:21:00
更多关于科技的资讯: