databricks推出开源ai模型dbrx

3月28日消息，初创公司Databricks近日发布公告，推出了开源AI模型DBRX，声称是迄今为止全球最强大的开源大型语言模型，比Meta的Llama2更为强大。

DBRX采用transformer架构，包含1320亿参数，共16个专家网络组成，每次推理使用其中的4个专家网络，激活360亿参数。

Databricks在公司博客文章中介绍，在语言理解、编程、数学和逻辑方面，对比Meta公司的Llama2-70B、法国MixtralAI公司的Mixtral以及马斯克旗下xAI开发的Grok-1等主流开源模型，DBRX均优势胜出。

图1：DBRX在语言理解(MMLU)、编程(HumanEval)和数学(GSM8K)方面的表现优于已有的开源模型。

在语言理解方面，DBRX的分值为73.7%，高于GPT-3.5的70.0%、高于Llama2-70B的69.8%、Mixtral的71.4%以及Grok-1的73.0%。

模型

DBRXInstruct

MixtralInstruct

MixtralBase

LLaMA2-70BChat

LLaMA2-70BBase

Grok-11

OpenLLMLeaderboard2

(Avgofnext6rows)

74.5%

72.7%

68.4%

62.4%

67.9%

—

ARC-challenge25-shot

68.9%

70.1%

66.4%

64.6%

67.3%

—

HellaSwag10-shot

89.0%

87.6%

86.5%

85.9%

87.3%

—

MMLU5-shot

73.7%

71.4%

71.9%

63.9%

69.8%

73.0%

TruthfulQA0-shot

66.9%

65.0%

46.8%

52.8%

44.9%

—

WinoGrande5-shot

81.8%

81.1%

81.7%

80.5%

83.7%

—

GSM8kCoT5-shotmaj@13

66.9%

61.1%

57.6%

26.7%

54.1%

62.9%(8-shot)

Gauntletv0.34

(Avgof30+diversetasks)

66.8%

60.7%

56.8%

52.8%

56.4%

—

HumanEval5

0-Shot,pass@1

(Programming)

70.1%

54.8%

40.2%

32.2%

31.0%

63.2%

在编程能力方面，DBRX的得分为70.1%，远超GPT-3.5的48.1%，高于Llama2-70B的32.3%、Mixtral的54.8%以及Grok-1的63.2%。

Model

DBRX

Instruct

GPT-3.57

GPT-48

Claude3Haiku

Claude3Sonnet

Claude3Opus

Gemini1.0Pro

Gemini1.5Pro

MistralMedium

MistralLarge

MTBench(Inflectioncorrected,n=5)

8.39±0.08

—

—

8.41±0.04

8.54±0.09

9.03±0.06

8.23±0.08

—

8.05±0.12

8.90±0.06

MMLU5-shot

73.7%

70.0%

86.4%

75.2%

79.0%

86.8%

71.8%

81.9%

75.3%

81.2%

HellaSwag10-shot

89.0%

85.5%

95.3%

85.9%

89.0%

95.4%

84.7%

92.5%

88.0%

89.2%

HumanEval0-Shot

pass@1

(Programming)

70.1%

temp=0,N=1

48.1%

67.0%

75.9%

73.0%

84.9%

67.7%

71.9%

38.4%

45.1%

GSM8kCoTmaj@1

72.8%(5-shot)

57.1%(5-shot)

92.0%(5-shot)

88.9%

92.3%

95.0%

86.5%

(maj1@32)

91.7%(11-shot)

81.0%(5-shot)

WinoGrande5-shot

81.8%

81.6%

87.5%

—

—

—

—

—

88.0%

86.7%

在数学方面，DBRX的得分为66.9%，高于GPT-3.5的57.1%，也高于Llama2-70B的54.1%、Mixtral的61.1%和Grok-1的62.9%。

Databricks介绍，DBRX是一个基于MegaBlocks研究和开源项目构建的混合专家模型(MoE)，因此每秒输出token的速度极快。Databricks相信，这将为MoE未来最先进的开源模型铺平道路。