谷歌开源系模型第二代免费开放！27B媲美Llama3 70B，单H100可跑

西风 发自 凹非寺量子位 | 公众号 QbitAI

谷歌开源模型Gemma 2开放了！

虽然前段时间Google I/O大会上，Gemma 2开源的消息就已经被放出，但谷歌还留了个小惊喜——

除27B模型外，还有一个更轻的9B版本。

DeepMind创始人哈萨比斯表示，27B参数规模下，Gemma 2提供了同类模型最强性能，甚至还能与其两倍大的模型竞争。

目前Gemma 2已入驻大模型竞技场（LMSYS Chatbot Arena），Gemma 2 27B排名与Llama3 70B相当：

而Gemma 2 9B的排名甚至比肩Qwen 2 72B：

该结果也让网友纷纷表示难以置信。

此外，VentureBeat表示，两种Gemma 2版本还不够，谷歌很快还将发布2.6B参数模型。

能打两倍大的模型

Gemma是谷歌的开源模型系列，采用Gemini同款技术架构，主打开源、轻量级、免费可商用。

今年二月份，Gemma系列正式上线第一代，共有2B和7B两个版本，笔记本可跑，性能全面超越当时的开源标杆Llama 2。

和羊驼家族一样，基于Gemma也有了很多变种，如CodeGemma、RecurrentGemma、PaliGemma等。

对于第二代Gemma 2，谷歌表示相比于Gemma，性能更高、推理效率更高，单个NVIDIA H100或TPU主机上可跑。

上下文长度方面，Gemma 2为8192 Tokens。

性能方面，Gemma 2与Llama 3、Grok-1基准测试结果对比如下：

Gemma 2 9B得分全面超越Llama 3 8B，Gemma 2 27B模型表现接近Llama 3 70B，且超越Grok-1和Qwen 1.5 32B：

与Mistral和Gemma 1的比较结果如下：

除此外，Gemma 2安全性相比前代也有显著提升：

技术报告中也有Gemma 2的更多信息。

基于Transformer解码器架构，与Gemma 1不同之处在于，Gemma 2每隔一层交替使用局部滑动窗口注意力和全局注意力机制，引入了分组查询注意力（GQA）以提高推理速度，相比Gemma 1也使用了更深的网络结构。

Gemma 2关键模型参数如下：

网友实测

目前，用户还可在Hugging Chat上与Gemma 27B聊天。

有网友上手测试了一番：

不过似乎是出Bug了，让Gemma 27B讲个故事，它愣是没刹住车，回复巨长：

我们也上手体验了一下，可能是有什么Bug……

这边还有网友使用苹果的MLX框架也在本地部署上了：

谷歌表示，从下个月开始，Google Cloud用户也可在Vertex AI上部署和管理Gemma 2。

One More Thing

谷歌刚刚官宣Gemma 2开放，国产大模型就来踢馆了。

智谱AI放出1个月前发布的开源模型GLM-4-9B的得分，和Gemma 2的对比是这样婶儿的：

HuggingFace：https://huggingface.co/chat/models/google/gemma-2-27b-it