• 我的订阅
  • 科技

谷歌发布gemma2大语言模型,共有两种大小

类别:科技 发布时间:2024-06-28 10:18:00 来源:浅语科技

6月28日消息,谷歌公司昨日发布新闻稿,面向全球研究人员和开发人员发布Gemma2大语言模型,共有90亿参数(9B)和270亿参数(27B)两种大小。

谷歌发布gemma2大语言模型,共有两种大小

Gemma2大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。

谷歌在新闻稿中表示,Gemma2-27B模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达H100ensorCoreGPU或TPU主机就能实现这种性能,从而大大降低了部署成本。

Gemma2-9B模型优于Llama38B和其他类似规模的开源模型。谷歌还计划在未来几个月发布参数为26亿的Gemma2模型,更适合智能手机的人工智能应用场景。

谷歌表示为Gemma2重新设计了整体架构,实现卓越的性能和推理效率。IT之家附上Gemma2主要特点如下:

性能优异:

27B版本在同规模级别中性能最佳,甚至比两倍于其尺寸的机型更具竞争力。9B版本的性能在同类产品中也处于领先地位,超过了Llama38B和其他同规模的开放模型。

谷歌发布gemma2大语言模型,共有两种大小

效率和成本:

27BGemma2模型可在单个谷歌云TPU主机、英伟达A10080GBTensorCoreGPU或英伟达H100TensorCoreGPU上以全精度高效运行推理,在保持高性能的同时大幅降低成本。这使得人工智能部署更容易实现,预算也更合理。

跨硬件快速推理

Gemma2经过优化,可在各种硬件(从功能强大的游戏笔记本电脑和高端台式机到基于云的设置)上以惊人的速度运行。

在GoogleAIStudio中尝试全精度的Gemma2,在CPU上使用 Gemma.cpp的量化版本解锁本地性能,或通过HuggingFaceTransformers在配备NVIDIARTX或GeForceRTX的家用电脑上进行尝试。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-28 16:45:04

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

微软、英伟达纷纷押注小模型,大模型不香了?
...发展的道路上,科技巨头们曾经竞相开发规模庞大的语言模型,但如今出现了一种新趋势:小型语言模型(SLM)正逐渐崭露头角,挑战着过去“越大越好”的观念。视觉中国当地时间8月21日
2024-08-26 14:17:00
PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
...0%的Triton内核Pytorch最近发表了一篇技术博客,他们以两个模型——Llama3-8B和IBM的Granite-8B Code为例
2024-09-07 09:48:00
英伟达地表最强,黄教主被称作AI界“霉霉”
...多款重磅明星产品,目前市面上能叫得上名字得人工智能模型几乎都是在该架构上进行训练,行业内“一芯难求”的局面迟迟得不到缓解。而今年,按照英伟达每两年更新一次GPU架构的节奏,大
2024-03-19 11:56:00
晶圆级AI芯片WSE-3性能公布:80亿参数模型上每秒生成1800个Token
...上一代WSE-2的两倍,可用于训练业内一些最大的人工智能模型。在近日的Hot Chips 2024大会上,Cerebras Systems详细介绍了这款芯片在AI推理方面的性能
2024-09-02 13:36:00
碾压所有对手?谷歌发布轻量化开源大模型,笔记本电脑就可跑
开源大模型赛道迎来重磅新品。当地时间2月21日,谷歌宣布正式推出全新的开源大语言模型(LLM)“Gemma”, 旨在帮助开发人员和研究人员负责任地构建人工智能。据介绍,Gemma
2024-02-22 12:44:00
英伟达新版旗舰AI芯片售价炒到4万美金 “算力垄断”难被打破
GPT等大型语言模型带动的芯片需求飙升趋势依然没有平息的迹象。英伟达的最新版旗舰AI芯片H100近日在网上的售价已经被炒到4万多美金,反映了科技行业对训练和部署人工智能软件的需求
2023-04-16 23:42:00
英伟达H100霸榜权威AI性能测试 11分钟搞定基于GPT-3的大模型训练
...分割、两种负载的物体侦测)、语言(语音识别、大语言模型、自然语言处理)和推荐系统。简单来说,就是由不同的设备供应商提交完成基准任务所需要的时间
2023-06-28 07:00:00
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
...杀入江湖的Mistral AI,在9月份甩出了自家的首款多模态大模型Pixtral 12B,如今,报告之期已至,技术细节全公开
2024-11-20 09:43:00
挑战英伟达!AMD推出能运行更大模型的AI芯片 也能写诗
...并在会上推出的AI处理器MI300系列。其中,特别为大语言模型优化的MI300X将于今年晚些时候开始向部分客户发货
2023-06-14 11:18:00
更多关于科技的资讯: