• 我的订阅
  • 财经

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

类别:财经 发布时间:2024-04-19 15:58:00 来源:澎湃新闻

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。

当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。目前,Llama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,上下文窗口为8k。Meta表示,通过使用更高质量的训练数据和指令微调,Llama 3比前代Llama 2有了“显著提升”。

未来,Meta将推出Llama 3的更大参数版本,其将拥有超过4000亿参数。Meta也将在后续为Llama 3推出多模态等新功能,包括更长的上下文窗口,以及Llama 3研究论文。

Meta在公告中写道:“通过Llama 3,我们致力于构建能够与当今最优秀的专有模型相媲美的开源模型。我们想处理开发者的反馈,提高Llama 3 的整体实用性,同时,继续在负责地使用和部署LLM(大型语言模型)方面发挥领先作用。”

18日当天,Meta股价(Nasdaq:META)收于每股501.80美元,涨1.54%,总市值1.28万亿美元。

“目前市场上最好的开源大模型”

据Meta介绍,Llama 3已经在多种行业基准测试上展现了最先进的性能,提供了包括改进的推理能力在内的新功能,是目前市场上最好的开源大模型。

在架构层面,Llama3选择了标准的仅解码(decoder-only)式Transformer架构,采用包含128K token词汇表的分词器。Llama 3在Meta自制的两个24K GPU集群上进行预训练,使用了超过15T的公开数据,其中5%为非英文数据,涵盖30多种语言,训练数据量是前代Llama 2的七倍,包含的代码数量是Llama 2的四倍。

根据Meta的测试结果,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项性能基准上均超过了Gemma 7B和Mistral 7B Instruct,70B模型则超越了名声在外的闭源模型Claude 3的中间版本Sonnet,和谷歌的Gemini Pro 1.5相比三胜两负。

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

Llama 3在多项性能基准上表现出众。来源:Meta官网

在常规数据集之外,Meta还致力于优化Llama 3在实际场景中的性能,为此专门研发了一套高质量的人工测试集。该测试集包含1800条数据,涵盖了寻求建议、封闭式问题回答、头脑风暴、编码、写作等12个关键用例,并对开发团队保密。

在这套测试集中,从结果来看,Llama 3的成绩大幅超越了Llama 2,也胜过了Claude 3 Sonnet、Mistral Medium和GPT-3.5这些知名模型。

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

Llama 3在人工测试集上取得优异成绩。来源:Meta官网

而Llama 3的400B+模型虽然仍在训练中,Meta也展现了其部分测试成果,似乎旨在对标Claude 3的最强版本Opus。不过,Meta没有公布Llama 3更大参数模型和GPT-4等同规格选手的对比成果。

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

仍在训练中的Llama 3的400B+模型。来源:Meta官网

Llama 3模型即将在亚马逊AWS、Databricks、谷歌云、Hugging Face、Kaggle、IBM WatsonX、亚马逊Azure、英伟达NIM和Snowflake上被提供给开发者,并获得 AMD、AWS、戴尔、英特尔、英伟达和高通提供的硬件平台支持。为了让Llama 3被负责地开发,Meta还将提供新的信任和安全工具,包括Llama Guard 2、Code Shield和CyberSec Eval 2。

同时,Meta发布了基于Llama3的官方Web版本Meta AI。目前,该平台仍处于初级阶段,只有对话和绘画两大功能。用户使用对话功能无需通过注册,使用绘画功能则需要用户注册登录账号。

为开源社区注入活力

Meta的AI道路向来与开源紧密相连,Llama 3一经推出,受到了开源社区的热烈欢迎。

虽然也有一些对于Llama 3的8k上下文窗口过小的吐槽,但Meta方面表示,很快就会扩充Llama 3的上下文窗口。电子邮件初创企业Otherside AI的CEO兼联合创始人马特·舒默(Matt Shumer)对此也保持乐观,并表示:“我们正在走入一个新世界,在这里,GPT-4级别的模型是开源并可以免费访问的。”

英伟达高级研究科学家范麟熙(Jim Fan)表示,即将推出的更大参数Llama 3模型标志着开源社区的一个“分水岭”,可以改变许多学术研究和初创企业的决策方式,“预计整个生态系统中的活力将会激增”。

不过,值得注意的是,Meta没有公布Llama 3的训练数据,只称其全部来自公开数据。而从严格意义上来说,所谓的“开源”软件应当在开发与分发的过程中,将包括软件产品的源代码、训练数据等内容对公众完全开放。此前,数据公司Databricks发布的“最强开源大模型”DBRX除了拥有远超出普通计算机的标准配置外,也存在这一问题。

Llama 3的推出紧跟在Meta自研芯片取得进步之后。就在上周,Meta公布了自主研发芯片MTIA的最新版本。MTIA是Meta专门为AI训练和推理工作设计的定制芯片系列。和去年五月官宣的Meta第一代AI推理加速器MTIA v1相比,最新版本芯片在性能上有显著提升,专为Meta旗下社交软件的排名和推荐系统而设计。分析指出,Meta的目标是降低对英伟达等芯片厂商的依赖。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-04-19 17:45:05

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

大模型如何开始生成一个全新时代
...概是87%,而GPT-4已经达到100%。AI大模型是人工智能历史的分水岭,甚至是工业革命以来人类文明史的分水岭。此前,人们更多关注和讨论的是人如何适应机器,探讨人与机器人的
2023-07-07 04:46:00
李彦宏称开源赶不上闭源?Meta发布最强开源模型,马斯克评价“还不错”
...科学家Jim Fan认为,Llama 3-400B以上的版本其将成为某种“分水岭”,开源社区将能用上GPT-4级别的模型
2024-04-20 11:00:00
ChatGPT浪潮之下 BAT迎来重塑时刻
...,颇有种“星夜兼程”的味道。ChatGPT或成为全新的技术分水岭尽管追逐者颇多,但若想要迅速追上早已经先行一步的OpenAI,恐怕还有不小的困难。毕竟,这种技术代差已经随着O
2023-04-17 10:59:00
2024成都车展丨夏一平:端到端技术现阶段极不安全,明年智驾行业会出现分水岭
...是上千亿。我一直判断明年可能整个智驾行业会出现一个分水岭式的竞争,跟不上就掉队了。这个事情还是算力驱动,大家知道特斯拉,特斯拉刚刚建成一个算力中心花了280亿人民币,这些还不
2024-09-02 19:03:00
国产大模型迎来“百模大战”,大模型如何从概念走向落地?
...谷歌在2017年发布了Transformer大模型,成为了AI大模型的新分水岭。但令谷歌没有想到的是,Transformer随后却成为了OpenAI滋养ChatGPT的土壤
2023-07-08 19:38:00
腾讯大模型混元Turbo:御气升昺云,梓桐金鼎开
...之间的差距不仅仅是工作效率的差距,更是未来竞争力的分水岭。让我们一起,踏上这场AI之旅,探索无限可能,让生活因AI而更加精彩!最后,不妨让我以这样一个故事,为混元Turbo的
2024-09-14 14:04:00
卷模型技术,更要卷工程实现
...架构、算力成本成为大模型应用落地和企业盈亏ROI的关键分水岭,重要性不低于模型精度。本主题将分享GPT等大模型的开源Foundation Model与Finetune
2023-08-10 10:00:00
MWC 2024观察:AI+硬件元年来了?
...百模大战,各种大模型、AI手机秀肌肉,会成为MWC的一次分水岭。AI+手机:竞争激烈,难分伯仲手机厂商对AI的追逐已经不能称之为“热衷”了,而是趋之若鹜,AI争夺战一直从产品
2024-03-04 16:55:00
全球独角兽 | Hugging Face:在人工智能的大航海时代悄悄地造一艘方舟
...发生的巨大变动或许可以被认为是影响未来AI格局的一条分水岭。 2021年8月,谷歌伦理AI(Ethical AI)人工智能伦理研究小组前负责人Margaret Mitchell加入了Hugging Face
2023-06-14 14:31:00
更多关于财经的资讯:
2025工行贵州省分行 “行走的思政课” 开课啦!
多彩贵州网讯(本网记者 李晓芳)为守正创新推动思政课内涵式发展,持续打造“行走的思政课”品牌,推动思政工作融入经营管理
2025-10-23 11:10:00
工行铜仁分行:金融赋能科创开“数智新蕊”之花
多彩贵州网讯(通讯员 冉淑冬)2025年以来,工行铜仁分行紧密围绕“科技自立自强”国家战略部署,精准对接新一代信息技术
2025-10-23 11:11:00
工行贵阳分行落地全国系统内首笔“三方流水”场景经营快贷 破局小微融资认证难题
多彩贵州网讯(通讯员 杜超、许竞丹)近日,工行贵阳分行成功为某优质酒水批发客户授信全国系统内首笔以微信、支付宝三方经营流水为依据的“经营快贷”103万元
2025-10-23 11:11:00
争分夺秒护“钱匣”!工行贵阳双龙航空港支行4小时拦截跨境诈骗,为古稀老人挽回21万港币养老钱
多彩贵州网讯(通讯员 任紫翎)“您涉嫌违法资金转移,请立即配合调查!”近日,75岁的王奶奶接到一通冒充“警方”的诈骗电话
2025-10-23 11:11:00
贴现业务“一站办”:工行贵阳乌当新添支行75万元资金精准滴灌制造业
多彩贵州网讯(通讯员 包平)对于贵阳市某汽车零部件有限公司负责人来说,近期接到的一笔大订单本是喜事,却也带来了“甜蜜的烦恼”——原材料采购资金缺口让周转压力骤增
2025-10-23 11:11:00
“工行驿站”暖筑城:工行贵阳乌当筑新路支行用温度服务擦亮城市文明底色
多彩贵州网讯(通讯员 包平)走进工行贵阳乌当筑新路支行,感受到的远不止金融服务的专业高效。一杯驱寒暖胃的热水,一次细致入微的搀扶
2025-10-23 11:12:00
工行毕节分行:种养殖贷精准赋能乡村振兴
多彩贵州网讯(通讯员 罗佳丽)一直以来,工行毕节分行始终将服务国家战略摆在突出位置,积极对接“粤港澳大湾区菜篮子工程”
2025-10-23 11:12:00
罗源二中田径场建设项目启动 预计明年6月投用
近日,罗源二中田径场建设项目启动,预计整个工程将于2026年6月份全面竣工并投入使用。
2025-10-23 11:22:00
上汽时代在南京新设动力系统公司
近日,上汽时代动力系统(南京)有限公司成立,法定代表人为王伟,注册资本5000万人民币,经营范围包括电池制造、电池零配件生产
2025-10-23 11:24:00
电气风电在黑龙江成立新能源装备公司
近日,上电(五大连池)新能源装备有限公司成立,法定代表人为赵洋,经营范围包含:新能源原动设备制造;新能源原动设备销售;发电机及发电机组制造;风力发电技术服务等。企查查股权穿透显示
2025-10-23 11:24:00
正泰电器在江苏新设智能装备科技公司
近日,江苏沭泰智能装备科技有限公司成立,法定代表人为黄启银,注册资本5亿人民币,经营范围包括新兴能源技术研发、光伏设备及元器件制造
2025-10-23 11:24:00
华电新能、远景能源等成立海上风电新公司
近日,华电(灌云)海上风电有限公司成立,注册资本4000万元,经营范围包含:新兴能源技术研发;海上风电相关系统研发;风力发电技术服务
2025-10-23 11:24:00
京东在宿迁成立企业管理新公司
近日,宿迁云邦企业管理有限公司成立,注册资本5000万元,经营范围包含:企业管理咨询;软件开发;技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广等。企查查股权穿透显示,
2025-10-23 11:24:00
中国中免、白云机场在广州新设免税品公司
近日,中免白云机场免税品(广州)有限公司成立,注册资本4500万元,经营范围包含:玩具、动漫及游艺用品销售;电子产品销售
2025-10-23 11:24:00
我国冰雪产业规模将破万亿,企查查:前九月相关企业注册量涨近20%
随着气温进一步走低,各地陆续开启2025-2026新雪季。日前发布的《中国冰雪产业发展研究报告(2025)》指出,中国冰雪产业总规模预计将在2025年正式突破万亿元
2025-10-23 11:24:00