• 我的订阅
  • 财经

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

类别:财经 发布时间:2024-04-19 15:58:00 来源:澎湃新闻

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。

当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。目前,Llama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,上下文窗口为8k。Meta表示,通过使用更高质量的训练数据和指令微调,Llama 3比前代Llama 2有了“显著提升”。

未来,Meta将推出Llama 3的更大参数版本,其将拥有超过4000亿参数。Meta也将在后续为Llama 3推出多模态等新功能,包括更长的上下文窗口,以及Llama 3研究论文。

Meta在公告中写道:“通过Llama 3,我们致力于构建能够与当今最优秀的专有模型相媲美的开源模型。我们想处理开发者的反馈,提高Llama 3 的整体实用性,同时,继续在负责地使用和部署LLM(大型语言模型)方面发挥领先作用。”

18日当天,Meta股价(Nasdaq:META)收于每股501.80美元,涨1.54%,总市值1.28万亿美元。

“目前市场上最好的开源大模型”

据Meta介绍,Llama 3已经在多种行业基准测试上展现了最先进的性能,提供了包括改进的推理能力在内的新功能,是目前市场上最好的开源大模型。

在架构层面,Llama3选择了标准的仅解码(decoder-only)式Transformer架构,采用包含128K token词汇表的分词器。Llama 3在Meta自制的两个24K GPU集群上进行预训练,使用了超过15T的公开数据,其中5%为非英文数据,涵盖30多种语言,训练数据量是前代Llama 2的七倍,包含的代码数量是Llama 2的四倍。

根据Meta的测试结果,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项性能基准上均超过了Gemma 7B和Mistral 7B Instruct,70B模型则超越了名声在外的闭源模型Claude 3的中间版本Sonnet,和谷歌的Gemini Pro 1.5相比三胜两负。

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

Llama 3在多项性能基准上表现出众。来源:Meta官网

在常规数据集之外,Meta还致力于优化Llama 3在实际场景中的性能,为此专门研发了一套高质量的人工测试集。该测试集包含1800条数据,涵盖了寻求建议、封闭式问题回答、头脑风暴、编码、写作等12个关键用例,并对开发团队保密。

在这套测试集中,从结果来看,Llama 3的成绩大幅超越了Llama 2,也胜过了Claude 3 Sonnet、Mistral Medium和GPT-3.5这些知名模型。

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

Llama 3在人工测试集上取得优异成绩。来源:Meta官网

而Llama 3的400B+模型虽然仍在训练中,Meta也展现了其部分测试成果,似乎旨在对标Claude 3的最强版本Opus。不过,Meta没有公布Llama 3更大参数模型和GPT-4等同规格选手的对比成果。

开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿

仍在训练中的Llama 3的400B+模型。来源:Meta官网

Llama 3模型即将在亚马逊AWS、Databricks、谷歌云、Hugging Face、Kaggle、IBM WatsonX、亚马逊Azure、英伟达NIM和Snowflake上被提供给开发者,并获得 AMD、AWS、戴尔、英特尔、英伟达和高通提供的硬件平台支持。为了让Llama 3被负责地开发,Meta还将提供新的信任和安全工具,包括Llama Guard 2、Code Shield和CyberSec Eval 2。

同时,Meta发布了基于Llama3的官方Web版本Meta AI。目前,该平台仍处于初级阶段,只有对话和绘画两大功能。用户使用对话功能无需通过注册,使用绘画功能则需要用户注册登录账号。

为开源社区注入活力

Meta的AI道路向来与开源紧密相连,Llama 3一经推出,受到了开源社区的热烈欢迎。

虽然也有一些对于Llama 3的8k上下文窗口过小的吐槽,但Meta方面表示,很快就会扩充Llama 3的上下文窗口。电子邮件初创企业Otherside AI的CEO兼联合创始人马特·舒默(Matt Shumer)对此也保持乐观,并表示:“我们正在走入一个新世界,在这里,GPT-4级别的模型是开源并可以免费访问的。”

英伟达高级研究科学家范麟熙(Jim Fan)表示,即将推出的更大参数Llama 3模型标志着开源社区的一个“分水岭”,可以改变许多学术研究和初创企业的决策方式,“预计整个生态系统中的活力将会激增”。

不过,值得注意的是,Meta没有公布Llama 3的训练数据,只称其全部来自公开数据。而从严格意义上来说,所谓的“开源”软件应当在开发与分发的过程中,将包括软件产品的源代码、训练数据等内容对公众完全开放。此前,数据公司Databricks发布的“最强开源大模型”DBRX除了拥有远超出普通计算机的标准配置外,也存在这一问题。

Llama 3的推出紧跟在Meta自研芯片取得进步之后。就在上周,Meta公布了自主研发芯片MTIA的最新版本。MTIA是Meta专门为AI训练和推理工作设计的定制芯片系列。和去年五月官宣的Meta第一代AI推理加速器MTIA v1相比,最新版本芯片在性能上有显著提升,专为Meta旗下社交软件的排名和推荐系统而设计。分析指出,Meta的目标是降低对英伟达等芯片厂商的依赖。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-04-19 17:45:05

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

大模型如何开始生成一个全新时代
...概是87%,而GPT-4已经达到100%。AI大模型是人工智能历史的分水岭,甚至是工业革命以来人类文明史的分水岭。此前,人们更多关注和讨论的是人如何适应机器,探讨人与机器人的
2023-07-07 04:46:00
李彦宏称开源赶不上闭源?Meta发布最强开源模型,马斯克评价“还不错”
...科学家Jim Fan认为,Llama 3-400B以上的版本其将成为某种“分水岭”,开源社区将能用上GPT-4级别的模型
2024-04-20 11:00:00
ChatGPT浪潮之下 BAT迎来重塑时刻
...,颇有种“星夜兼程”的味道。ChatGPT或成为全新的技术分水岭尽管追逐者颇多,但若想要迅速追上早已经先行一步的OpenAI,恐怕还有不小的困难。毕竟,这种技术代差已经随着O
2023-04-17 10:59:00
2024成都车展丨夏一平:端到端技术现阶段极不安全,明年智驾行业会出现分水岭
...是上千亿。我一直判断明年可能整个智驾行业会出现一个分水岭式的竞争,跟不上就掉队了。这个事情还是算力驱动,大家知道特斯拉,特斯拉刚刚建成一个算力中心花了280亿人民币,这些还不
2024-09-02 19:03:00
国产大模型迎来“百模大战”,大模型如何从概念走向落地?
...谷歌在2017年发布了Transformer大模型,成为了AI大模型的新分水岭。但令谷歌没有想到的是,Transformer随后却成为了OpenAI滋养ChatGPT的土壤
2023-07-08 19:38:00
腾讯大模型混元Turbo:御气升昺云,梓桐金鼎开
...之间的差距不仅仅是工作效率的差距,更是未来竞争力的分水岭。让我们一起,踏上这场AI之旅,探索无限可能,让生活因AI而更加精彩!最后,不妨让我以这样一个故事,为混元Turbo的
2024-09-14 14:04:00
卷模型技术,更要卷工程实现
...架构、算力成本成为大模型应用落地和企业盈亏ROI的关键分水岭,重要性不低于模型精度。本主题将分享GPT等大模型的开源Foundation Model与Finetune
2023-08-10 10:00:00
MWC 2024观察:AI+硬件元年来了?
...百模大战,各种大模型、AI手机秀肌肉,会成为MWC的一次分水岭。AI+手机:竞争激烈,难分伯仲手机厂商对AI的追逐已经不能称之为“热衷”了,而是趋之若鹜,AI争夺战一直从产品
2024-03-04 16:55:00
全球独角兽 | Hugging Face:在人工智能的大航海时代悄悄地造一艘方舟
...发生的巨大变动或许可以被认为是影响未来AI格局的一条分水岭。 2021年8月,谷歌伦理AI(Ethical AI)人工智能伦理研究小组前负责人Margaret Mitchell加入了Hugging Face
2023-06-14 14:31:00
更多关于财经的资讯:
ST广网等成立项目管理合伙企业,含AI业务
近日,西安米果广华项目管理合伙企业(有限合伙)成立,出资额1000万元,经营范围包含:区块链技术相关软件和服务;人工智能基础软件开发
2025-10-23 14:12:00
和邦生物新设矿业公司,注册资本1亿元
近日,冕宁和邦矿业有限公司成立,注册资本1亿元,经营范围包含:非煤矿山矿产资源开采;矿产资源勘查;金属与非金属矿产资源地质勘探等。企查查股权穿透显示,该公司由和邦生物(60307
2025-10-23 14:12:00
又一千亿级大市场要来了!企查查:动力蓄电池回收相关企业近20万
据人民网报道,近日从市场监管总局动力电池回收利用标准化专题新闻发布会上获悉,根据电池使用寿命推算,我国即将迎来动力电池规模化退役阶段
2025-10-23 14:36:00
南京银行江北新区分行辖内江浦支行:打造 “区域+场景”综合金融服务模式, 做浦口发展的“贴心伙伴”
成立9年来,南京银行江北新区分行辖内江浦支行始终扎根于浦口区江浦街道,坚持以“融入区域肌理、服务百姓民生”为初心,将金融服务精准嵌入普惠民生
2025-10-23 14:53:00
建行贵州省分行筑牢风控防线,护航信用卡安全
在信用卡为日常生活带来便捷的同时,背后潜在的风险也不容忽视。近日,建行贵州省分行依托高效的风险识别能力,成功拦截一起精心伪装的信用卡套现骗局
2025-10-23 14:54:00
“黔”力助企绘新篇——建行黔南州分行为民营企业高质量发展注入金融活水
民营小微企业作为民营经济的重要力量,是区域经济发展的“活力细胞”。建行黔南州分行精准落实金融支持民营经济政策,组建张富清金融服务队
2025-10-23 14:55:00
建行贵阳世纪城支行:暖心“鉴证”,兑换残币
一个寻常的午后,建行贵阳世纪城支行的营业大厅如往常一般井然有序。这时,客户赵先生拖着一个沉甸甸的露营车,面带犹豫地走了进来
2025-10-23 14:55:00
贵州轻工职业大学青年说第三期:艺术设计系 王智鹏 梁国忠
来源:贵州轻工职业大学一审:金星二审:李懿三审:雷晓明
2025-10-23 14:55:00
建行遵义分行谱写民族团结进步与高质量发展新篇章
贵州遵义,群山叠翠,仡佬苗乡,生机盎然。在这片民族团结之花常开长盛的热土上,建设银行贵州省遵义分行聚焦少数民族区域经济特质
2025-10-23 14:55:00
劳动砺能 运动聚力 互动生辉——贵州轻工职业大学2025-2026学年“三动”教育全面启动
10月21日下午,贵州轻工职业大学2025-2026学年“劳动、运动、互动”教育启动仪式在溯源广场举行,党委书记张勇宣布学年度“三动”教育启动
2025-10-23 14:56:00
贵州银行毕节分行:三次走访送服务,润泽菌业发展路
贵银“三访”护发展,打造菌企“金名片”2025年9月,贵州银行大方支行客户经理小赵带着团队走进毕节市农投菌业科技有限责任公司(以下简称农投菌业)智能化厂房
2025-10-23 14:56:00
民生银行菏泽分行成功举办中小企业银企对接活动
2025年10月16日,由菏泽市工业和信息化局主办、民生银行菏泽分行承办的菏泽市中小企业赋能提升专题培训班暨金融服务对接活动成功举行
2025-10-23 15:01:00
和黄药业再获上海制造业企业、上海新兴产业企业“双百强”称号
日前, 上海市企业联合会、上海市企业家协会、上海市经济团体联合会和解放日报社在中国金融信息中心联合召开“2025上海百强企业新闻发布会”
2025-10-23 15:36:00
重庆银行因贷款“三查”不尽职、投资业务不审慎被罚款220万元
10月23日,国家金融监督管理总局重庆监管局行政处罚信息公开表显示,重庆银行股份有限公司因贷款“三查”不尽职、投资业务不审慎被罚款共计220万元;刘某娜因贷款“三查”不尽职部分问
2025-10-23 15:39:00
新华人寿福州支公司涉手续费造假等问题遭警告并罚款20.8万元,两责任人同步领罚
10月22日,福建金融监管局行政处罚信息公示表显示,新华人寿保险股份有限公司福州中心支公司因银保渠道手续费列支不真实、委托医护人员销售健康保险产品被警告
2025-10-23 15:40:00