• 我的订阅
  • 科技

Meta发布开源大模型Llama 4:首次采用“混合专家”架构

类别:科技 发布时间:2025-04-07 06:44:00 来源:浅语科技

当地时间周六(4月5日),美国科技巨头Meta推出了其最强大的开源人工智能(AI)模型Llama 4,Llama 4目前有两个的版本,名为Scout和Maverick。

Meta表示,Llama 4是一个多模态大模型,它能够处理和整合各种类型的数据,包括文本、视频、图像和音频,并且可以在这些格式之间转换内容。

Meta发布开源大模型Llama 4:首次采用“混合专家”架构

Llama 4系列首次采用了混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,可以将模型划分为多个专注于特定任务的“专家”子模型。

据Meta介绍,Scout和Maverick不仅是其“迄今为止最先进的模型”,也是“多模态领域中最先进的模型”。

据悉,Scout有170亿个活跃参数、16个“专家”模型、1090亿个总参数;Maverick也有170亿个活跃参数,但有128个“专家”模型,总参数量高达4000亿。

除了Scout和Maverick之外,Meta还在训练功能更加强大的Behemoth,称其为世界上最智能的大模型之一,是“新模型中的教师”。

所有这些模型都经过了 “大量未标注的文本、图像和视频数据” 的训练,以使它们具备 “广泛的视觉理解能力”。

Scout 和Maverick模型在Llama.com网站以及Meta的合作伙伴处均可公开获取,也可以在WhatsApp、Messenger、Instagram Direct上获取。

Meta表示,其人工智能助手Meta AI已在40个国家更新为使用Llama 4模型。目前,多模态功能仅在美国以英语提供。

该公司首席执行官扎克伯格周六发表讲话称:“我们的目标是建立世界领先的人工智能,将其开源,并使其普遍可用,以便世界上每个人都能受益。”

“我很久以前就说过,我认为开源人工智能将成为领先的模型,而随着Llama 4的推出,这一切已经开始发生。”他说,“Meta AI今天得到了一次重大升级。”

Meta首席产品官Chris Cox上个月表示,Llama 4的推出将让AI智能体变得更强大,使其具备更高水平的推理和行动能力。

据知情人士透露,Llama 3已经推出一年了,而Llama4之所以迟迟未能发布,是因为在开发过程中,该模型在技术基准上没有达到Meta的预期,尤其是在推理和数学任务方面。此外,Meta也担心其模型在模拟人类语音对话方面不如OpenAI的模型。

Meta计划今年斥资高达650亿美元扩大其人工智能基础设施,然而投资者正向大型科技公司施压,要求它们展示投资带来的实际回报。

Meta发布开源大模型Llama 4:首次采用“混合专家”架构

责任编辑:振亭

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2025-04-07 08:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

... ISC.AI 上 360 发布的CoE(Collaboration-of-Experts,专家协同)技术架构及混合大模型
2024-09-16 17:42:00
视频生成群雄逐鹿,哪些重要问题待解?
...东西、AI与硬科技知识分享社区智猩猩共同发起。上海市人工智能行业协会为本次大会的指导单位。大会上海站以“智能跃进 创造无限”为主题,将设置“主会场峰会+分会场研讨会+展览区”
2024-11-26 09:38:00
马斯克打脸OpenAI!全球最大模型Grok-1开源
...rk。 据悉,2023年7月,特斯拉CEO马斯克宣布成立一家新的人工智能公司xAI,新公司使命是“了解宇宙的真实本质”
2024-03-20 13:44:00
字节豆包团队推出稀疏模型架构UltraMem:推理成本可降83%
...模型效果的同时,有效解决了推理过程中的访存问题,为人工智能领域带来了新的突破。据了解,UltraMem架构巧妙地将计算与参数分离,不仅确保了模型的卓越性能,更针对推理过程中的
2025-02-13 19:51:00
9月13日,OpenAI发布具有推理能力的人工智能模型“o1”,备受行业瞩目。o1通过模仿人类的思维过程,强化学习和“思维链”技术,引导模型自主解决问题。这一特点在解决复杂问题,
2024-09-16 17:42:00
苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析
...议上,蒂姆·库克表示,苹果正在投入大量时间和精力将人工智能集成到其软件平台中。这些功能将在2024年晚些时候向客户提供。库克对于透露苹果大模型细节非常谨慎,他觉得苹果工作模式
2024-03-16 18:14:00
三个大模型组队挑战o1,实测360多模型协作干掉提示词工程
...而合,而且360更早就提出了“慢思考”的理念,并在技术架构和产品中都付诸了应用。同时,360还在其AI产品中强调多模合作,让来自不同厂商的大模型“抱团取暖”,为国内模型追赶O
2024-09-21 09:45:00
商汤大装置发布基于DeepLink的异构混合调度方案,加速国产算力从“可用”迈向“好用”
7月28日,在2025世界人工智能大会(WAIC)期间,商汤大装置发布基于DeepLink的异构混合调度方案,将DeepLink深度融入商汤大装置核心能力体系
2025-07-29 17:07:00
采用MoE大模型,清华创业团队医者AI构建健康管理Agent
...者等组成。公司聚焦于亚健康管理领域,基于最前沿的MoE架构大模型,结合软硬件,为用户提供7*24小时的健康管理服务
2023-10-31 11:44:00
更多关于科技的资讯:
主流商用办公笔记本怎么选? 锐龙7 8745H高性价比产品推荐
在数字化时代的今天,工作效率的提升已经成为企业在激烈市场环境中获取竞争优势的根本。作为打破时空壁垒的生产力加速器,商用办公笔记本已从传统的生产力工具跃升为企业数字化转型的核心引擎
2025-10-14 16:16:00
“周末去哪儿耍呢?”“找个厂子耍。”据媒体报道,如今,工厂游似乎成了很多年轻人的休假选择。小红书上也出现了很多假期如何工厂游的攻略
2025-10-14 12:00:00
今心与人格频率学:以东方智慧开启全民人格成长新时代
人格频率学苑创始人今心,以十余年九型人格研究为基础,敏锐发现传统人格分类模型的局限——无法精准界定群体特质,且难以解释同型号个体的差异化生命状态
2025-10-14 08:57:00
中新经纬10月13日电 题:2025诺贝尔经济学奖选择背后的时代深意作者 程实 工银国际首席经济学家10月13日,2025年诺贝尔经济学奖得主揭晓
2025-10-14 09:01:00
从国家专利到首个“酶解宠粮”标准,纯福建立行业新门槛
近年来,国内宠物食品行业正逐步告别低质低价竞争,转向以科研实力和产品力为核心的高质量发展阶段。这一转变标志着养宠观念的升级
2025-10-14 09:27:00
珍爱网:让信息安全成为爱情最坚实的底色
“我填写的信息会不会被泄露?”“万一遇到骗子怎么办?”随着网络交友和线上社交的普及,用户在享受便捷的同时,对信息安全的担忧也日益增加
2025-10-14 09:27:00
田轩:2025诺贝尔经济学奖,告诉了中国什么?中新经纬10月13日电 题:2025诺贝尔经济学奖,告诉了中国什么?作者 田轩 清华大学国家金融研究院院长
2025-10-14 09:37:00
苹果宣布向清华大学提供新一笔捐赠
10月14日,苹果官网发布公告宣布向清华大学启动一项新的捐赠计划,进一步深化公司对推动中国环境教育发展与培养下一代气候行动领袖的长期承诺
2025-10-14 10:56:00
安全生产是企业的“定盘星”,科技创新是安全的“护航舰”,职工健康是发展的“压舱石”。在生产线粉尘防治这一安全生产难题面前
2025-10-14 07:06:00
南京北站率先应用“智能模板无人工厂”算法是“图纸”,数据为“建材”南报网讯(记者何钢通讯员宁建轩)“机器人工友”精准协作
2025-10-14 07:33:00
乘“数”而上,构筑竞争新优势——河北以数字经济赋能高质量发展(二)3组数据,见证河北数字产业发展的澎湃动能——综合算力指数连续2年排名全国第一
2025-10-14 08:01:00
厦门网讯(厦门日报记者 沈彦彦)近日,厦门市商务局、厦门市财政局联合印发《厦门市促进直播电商产业园(基地)高质量发展扶持办法》(以下简称《扶持办法》)
2025-10-13 08:47:00
牢记嘱托 感恩奋进—— 安徽往前赶 | “风神之眼” 开启智慧送风时代 美博助推安庆宜秀“智造” 出海
大皖新闻讯 “人在哪,风就到哪!”10月10日,“牢记嘱托 感恩奋进 —— 安徽往前赶” 集中采访团走进安庆市宜秀区美博集团安庆智能化制造基地
2025-10-13 09:51:00
近日,在中国人民银行雄安新区分行指导下,中国银行河北雄安分行推动数字人民币硬钱包在雄安新区容东片区南文营社区食堂正式启用
2025-10-13 10:13:00
广州:“以税赋能”提振消费 黄金假期“好旺好彩”
羊城焕彩,共贺金秋。今年国庆假期与中秋佳节“快乐叠加”,又恰逢十五运会举办的冲刺阶段,广州旅游、餐饮、零售等消费场景迎来多轮热潮
2025-10-13 10:21:00