• 我的订阅
  • 头条热搜
gpt-4模型架构泄露:包含1.8万亿参数、采用混合专家模型
外媒Semianalysis近日对OpenAI今年3月发布的GPT-4大模型进行了揭秘,其中包括GPT-4模型架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型(MixtureofExperts)等具体的参数和信息。▲图源 Semianalysis外媒...……更多
Meta发布开源大模型Llama 4:首次采用“混合专家”架构
...日),美国科技巨头Meta推出了其最强大的开源人工智能(AI)模型Llama 4,Llama 4目前有两个的版本,名为Scout和Maverick。Meta表示,Llama 4是一个多模态大模型,它能够处理和整合各种类型的数据,包括文本、视频、图像和音频,并且可...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...领域中,序列建模是一项至关重要的任务。然而,现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。因此,北京大学林宙辰、徐鑫提出了一种全新混合序列建模架构 ——MixCon,它为解决这些难题带来了创新...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...而,构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外,高质量的大型公共时间序列数据库的匮乏进一步加剧了这一难题。近日,由来自普林斯顿大学、格里菲斯大学等全球多地的华人国际科...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...:林志佳马斯克(Elon Musk)真的实现了他的承诺——把大模型Grok-1开源了。钛媒体App获悉,北京时间3月18日早上,“硅谷钢铁侠”、亿万富翁马斯克旗下AI初创公司xAI宣布,其研发的大模型Grok-1正式对外开源开放,用户可直接通...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instru...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...之心开源社区有福了。说到做到,马斯克承诺的开源版大模型 Grok 终于来了!今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析
...武静静编辑|邓咏仪放弃造车后的苹果,正在加速入局大模型战争。当地时间3月15日,苹果就披露了两个关键大模型动作。其中一个值得关注的是苹果的收购事件。彭博社报道称,苹果已经收购了一家加拿大AI初创公司DarwinAI。...……更多
日前,OpenAI 发布 o1-preview,问鼎最强大语言模型,引发业内轰动。也正因如此,国内也产生了质疑的声音:为何大模型领域国内追赶了一两年,差距好像没见缩小,甚至是扩大了。差距真的是在扩大吗?事实可能并非如此。根...……更多
字节豆包团队推出稀疏模型架构UltraMem:推理成本可降83%
快科技2月13日消息,据报道,字节跳动豆包大模型Foundation团队近日宣布了一项重要创新成果——UltraMem稀疏模型架构。这一架构通过将计算和参数解耦,在保证模型效果的同时,有效解决了推理过程中的访存问题,为人工智能...……更多
昆仑万维:“天工大模型3.0”将于4月17日正式发布 同步开源4000亿参数MoE超级模型
...新闻网2023年4月17日,昆仑万维发布自研双千亿级大语言模型“天工1.0”。即将到来的2024年4月17日,在“天工”大模型一周年之际,昆仑万维重磅宣布,“天工3.0”正式开启公测!“天工3.0”采用4千亿级参数MoE混合专家模型,并...……更多
AIGC落地应用:腾讯云如何助力产业智能化升级?
...互能力将是未来数字人发展的重要方向。 腾讯混元大模型赋能AIGC应用落地 推进产业智能化升级 腾讯云大模型产品专家屈蕾 腾讯混元大模型历经迭代日趋成熟,坚持全链路自主研发技术,支持众多场景的创新应用,实现技...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
专家模型不要专家并行!微软开源MoE新路径
...日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法...……更多
1-bit大模型还能再突破!新一代BitNet架构启用4位激活值
...et系列的原班人马推出了新一代架构:BitNet a4.8,为1 bit大模型启用了4位激活值,支持3 bit KV cache,效率再突破。量化到1 bit的LLM还能再突破?这次,他们对激活值下手了!近日,BitNet系列的原班人马推出了新一代架构:BitNet a4.8...……更多
腾讯自研大模型助力长三角打造世界级产业集群
...团副总裁、政企业务总裁李强表示,腾讯不仅通过自研大模型服务千行百业,也拥有坚实的AI基础设施服务,为中国大模型产业繁荣发展提供技术支撑。去年9月,腾讯全链路自研的腾讯混元大模型正式亮相。根据沙利文的权威报...……更多
9月13日,OpenAI发布具有推理能力的人工智能模型“o1”,备受行业瞩目。o1通过模仿人类的思维过程,强化学习和“思维链”技术,引导模型自主解决问题。这一特点在解决复杂问题,尤其是在科学、编码和数学等领域,展现出...……更多
...闻网中新网北京6月3日电 (记者 夏宾)近年来,为了追求大模型的智慧能力,各国公司不停加码投入,4月,Meta宣布追加10亿美元投资,用于其AI芯片研发和AI数据中心建设;亚马逊为了建设新数据中心投入110亿美元。但在大模型扩...……更多
Token化一切,甚至网络!北大&谷歌&马普所提出TokenFormer
...者是汪海洋,北京大学20级博士生,目前主要关注是通用模型的架构设计和学习算法。指导教授主要包括王立威,北京大学智能学院教授;Bernt Schiele,德国马普计算所教授;Federico Tombari 谷歌人工智能科学家等。新一代通用灵活...……更多
NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构性能
...机系的三年级博士生,研究方向涉及 MLSys 和高效大语言模型。师从栗力、须成忠教授。大型语言模型(LLMs)虽然在适应新任务方面取得了长足进步,但它们仍面临着巨大的计算资源消耗,尤其在复杂领域的表现往往不尽如人意...……更多
“言出必行”马斯克,全球最大开源模型Grok真的来了
刚刚开源的 Grok,一举拿下迄今为止“全球最大开源模型”称号。马斯克又搞了个全球第一。Grok开源美东时间3月17日,xAI 正式宣布开源大模型Grok-1的权重和网络架构。xAI 表示,开源版大模型Grok-1是一个由 xAI 从头开始训练的 314...……更多
三个大模型组队挑战o1,实测360多模型协作干掉提示词工程
OpenAI o1的横空出世,开启了大模型演化的新范式——Inference law(推理定律)。正如英伟达AI科学家Jim Fan所说,o1的出现标志着大模型研发者开始把集中在训练阶段的投入,开始转移到了推理过程。Jim还引用了机器学习先驱Rich Sut...……更多
Mamba作者新作:将Llama3蒸馏成混合线性 RNN
...功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分,实现了更好的上下文理解。然而,注意力机制的缺点是计算开销大,会随输入规模而二次增长,Transformer 也因此难以处理非常长的文本。...……更多
MiniMax进化论:一群「偏执者」的破浪前行
全球开源前二,来自中国大模型的Aha时刻。如果一个技术用3年时间,从默默无闻到改变世界,我们称其为第N次工业革命;如果这个技术从论文到落地的过程中,头部玩家如走马灯更迭,百亿流量砸下去只听一声响就陷入沉寂,...……更多
苹果发布mm1.5-ui模型
...13日消息,近日,苹果公司推出了300亿参数的多模态AI大模型MM1.5,该版本是在前代MM1的架构基础上发展而来的。该模型继续遵循数据驱动的训练原则,着重探究在不同训练周期中混合各类数据对模型性能产生的影响,相关模型文...……更多
采用MoE大模型,清华创业团队医者AI构建健康管理Agent
作者 |杨逍编辑|苏建勋随着基座大模型的竞争初见分晓,如何将AI落地到各行各业成为行业关注的问题。北京医者信息科技有限责任公司(以下简称“医者AI”)成立于2023年,由清华计算机博士、医学博士及AI健康领域成功创...……更多
更多关于科技的资讯:
清华大学安徽校友会AI大数据专委会揭牌
大皖新闻讯 11月20日,清华大学安徽校友会AI大数据专委会揭牌仪式暨人工智能前沿洞察与产业创新论坛在中国视界举行。人工智能是安徽省十大战略性新兴产业之一
2025-11-21 12:23:00
中新经纬11月21日电 据中消协网站21日消息,近日,有媒体曝光了一批盗版剧APP,这些APP不仅盗用大量剧集资源,更会窃取用户个人隐私信息
2025-11-21 12:37:00
“消失的法老”回来了!“BesTV上海博物馆”今天上线 计划实现上海电视用户全覆盖
11月18日,“廿念不忘,帧帧日上——百视通成立20周年分享会”在国际会议中心举行。作为20周年重磅发布之一,由百视通与上海博物馆联合打造的“BesTV上海博物馆”产品正式亮相并登陆上海移动高清电视
2025-11-20 08:06:00
入住4年仍甲醛超标!福建卫视《现场》探访实录,解码智能门的健康升级路径
近日,福州居然之家王力安防门店迎来了一位特别的客人——消费者丁先生专程送来一面写有“贴心服务暖人心,智能监测护健康”的锦旗
2025-11-20 08:06:00
厦门网讯(厦门日报记者 林露虹) 近日,专注于毫米波雷达芯片研发的厦企——矽杰微电子(厦门)有限公司(简称“矽杰微电子”)完成C1轮增资
2025-11-20 08:29:00
厦门围绕“金鸡”品牌 在影视产业链上持续发力
陈铎(中)指导员工进行《活宝档案》动画制作。海丝(厦门)电影工业产业基地施工现场。 厦门网讯(文/图 厦门日报记者 邬秀君)走进位于软件园一期的继来之(厦门)人工智能研究院有限公司
2025-11-20 08:30:00
记者走基层|集装箱“搬上”无人车 解锁配送新技能
11月1日,在廊坊座头鲸科技有限公司智能制造基地,工作人员对蓝丁智能无人配送车底盘进行性能测试。 河北日报记者 刘 杰摄11月1日清晨
2025-11-20 08:49:00
破局之法,精耕之道 《精耕者访谈》第三季·区域之王重磅开启!
11月18日,由蓝河乳业独家冠名的《精耕者访谈》第三季·区域之王正式启动。作为母婴行业首个高端访谈栏目,其始终着眼于市场一线
2025-11-20 09:06:00
北京博大健康体检管理中心盛大启幕 以“科技+精准”重新定义健康管理新标杆
11月18日上午,北京博大健康体检管理中心(简称“博大体检”或“中心”)在京举行开业典礼,正式落地北京经济技术开发区南海绿茵国际园区
2025-11-20 09:06:00
以儿童为本——赖园青的幼儿教育科学实践之路
在人工智能与教育深度融合的浪潮中,如何让技术真正服务于幼儿认知发展?上海浦东新区民办普瑞姆幼儿园园长赖园青用贯穿理论与实践的智慧教育探索
2025-11-20 10:06:00
山东移动招远分公司秋冬宽带服务义诊暖心启动 专业服务守护数字生活
胶东在线11月19日讯(通讯员王少娜徐冰鑫)秋冬时节,居民居家上网需求激增,网络卡顿、信号盲区、设备老化等问题更易影响用户使用体验
2025-11-20 10:17:00
四梯科技重磅发布智能产业工程师证书项目 推动教育科技人才一体化发展
2025年11月14日,在深圳第二十七届中国国际高新技术成果交易会第二届产教融合与科教融汇论坛上,北京四梯科技有限公司(以下简称“四梯科技”)首次面向社会正式发布“四梯智能产业工程师证书项目”(4T SIEC)
2025-11-20 11:37:00
一屏承古韵,元景越千年!联通数智重构文博文创新范式的野望
11月17日,“中华文明起源系列——‘看·见殷商’”展览总结暨博物馆高质量发展研讨会在北京大运河博物馆举行。会上回顾了“看·见殷商”展览的创新实践
2025-11-20 12:07:00
名创优品斩获国际零售地产大奖MAPIC 2025\
在法国戛纳举办的 2025 年全球零售商业地产峰会大奖(MAPIC Awards)中,名创优品凭借其MINISO LAND战略级店态
2025-11-20 14:38:00