• 我的订阅
  • 头条热搜
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
...语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建和部署成本过高。改善成本 - 性能的一种方法是使...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
...算效率和算力开销两大问题成为新的行业焦点。对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台409...……更多
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...在MMLU(多任务语言理解)、Knowledge(知识)、Reasoning(推理)、Comprehension(理解)等关键指标上均超越了Meta Llama 2的13B模型。这一个故事,在2024年2月1日的发布会上,也被AI模型层公司面壁智能的CEO李大海不断提起。对标Mistral..……更多
大模型新趋势之MoE:现状、挑战及研究方向
...,MoE在训练过程通过门控模型实现“因材施教”,进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化,在模型研发成本、训练/推理效率和整体性能之间实现最佳...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...类型的信息:- 仅输入和输出文本,也就是少样本学习- 推理追踪:添加中间推理步骤,可参阅思维链(COT)提示- 计划和反思追踪:添加信息,教LLM计划和反思其解决问题的策略,可参阅ReACT 选择正确的适配方法要决定上述哪...……更多
百川智能发布baichuan3稳定语言模型
...处理和代码生成领域的强大实力。不仅如此,其在对逻辑推理能力及专业性要求极高的MCMLE、MedExam、CMExam等权威医疗评测上的中文效果同样超过了GPT-4,是中文医疗任务表现最佳的大模型。Baichuan3还突破“迭代式强化学习”技术...……更多
模型即服务,卓世科技MaaS平台 2.0 正式上线
...。本次新上线了包括:模型训练新基座,支持模型训练、推理、量化、评测等功能。 卓世科技MaaS平台是一款基于知识增强大模型的一站式行业模型训练开发平台。面向开发者和企业提供从基础算力服务、数据服务、模型训练服...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
...十亿左右。“做大”,能让大模型具备更强的涌现能力和推理能力,从而适用于难度更高的任务。“做小”,能让大模型获得更优秀的推理能力,从而能被部署到手机、手表、耳机、录音笔等各类小微终端之中。情景学习(ICL,...……更多
GPT刚刚公开「草莓」项目:推理能力翻倍,定价200美元?
... OpenAI 在大语言模型领域的新尝试,也可能是对人工智能推理能力一次新的革命性提升。根据目前流出的信息来看,相比以往的 GPT 模型,「草莓」在处理复杂问题、执行多步骤任务方面展现出前所未有的潜力,使其成为通用人...……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?
大模型预训练“缩放定律”定律失效?模型推理成“解药”,英伟达一家独大格局要变天?“缩放定律”指导下,AI大模型预训练目前遭遇瓶颈。据路透12日报道,硅谷主要AI实验室的新模型训练计划目前普遍进展不顺,新模型...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
...到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多个同类模型。包括国内千亿MoE模型 Skywork-MoE、传统MoE霸主Mixtral-8x22B 以及3140亿参数的Mo...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数,……更多
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
...用于自身业务优化并对外开放合作。 大模型分为训练和推理两个过程,前者将大模型训练成型,后者即为应用。由于训练大模型需极大算力,开发成本高昂,业界多有关于不需“重复造轮”的讨论。例如,入场做大模型后,百...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...The」。完整的回复,花了整整20个小时熟悉模型的训练和推理的朋友都知道,这些事情一点都不奇怪。集群搭建(GPU配置、网络设计、轨道优化等)、集群管理(实时监控、故障排除等)……个个都是「拦路虎」。对于缺乏相关...……更多
腾讯开源最大MoE大语言模型!3D大模型同时支持文/图生成,晒混元模型及应用全家桶
...型,MoE模型在相同成本下效果更优,在相同规模下训练/推理成本更低,而且容量大,可训练更多数据。当前MoE的挑战有训练稳定性差、专家负载不均衡等。 一些应对方案包括:1)Scaling Law探索,设计基于中小模型簇的MoE Scaling ...……更多
腾讯发布最大开源MoE模型,3890亿参数免费可商用
...含四个主要任务:信息抽取、信息定位、定性分析和数值推理。不同于现有的长文本基准测试,”企鹅卷轴”有以下几个优势:数据多样性:”企鹅卷轴”包含了各种真实场景下的长文本,如财务报告、法律文档、学术论文等,...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...精度,还显著降低了计算负担,完美解决了时序大模型在推理阶段的计算瓶颈。2. 灵活的预测范围:Time-MoE支持任意长度的输入和输出范围,能够处理从短期到长期的各种时序预测任务,实现了真正的全域时序预测。3. 全球最大...……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...并发、技术自主可控方面具有优势的新选择。AI大模型在推理侧的新机遇与RISC-V创新架构具有的可扩展性、可编程性、超大规模等优势特点不谋而合。技术和场景应用的双重优势下,希姆计算的大模型一体机能支撑企业将基座模...……更多
零一万物Yi-1.5来了,国产开源大模型排行榜再次刷新
... Yi-1.0 的持续预训练版本,使用 500B 个 token 来提高编码、推理和指令执行能力,并在 300 万个指令调优样本上进行了精细调整。刚一发布,就已经有开发者跃跃欲试:并收获了好评: 与前序模型相比,Yi-1.5 系列模型进一步提升...……更多
空天信息+人工智能 中国科研团队成功研发遥感智能训推一体机
...发成功一款命名为“空天·灵犀”的遥感智能训(训练)推(推理)一体机。“空天·灵犀”遥感智能训推一体机。中国科学院空天院 供图“空天·灵犀”遥感智能训推一体机搭载的高精度、高时效轻量化基础模型,能够在自然资源、...……更多
突破遥感基础模型关键技术!我国科研人员研发出遥感智能训推一体机
...然而,遥感单幅影像幅宽大、基础模型参数规模大,导致推理速度与应用场景较为受限。近日,中国科学院空天信息创新研究院(空天院)科研团队基于自主研制的遥感智能解译基础模型,联合国内相关研发机构,共同研发出“...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
... 2此次提供的90亿(9B)和270亿(27B)参数的两个版本,其推理性能和效率均优于第一代,并具有显著的安全性改进。事实上,270亿参数版本可以与体积超过其两倍的模型进行同等级别的竞争,并且提供了此前只有专有模型才能实...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
...闭源的商业模型会配套相应的工具链,包括训练工具链、推理工具链,这些工具链的性能要比开源的好,对于客户来说,训练就能省大概10~20%的硬件成本,推理的时候省得更多,业务规模越大,省得越多。第二层,看模型带来的...……更多
晶圆级AI芯片WSE-3性能公布:80亿参数模型上每秒生成1800个Token
...Hot Chips 2024大会上,Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示,WSE-3依然是采用了一整张12英寸晶圆来制作,基于台积电5nm制程,芯片面积为46225平方毫米,拥有的晶体管数量达到了4万亿个,拥有90...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
... Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可……更多
大模型“免费”送,厂商们图什么?
...,零一万物CEO李开复接受采访时表示:“未来整个行业的推理成本每年降低10倍是可以期待的,而且这个趋势是必然的。”未来,大模型的成本将呈阶梯状下探,但目前大模型的价格却断崖式下探,甚至部分企业免费送,降价幅...……更多
更多关于科技的资讯:
清华大学安徽校友会AI大数据专委会揭牌
大皖新闻讯 11月20日,清华大学安徽校友会AI大数据专委会揭牌仪式暨人工智能前沿洞察与产业创新论坛在中国视界举行。人工智能是安徽省十大战略性新兴产业之一
2025-11-21 12:23:00
中新经纬11月21日电 据中消协网站21日消息,近日,有媒体曝光了一批盗版剧APP,这些APP不仅盗用大量剧集资源,更会窃取用户个人隐私信息
2025-11-21 12:37:00
“消失的法老”回来了!“BesTV上海博物馆”今天上线 计划实现上海电视用户全覆盖
11月18日,“廿念不忘,帧帧日上——百视通成立20周年分享会”在国际会议中心举行。作为20周年重磅发布之一,由百视通与上海博物馆联合打造的“BesTV上海博物馆”产品正式亮相并登陆上海移动高清电视
2025-11-20 08:06:00
入住4年仍甲醛超标!福建卫视《现场》探访实录,解码智能门的健康升级路径
近日,福州居然之家王力安防门店迎来了一位特别的客人——消费者丁先生专程送来一面写有“贴心服务暖人心,智能监测护健康”的锦旗
2025-11-20 08:06:00
厦门网讯(厦门日报记者 林露虹) 近日,专注于毫米波雷达芯片研发的厦企——矽杰微电子(厦门)有限公司(简称“矽杰微电子”)完成C1轮增资
2025-11-20 08:29:00
厦门围绕“金鸡”品牌 在影视产业链上持续发力
陈铎(中)指导员工进行《活宝档案》动画制作。海丝(厦门)电影工业产业基地施工现场。 厦门网讯(文/图 厦门日报记者 邬秀君)走进位于软件园一期的继来之(厦门)人工智能研究院有限公司
2025-11-20 08:30:00
记者走基层|集装箱“搬上”无人车 解锁配送新技能
11月1日,在廊坊座头鲸科技有限公司智能制造基地,工作人员对蓝丁智能无人配送车底盘进行性能测试。 河北日报记者 刘 杰摄11月1日清晨
2025-11-20 08:49:00
破局之法,精耕之道 《精耕者访谈》第三季·区域之王重磅开启!
11月18日,由蓝河乳业独家冠名的《精耕者访谈》第三季·区域之王正式启动。作为母婴行业首个高端访谈栏目,其始终着眼于市场一线
2025-11-20 09:06:00
北京博大健康体检管理中心盛大启幕 以“科技+精准”重新定义健康管理新标杆
11月18日上午,北京博大健康体检管理中心(简称“博大体检”或“中心”)在京举行开业典礼,正式落地北京经济技术开发区南海绿茵国际园区
2025-11-20 09:06:00
以儿童为本——赖园青的幼儿教育科学实践之路
在人工智能与教育深度融合的浪潮中,如何让技术真正服务于幼儿认知发展?上海浦东新区民办普瑞姆幼儿园园长赖园青用贯穿理论与实践的智慧教育探索
2025-11-20 10:06:00
山东移动招远分公司秋冬宽带服务义诊暖心启动 专业服务守护数字生活
胶东在线11月19日讯(通讯员王少娜徐冰鑫)秋冬时节,居民居家上网需求激增,网络卡顿、信号盲区、设备老化等问题更易影响用户使用体验
2025-11-20 10:17:00
四梯科技重磅发布智能产业工程师证书项目 推动教育科技人才一体化发展
2025年11月14日,在深圳第二十七届中国国际高新技术成果交易会第二届产教融合与科教融汇论坛上,北京四梯科技有限公司(以下简称“四梯科技”)首次面向社会正式发布“四梯智能产业工程师证书项目”(4T SIEC)
2025-11-20 11:37:00
一屏承古韵,元景越千年!联通数智重构文博文创新范式的野望
11月17日,“中华文明起源系列——‘看·见殷商’”展览总结暨博物馆高质量发展研讨会在北京大运河博物馆举行。会上回顾了“看·见殷商”展览的创新实践
2025-11-20 12:07:00
名创优品斩获国际零售地产大奖MAPIC 2025\
在法国戛纳举办的 2025 年全球零售商业地产峰会大奖(MAPIC Awards)中,名创优品凭借其MINISO LAND战略级店态
2025-11-20 14:38:00