• 我的订阅
  • 头条热搜
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
...语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建和部署成本过高。改善成本 - 性能的一种方法是使...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
...算效率和算力开销两大问题成为新的行业焦点。对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台409...……更多
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...在MMLU(多任务语言理解)、Knowledge(知识)、Reasoning(推理)、Comprehension(理解)等关键指标上均超越了Meta Llama 2的13B模型。这一个故事,在2024年2月1日的发布会上,也被AI模型层公司面壁智能的CEO李大海不断提起。对标Mistral..……更多
大模型新趋势之MoE:现状、挑战及研究方向
...,MoE在训练过程通过门控模型实现“因材施教”,进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化,在模型研发成本、训练/推理效率和整体性能之间实现最佳...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...类型的信息:- 仅输入和输出文本,也就是少样本学习- 推理追踪:添加中间推理步骤,可参阅思维链(COT)提示- 计划和反思追踪:添加信息,教LLM计划和反思其解决问题的策略,可参阅ReACT 选择正确的适配方法要决定上述哪...……更多
模型即服务,卓世科技MaaS平台 2.0 正式上线
...。本次新上线了包括:模型训练新基座,支持模型训练、推理、量化、评测等功能。 卓世科技MaaS平台是一款基于知识增强大模型的一站式行业模型训练开发平台。面向开发者和企业提供从基础算力服务、数据服务、模型训练服...……更多
百川智能发布baichuan3稳定语言模型
...处理和代码生成领域的强大实力。不仅如此,其在对逻辑推理能力及专业性要求极高的MCMLE、MedExam、CMExam等权威医疗评测上的中文效果同样超过了GPT-4,是中文医疗任务表现最佳的大模型。Baichuan3还突破“迭代式强化学习”技术...……更多
GPT刚刚公开「草莓」项目:推理能力翻倍,定价200美元?
... OpenAI 在大语言模型领域的新尝试,也可能是对人工智能推理能力一次新的革命性提升。根据目前流出的信息来看,相比以往的 GPT 模型,「草莓」在处理复杂问题、执行多步骤任务方面展现出前所未有的潜力,使其成为通用人...……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
...十亿左右。“做大”,能让大模型具备更强的涌现能力和推理能力,从而适用于难度更高的任务。“做小”,能让大模型获得更优秀的推理能力,从而能被部署到手机、手表、耳机、录音笔等各类小微终端之中。情景学习(ICL,...……更多
影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?
大模型预训练“缩放定律”定律失效?模型推理成“解药”,英伟达一家独大格局要变天?“缩放定律”指导下,AI大模型预训练目前遭遇瓶颈。据路透12日报道,硅谷主要AI实验室的新模型训练计划目前普遍进展不顺,新模型...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
...到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多个同类模型。包括国内千亿MoE模型 Skywork-MoE、传统MoE霸主Mixtral-8x22B 以及3140亿参数的Mo...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数,……更多
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
...用于自身业务优化并对外开放合作。 大模型分为训练和推理两个过程,前者将大模型训练成型,后者即为应用。由于训练大模型需极大算力,开发成本高昂,业界多有关于不需“重复造轮”的讨论。例如,入场做大模型后,百...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...The」。完整的回复,花了整整20个小时熟悉模型的训练和推理的朋友都知道,这些事情一点都不奇怪。集群搭建(GPU配置、网络设计、轨道优化等)、集群管理(实时监控、故障排除等)……个个都是「拦路虎」。对于缺乏相关...……更多
腾讯开源最大MoE大语言模型!3D大模型同时支持文/图生成,晒混元模型及应用全家桶
...型,MoE模型在相同成本下效果更优,在相同规模下训练/推理成本更低,而且容量大,可训练更多数据。当前MoE的挑战有训练稳定性差、专家负载不均衡等。 一些应对方案包括:1)Scaling Law探索,设计基于中小模型簇的MoE Scaling ...……更多
腾讯发布最大开源MoE模型,3890亿参数免费可商用
...含四个主要任务:信息抽取、信息定位、定性分析和数值推理。不同于现有的长文本基准测试,”企鹅卷轴”有以下几个优势:数据多样性:”企鹅卷轴”包含了各种真实场景下的长文本,如财务报告、法律文档、学术论文等,...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...精度,还显著降低了计算负担,完美解决了时序大模型在推理阶段的计算瓶颈。2. 灵活的预测范围:Time-MoE支持任意长度的输入和输出范围,能够处理从短期到长期的各种时序预测任务,实现了真正的全域时序预测。3. 全球最大...……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...并发、技术自主可控方面具有优势的新选择。AI大模型在推理侧的新机遇与RISC-V创新架构具有的可扩展性、可编程性、超大规模等优势特点不谋而合。技术和场景应用的双重优势下,希姆计算的大模型一体机能支撑企业将基座模...……更多
零一万物Yi-1.5来了,国产开源大模型排行榜再次刷新
... Yi-1.0 的持续预训练版本,使用 500B 个 token 来提高编码、推理和指令执行能力,并在 300 万个指令调优样本上进行了精细调整。刚一发布,就已经有开发者跃跃欲试:并收获了好评: 与前序模型相比,Yi-1.5 系列模型进一步提升...……更多
空天信息+人工智能 中国科研团队成功研发遥感智能训推一体机
...发成功一款命名为“空天·灵犀”的遥感智能训(训练)推(推理)一体机。“空天·灵犀”遥感智能训推一体机。中国科学院空天院 供图“空天·灵犀”遥感智能训推一体机搭载的高精度、高时效轻量化基础模型,能够在自然资源、...……更多
突破遥感基础模型关键技术!我国科研人员研发出遥感智能训推一体机
...然而,遥感单幅影像幅宽大、基础模型参数规模大,导致推理速度与应用场景较为受限。近日,中国科学院空天信息创新研究院(空天院)科研团队基于自主研制的遥感智能解译基础模型,联合国内相关研发机构,共同研发出“...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
... 2此次提供的90亿(9B)和270亿(27B)参数的两个版本,其推理性能和效率均优于第一代,并具有显著的安全性改进。事实上,270亿参数版本可以与体积超过其两倍的模型进行同等级别的竞争,并且提供了此前只有专有模型才能实...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
...闭源的商业模型会配套相应的工具链,包括训练工具链、推理工具链,这些工具链的性能要比开源的好,对于客户来说,训练就能省大概10~20%的硬件成本,推理的时候省得更多,业务规模越大,省得越多。第二层,看模型带来的...……更多
晶圆级AI芯片WSE-3性能公布:80亿参数模型上每秒生成1800个Token
...Hot Chips 2024大会上,Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示,WSE-3依然是采用了一整张12英寸晶圆来制作,基于台积电5nm制程,芯片面积为46225平方毫米,拥有的晶体管数量达到了4万亿个,拥有90...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
... Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可……更多
大模型“免费”送,厂商们图什么?
...,零一万物CEO李开复接受采访时表示:“未来整个行业的推理成本每年降低10倍是可以期待的,而且这个趋势是必然的。”未来,大模型的成本将呈阶梯状下探,但目前大模型的价格却断崖式下探,甚至部分企业免费送,降价幅...……更多
更多关于科技的资讯:
安聪慧透露品牌新战略:极氪向上发展、领克拓宽市场
快科技12月23日消息,吉利控股集团总裁、吉利汽车集团董事长、极氪智能科技CEO安聪慧在群访中透露,极氪与领克已于今年11月完成战略整合
2024-12-23 16:03:00
造物数科PCB Layout设计揭秘:多层厚铜PCB起泡原因
多层厚铜PCB在电子产品中扮演着至关重要的角色,尤其是在高电流和高可靠性应用中。然而,制造过程中,厚铜PCB有时会出现起泡现象
2024-12-23 16:03:00
滁州学院成立人工智能学院
本文转自:人民网-安徽频道近日,滁州学院公布校内机构调整设置显示,该校人工智能学院(应急管理学院)正式成立。此前,在11月23日举行的滁州学院高质量特色发展研讨会上
2024-12-23 16:11:00
从加盟到运营,塔斯汀中国汉堡的一站式培训服务
在众多加盟品牌中,塔斯汀中国汉堡以其独特的培训体系脱颖而出。通过7大培训基地和14省份标准培训店的覆盖,塔斯汀为创业者提供全周期服务
2024-12-23 16:12:00
缅甸网费不断上涨,民众负担加重
缅甸国内网络使用费用上涨,因此很多通过上网学习和工作的人遇到困难。一名需要通过网上学习的女性称,以前每月购买的无限流量是15000缅币30G
2024-12-23 16:12:00
本文转自:人民网-黑龙江频道人民网哈尔滨12月23日电 (尚城)12月23日,2025年第九届亚冬会执委会召开哈尔滨2025年第九届亚洲冬季运动会第二场筹办工作新闻发布会
2024-12-23 16:13:00
本文转自:人民网-安徽频道天线转台,是用于支撑和调整雷达天线或反射面的位置和方向的大型传动构件。它主要由转盘,电机、减速器
2024-12-23 16:20:00
连续7年销量领先,百草味2025年货礼盒全新升级
春节申遗成功,进一步增强了大众对春节文化的认同感和自信感,也让无数人对春节满怀憧憬与期待。据艾媒咨询发布的《2024年中国新春礼盒消费者行为洞察报告》显示
2024-12-23 16:20:00
吾尚乳酸菌新工厂投产 引领中国乳酸菌饮品行业新风尚
消费日报网讯(记者 马佳丽)12月19日至21日,第二届中国乳酸菌饮品向上盛典暨吾尚新工厂正式投产仪式在杭州隆重举行。此次盛会汇聚了来自全国各地的数百名吾尚优秀经销商代表与行业大咖
2024-12-23 16:21:00
中国移动提出首个系统性6G网络架构
本文转自:人民雄安网人民网雄安12月23日电 (记者李雪晴)2024开源无线生态峰会日前在雄安新区举办,中国移动集团研究院技术专家王楚天在会上提到
2024-12-23 16:26:00
“客服来电”怀疑有诈?抖音上线“验证助手”帮助用户防范诈骗
23日,抖音为进一步保障用户安全,推出一款名为“验证助手”的小工具,旨在帮助用户精准识别和验证来电号码、短信内容以及网址链接是否来自抖音官方
2024-12-23 16:32:00
“三眼灯”遭调侃:蔚来萤火虫有争议是好事
过去两天,蔚来再次成为话题制造机。NIO Day 2024现场,蔚来发了两款新车,其一是价格78.8万的ET9,这款车是蔚来造车十年的旗舰产品
2024-12-23 16:33:00
微信新功能+1!视频号评论区可以斗图了:动图、静图都能发
快科技12月23日消息,今日,“微信派”公众号宣布,微信新功能——视频号评论区斗图上线,在评论区可以发表情包了。据了解
2024-12-23 16:33:00
王腾宣布REDMI Turbo 4全球首发天玑8400-Ultra:1月见
快科技12月23日消息,今天下午,天玑8400正式亮相。REDMI总经理王腾登台并宣布,REDMI Turbo 4全球首发天玑8400-Ultra移动平台
2024-12-23 16:33:00
潜水员在水下被海鳗咬伤:他流的血竟变成了绿色
蒂姆 · 鲍威尔(Tim Powell)是一位潜水爱好者,在 2010 年的时候,他上传了一个视频,在约 20 米的海洋里
2024-12-23 16:33:00