• 我的订阅
  • 头条热搜
微软开源爆火1bit大模型推理框架!千亿参数模型量化后单CPU可跑
微软开源1bit大模型推理框架!现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现,开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数(如FP16或BF16)形...……更多
系统级玩家微软、苹果先后出牌,端侧大模型路径清晰了?
落地端侧被认为是大模型走向普及的关键。个人PC和智能手机是当前受众最为广泛的两大终端品类。2023年下半年以来,全球范围内各大PC、手机厂商纷纷通过硬件扩容,尝试将大模型在物理意义上融入终端。直到近期,大模型融...……更多
DeepSeek“朋友圈”不断扩围:10家国内外云厂商宣布接入,供用户按需部署
...儿。1月20日,中国AI初创公司深度求索(DeepSeek)推出大模型DeepSeek-R1。作为一款开源模型,R1在数学、代码、自然语言推理等任务上的性能能够比肩OpenAI o1模型正式版,并采用MIT许可协议,支持免费商用、任意修改和衍生开发等...……更多
蚂蚁自研知识增强大模型服务框架KAG,可显著提升知识推理准确率
...增强的专业智能体” 相关工作,并带来了知识图谱与大模型结合最新研发成果 —— 知识增强大模型服务框架 KAG。梁磊介绍,专业领域增强大模型服务框架 KAG 通过图谱逻辑符号引导决策和检索,显著提升了垂直领域决策的精准...……更多
Meta提出“可持续思维链”,让大模型在连续潜空间中推理
今日值得关注的大模型前沿论文北大团队提出「自定义漫画生成」框架UniReal:通过学习真实世界动态实现通用图像生成和编辑苹果团队提出「可扩展视频生成」方法利用扩散 Transformer 进行视频运动迁移ObjCtrl-2.5D:无需训练的「...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instru...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
微软推出14b参数“最先进”小型语言模型
...13日消息,微软今天宣布推出14B参数“最先进”小型语言模型(SLM)Phi-4,除了传统的语言处理外,它还擅长数学等领域的复杂推理。Phi-4是Phi系列小型语言模型的最新成员,官方表示其展示了微软继续探索SLM边界的可能性。官方...……更多
微软发布旗下最小语言模型phi-2
...会已拉开帷幕,微软在本次活动中发布了旗下最小的语言模型Phi-2,共有27亿参数,相比较此前版本有明显提升。注:微软于今年6月发布Phi-1,只有13亿代码,适用于QA问答、聊天格式和代码等等场景。该模型完全基于高质量数据...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
有CPU就能跑大模型,性能甚至超过NPU/GPU!没错,为了优化模型端侧部署,微软亚洲研究院提出了一种新技术——T-MAC。这项技术主打性价比,不仅能让端侧模型跑得更快,而且资源消耗量更少。咋做到的??在CPU上高效部署低...……更多
微软研究院推出orca2llm
...MicrosoftResearch)近日发布新闻稿,推出了相比较主流语言模型更小的Orca2LLM,不过依然可以回答一些复杂问题。微软Orca2共有70亿和130亿两种尺寸,部分融合了Llama2LLM参数,通过融合定制的高质量合成数据,提供更准确、更优秀的...……更多
小米开源首个推理大模型Xiaomi MiMo:7B参数就超越OpenAI o1-mini
...官方今天正式宣布,开源首个为推理(Reasoning)而生的大模型——Xiaomi MiMo。据介绍,Xiaomi MiMo在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和……更多
NVIDIA RTX显卡AI推理提速5倍!
...Iginte全球技术大会上,微软发布一系列AI相关的全新优化模型、开发工具资源,帮助开发者更深入地释放硬件性能,拓展AI场景。尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说,微软这次送上了一份大礼包,无论是面向OpenAI...……更多
清华团队提出大模型“密度定律”;足球领域首个视觉语言基础模型
今日值得关注的大模型前沿论文SwiftEdit:50 倍速文本引导图像编辑清华团队提出大模型“密度定律”足球领域首个视觉语言基础模型Aguvis:首个完全自主的纯视觉 GUI agentGoogle DeepMind:利用运动轨迹控制视频生成大模型数学新基...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
文|王怡宁编辑|邓咏仪 尚恩一周纵览本周大模型厂商们依旧表现活跃。硅谷大厂方面,Meta更新了编程模型Code Llama 70B,是Code Llama系列中规模最大,性能最强的版本。一款名为“miqu-1-70b”的神秘模型现身Hugging Face,跑分接近GP...……更多
每月141元的ChatGPT Plus订阅重新开放,背后发生了什么?
...新的石油。」图/ X(Twitter) 但算力依然受限,核心是大模型训练、推理都严重依赖于英伟达高端 GPU,而英伟达又受限于台积电先进芯片制造工艺、封装工艺以及韩国 HBM 内存的产能。说到底,还是算力不够用,「供给」赶不上...……更多
百川智能发布baichuan3稳定语言模型
1月29日,百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,Baichuan3都展现了出色的能力,尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表...……更多
微软:从“软件老大”到“AI帝国”
从2009开始开发AI模型,到2019年投资OpenAI,微软正在一步一步成为AI时代的庞然大物。对于微软及其生态系统而言,今年的Ignite技术大会堪称异彩纷呈。微软一口气公布了100多项以 AI 为中心,在云计算基础设施、 模型即服务 MaaS ...……更多
专家模型不要专家并行!微软开源MoE新路径
...日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法...……更多
晶圆级AI芯片WSE-3性能公布:80亿参数模型上每秒生成1800个Token
...上一代WSE-2的两倍,可用于训练业内一些最大的人工智能模型。在近日的Hot Chips 2024大会上,Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示,WSE-3依然是采用了一整张12英寸晶圆来制作,基于台积电5nm制...……更多
微软、英伟达纷纷押注小模型,大模型不香了?
...发展的道路上,科技巨头们曾经竞相开发规模庞大的语言模型,但如今出现了一种新趋势:小型语言模型(SLM)正逐渐崭露头角,挑战着过去“越大越好”的观念。视觉中国当地时间8月21日,微软和英伟达相继发布了最新的小型...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...押注人工智能领域最大的赌注——一种只能运行Transformer模型的芯片,但其运行速度比GPU快几个数量级。也许注意力确实是你所需要的全部...」 Pika研究人员表示,每秒50万token简直太疯狂了。你可以在2秒内写出「圣经」,或者...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
近日,上海算法创新研究院大模型团队的研究员李志宇和同事提出一种情景学习新范式:SLEICL(基于强模型增强的情景学习,Strong LLM Enhanced ICL),能更好地加速小模型的学术研究和产业落地。借助这一方法可以大幅提升小模型...……更多
整合长期记忆,AI实现自我进化,探索大模型这一可能性
...。而这一切背后的机制是进化(evolution)。到了现今的大模型时代,强大的基础模型已经展现出了强大的智能水平,能完成多种多样的任务。但它们也有个缺点,训练之后就基本定型了,难以随着用户的使用而演进。但毫无疑问...……更多
微软被曝未来3年花1000亿美金囤芯片;杨元庆:AI不是取代人类的智能|钛媒体AGI
...媒体App获悉,4月19日,Meta公布期待已久的多模态开源大模型Llama 3系列。同时,Meta还推出了其首款基于Llama 3开源模型的AI聊天机器人产品——AI助手,直接对标ChatGPT-4。与此同时,科技行业裁员消息频出。谷歌宣布从3月10日开始...……更多
5年投资超1000亿,北京公布一系列AI重磅成果,北大清华百度蚂蚁微软大佬齐谈AI未来|钛媒体AGI
...研究中心主任曾毅等多位嘉宾,分别从 AI 数据、算力、模型与框架、应用、产品、治理、未来目标等多个方面分享前沿进展。钛媒体App简要梳理了各个嘉宾的演讲和圆桌的部分内容,以飨读者。5年投资超1000亿、最高重奖1亿元...……更多
Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏
?Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏快科技6月7日消息,Intel官方宣布,旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2(Qwen2)的全球发布提供支持,已取得ModelScope、阿里云PAI、OpenVINO等...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
...年度领先科技奖。腾讯Angel 机器学习平台,突破了万亿级模型分布式训练和推理以及大规模应用部署等难题,率先实现大模型技术从底层硬件到关键软件技术的自主研发,在业务场景广泛应用,显著推动实体产业和数字经济发展...……更多
更多关于科技的资讯:
河北日报讯(见习记者康晓博)12月19日,中国气象局在雄安新区发布气象人工智能科学模型“风源”(以下简称“风源”)。该模型将通过提供开源开放科创平台底座
2025-12-20 08:21:00
2025年,港交所成为中国机器人企业的上市“热土”。据不完全统计,年初至今,超30家机器人相关企业向港交所递交申请表,业务范围覆盖核心零部件
2025-12-20 08:23:00
鲁网12月19日讯为加快数字人民币业务拓展,提升数字钱包渗透率,抢占支付市场与同业市场,工商银行泰安分行精心组织、强力推进数字人民币单位钱包拓展工作
2025-12-20 09:07:00
中国科大提出视觉与波动特征融合的异常检测框架
大皖新闻讯 城市地面下的空洞、裂缝和其他隐蔽灾害如若未被及时发现,会存在一定的安全隐患。12月20日,大皖新闻记者从中国科学技术大学获悉
2025-12-20 11:05:00
12月15日,工信部正式公布我国首批L3级有条件自动驾驶车型准入许可,两款分别面向城市拥堵场景和高速公路场景的车型将在北京
2025-12-20 12:13:00
鲁网12月20日讯为进一步提高服务水平,提升业务竞争力,莱芜农商银行高新区公司业务营销中心优化办贷流程,坚持“我们多跑趟
2025-12-20 15:11:00
这支年轻团队在合肥逐梦星辰 致力打造国内首款电循环液体运载火箭
大皖新闻讯 几天前,关于合肥要造火箭的消息引发外界广泛关注,背后则是合肥星火空间科技有限公司(以下简称星火空间)落户合肥新站高新区
2025-12-20 15:13:00
莱芜农商银行钢城区公司业务营销中心:提升厅堂质效 强化精准赋能
鲁网12月20日讯为进一步深化“以客户为中心”的服务理念,提升金融产品渗透率与客户满意度,近日,莱芜农商银行钢城区公司业务营销中心精心策划并开展了一场主题为“金融惠民进厅堂
2025-12-20 15:13:00
鲁网12月20日讯为强化基础营销工作,深入推进“做小做散”战略,莱芜农商银行公司金融部全面开展“千企万户大营销”基础工作专项活动
2025-12-20 15:13:00
鲁网12月20日讯小微企业是区域经济发展的“毛细血管”,是稳就业、保民生的重要支撑。作为扎根本土的金融机构,莱芜农商银行营业部始终坚持以优质信贷服务支持辖内小微企业发展
2025-12-20 15:14:00
日前,晋塔塔式起重机远程智能辅助驾驶系统正式在太原“锦绣汾东”落地应用,这是太原首次投入使用的塔式起重机智能辅助驾驶系统
2025-12-20 17:48:00
“众星・长白岐黄” 中医药大模型正式发布
由吉林省委命题,长春中医药大学校长冷向阳教授牵头制定并实施《落实“AI+中医”具体行动方案》,吉林工商学院副院长赵佳教授领衔
2025-12-20 19:52:00
厦门网讯 (厦门日报记者 林露虹)来自厦门的光通信电芯片“单项冠军”登陆科创板。昨日,厦门优迅芯片股份有限公司在上交所科创板上市
2025-12-20 08:51:00
摘要:随着企业业务复杂度的提升与项目制运营的普及,多项目并行管理成为企业提升效率与竞争力的重要模式。然而,项目间的资源冲突
2025-12-20 05:18:00
摘要:在健康中国战略引领下,推进特殊人群运动康复指导课程教学改革已成为新时代体育教育与健康服务体系建设的重要任务。本文探讨如何以数智技术深度赋能传统教学模式
2025-12-20 05:18:00