• 我的订阅
  • 头条热搜
微软开源爆火1bit大模型推理框架!千亿参数模型量化后单CPU可跑
微软开源1bit大模型推理框架!现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现,开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数(如FP16或BF16)形...……更多
系统级玩家微软、苹果先后出牌,端侧大模型路径清晰了?
落地端侧被认为是大模型走向普及的关键。个人PC和智能手机是当前受众最为广泛的两大终端品类。2023年下半年以来,全球范围内各大PC、手机厂商纷纷通过硬件扩容,尝试将大模型在物理意义上融入终端。直到近期,大模型融...……更多
蚂蚁自研知识增强大模型服务框架KAG,可显著提升知识推理准确率
...增强的专业智能体” 相关工作,并带来了知识图谱与大模型结合最新研发成果 —— 知识增强大模型服务框架 KAG。梁磊介绍,专业领域增强大模型服务框架 KAG 通过图谱逻辑符号引导决策和检索,显著提升了垂直领域决策的精准...……更多
Meta提出“可持续思维链”,让大模型在连续潜空间中推理
今日值得关注的大模型前沿论文北大团队提出「自定义漫画生成」框架UniReal:通过学习真实世界动态实现通用图像生成和编辑苹果团队提出「可扩展视频生成」方法利用扩散 Transformer 进行视频运动迁移ObjCtrl-2.5D:无需训练的「...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instru...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
微软推出14b参数“最先进”小型语言模型
...13日消息,微软今天宣布推出14B参数“最先进”小型语言模型(SLM)Phi-4,除了传统的语言处理外,它还擅长数学等领域的复杂推理。Phi-4是Phi系列小型语言模型的最新成员,官方表示其展示了微软继续探索SLM边界的可能性。官方...……更多
微软发布旗下最小语言模型phi-2
...会已拉开帷幕,微软在本次活动中发布了旗下最小的语言模型Phi-2,共有27亿参数,相比较此前版本有明显提升。注:微软于今年6月发布Phi-1,只有13亿代码,适用于QA问答、聊天格式和代码等等场景。该模型完全基于高质量数据...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
有CPU就能跑大模型,性能甚至超过NPU/GPU!没错,为了优化模型端侧部署,微软亚洲研究院提出了一种新技术——T-MAC。这项技术主打性价比,不仅能让端侧模型跑得更快,而且资源消耗量更少。咋做到的??在CPU上高效部署低...……更多
微软研究院推出orca2llm
...MicrosoftResearch)近日发布新闻稿,推出了相比较主流语言模型更小的Orca2LLM,不过依然可以回答一些复杂问题。微软Orca2共有70亿和130亿两种尺寸,部分融合了Llama2LLM参数,通过融合定制的高质量合成数据,提供更准确、更优秀的...……更多
NVIDIA RTX显卡AI推理提速5倍!
...Iginte全球技术大会上,微软发布一系列AI相关的全新优化模型、开发工具资源,帮助开发者更深入地释放硬件性能,拓展AI场景。尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说,微软这次送上了一份大礼包,无论是面向OpenAI...……更多
清华团队提出大模型“密度定律”;足球领域首个视觉语言基础模型
今日值得关注的大模型前沿论文SwiftEdit:50 倍速文本引导图像编辑清华团队提出大模型“密度定律”足球领域首个视觉语言基础模型Aguvis:首个完全自主的纯视觉 GUI agentGoogle DeepMind:利用运动轨迹控制视频生成大模型数学新基...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
文|王怡宁编辑|邓咏仪 尚恩一周纵览本周大模型厂商们依旧表现活跃。硅谷大厂方面,Meta更新了编程模型Code Llama 70B,是Code Llama系列中规模最大,性能最强的版本。一款名为“miqu-1-70b”的神秘模型现身Hugging Face,跑分接近GP...……更多
每月141元的ChatGPT Plus订阅重新开放,背后发生了什么?
...新的石油。」图/ X(Twitter) 但算力依然受限,核心是大模型训练、推理都严重依赖于英伟达高端 GPU,而英伟达又受限于台积电先进芯片制造工艺、封装工艺以及韩国 HBM 内存的产能。说到底,还是算力不够用,「供给」赶不上...……更多
百川智能发布baichuan3稳定语言模型
1月29日,百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,Baichuan3都展现了出色的能力,尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表...……更多
微软:从“软件老大”到“AI帝国”
从2009开始开发AI模型,到2019年投资OpenAI,微软正在一步一步成为AI时代的庞然大物。对于微软及其生态系统而言,今年的Ignite技术大会堪称异彩纷呈。微软一口气公布了100多项以 AI 为中心,在云计算基础设施、 模型即服务 MaaS ...……更多
专家模型不要专家并行!微软开源MoE新路径
...日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法...……更多
晶圆级AI芯片WSE-3性能公布:80亿参数模型上每秒生成1800个Token
...上一代WSE-2的两倍,可用于训练业内一些最大的人工智能模型。在近日的Hot Chips 2024大会上,Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示,WSE-3依然是采用了一整张12英寸晶圆来制作,基于台积电5nm制...……更多
微软、英伟达纷纷押注小模型,大模型不香了?
...发展的道路上,科技巨头们曾经竞相开发规模庞大的语言模型,但如今出现了一种新趋势:小型语言模型(SLM)正逐渐崭露头角,挑战着过去“越大越好”的观念。视觉中国当地时间8月21日,微软和英伟达相继发布了最新的小型...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...押注人工智能领域最大的赌注——一种只能运行Transformer模型的芯片,但其运行速度比GPU快几个数量级。也许注意力确实是你所需要的全部...」 Pika研究人员表示,每秒50万token简直太疯狂了。你可以在2秒内写出「圣经」,或者...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
近日,上海算法创新研究院大模型团队的研究员李志宇和同事提出一种情景学习新范式:SLEICL(基于强模型增强的情景学习,Strong LLM Enhanced ICL),能更好地加速小模型的学术研究和产业落地。借助这一方法可以大幅提升小模型...……更多
整合长期记忆,AI实现自我进化,探索大模型这一可能性
...。而这一切背后的机制是进化(evolution)。到了现今的大模型时代,强大的基础模型已经展现出了强大的智能水平,能完成多种多样的任务。但它们也有个缺点,训练之后就基本定型了,难以随着用户的使用而演进。但毫无疑问...……更多
微软被曝未来3年花1000亿美金囤芯片;杨元庆:AI不是取代人类的智能|钛媒体AGI
...媒体App获悉,4月19日,Meta公布期待已久的多模态开源大模型Llama 3系列。同时,Meta还推出了其首款基于Llama 3开源模型的AI聊天机器人产品——AI助手,直接对标ChatGPT-4。与此同时,科技行业裁员消息频出。谷歌宣布从3月10日开始...……更多
5年投资超1000亿,北京公布一系列AI重磅成果,北大清华百度蚂蚁微软大佬齐谈AI未来|钛媒体AGI
...研究中心主任曾毅等多位嘉宾,分别从 AI 数据、算力、模型与框架、应用、产品、治理、未来目标等多个方面分享前沿进展。钛媒体App简要梳理了各个嘉宾的演讲和圆桌的部分内容,以飨读者。5年投资超1000亿、最高重奖1亿元...……更多
Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏
?Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏快科技6月7日消息,Intel官方宣布,旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2(Qwen2)的全球发布提供支持,已取得ModelScope、阿里云PAI、OpenVINO等...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
...年度领先科技奖。腾讯Angel 机器学习平台,突破了万亿级模型分布式训练和推理以及大规模应用部署等难题,率先实现大模型技术从底层硬件到关键软件技术的自主研发,在业务场景广泛应用,显著推动实体产业和数字经济发展...……更多
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...、张钊为、汪明志、钟伊凡等。团队就强化学习方法及大模型的后训练对齐技术开展了一系列重要工作,包括 Aligner(NeurIPS 2024 Oral)、ProgressGym(NeurIPS 2024 Spotlight)以及 Safe-RLHF(ICLR 2024 Spotlight)等系列……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...显存具备更大的容量和更高带宽,可以支持超大参数的大模型训练与推理。官方给出的参数显示,H200相较上一代产品在Llama2和ChatGPT的训练速度分别能提升40%和60%。 可以看出,从MI300X到H200,再到Maia100,大厂对训练参数量、训练...……更多
更多关于科技的资讯:
富士胶片X-SPACE迎来七周年朋友月 胶片模拟色彩配方书籍特别发布
2025年10月,富士胶片(中国)投资有限公司旗下X-SPACE富士胶片影像空间(以下简称"X-SPACE")迎来成立七周年
2025-10-29 10:59:00
河北纳科生物科技有限公司专利获雄安高价值专利大赛银奖
河北新闻网讯(钟蕾)近日,推进京津冀知识产权高质量发展暨2025・雄安高价值专利大赛颁奖活动在雄安新区举行。石家庄高新区优秀创新企业河北纳科生物科技有限公司凭借其核心专利“重组人胶原蛋白的制备和产业化应用”
2025-10-29 11:11:00
10月28日,盒马鲜生与茂业集团合作签约暨山西首店落地仪式在小店区举行。盒马鲜生是阿里巴巴集团旗下的新零售业态,是线上电商与线下零售的结合体
2025-10-29 08:11:00
永清推动服装服饰与文旅、物流等深度融合,构建“设计+生产+展示+销售+物流+文旅”产业链条
永清推动服装服饰与文旅、物流等深度融合,构建“设计+生产+展示+销售+物流+文旅”产业链条融合发展,打造京南时尚产业新城10月23日航拍的永清县云裳小镇
2025-10-29 07:24:00
2025青岛虚拟现实创新大会在即,乐相科技分享产业洞察
鲁网10月28日讯随着虚拟现实技术的蓬勃发展,行业年度盛会——2025青岛虚拟现实创新大会即将在崂山区启幕。作为国内最早布局虚拟现实产业的地区之一
2025-10-28 14:03:00
物生物RELEA联手宫里的世界打造首个联名系列,惊艳深圳礼品展
随着第33届中国(深圳)国际礼品及家居用品展览会的大幕徐徐拉开,全球礼品与家居行业的目光再度聚焦于这座充满创新活力的城市
2025-10-28 14:21:00
京东工业与铜陵化学工业集团签署战略合作 共筑化工行业数智供应链新标杆
10月27日,铜陵化学工业集团有限公司(以下简称“铜化集团”)与北京京东数智工业科技有限公司(以下简称“京东工业”)正式签署战略合作协议
2025-10-28 14:25:00
广州两家“黑珍珠”餐厅入驻大众点评品质外卖,上线专属“主厨推荐单人工作餐”
这届打工人有福了,午休时间点外卖就能尝到“黑珍珠”餐厅的品质美味。10月28日,广州炳胜公馆(珠江新城店)、炳胜私厨(中达旗舰店)两家2025“黑珍珠”上榜餐厅正式入驻大众点评“品质外卖”
2025-10-28 14:25:00
XREAL与广和通达成战略合作,共启AI眼镜产业新纪元
10月27日,广和通与行业头部AR眼镜科技公司XREAL宣布达成战略合作,共同推动消费级AI眼镜产业迈向新纪元。双方将以领先的技术实力与制造能力
2025-10-28 14:51:00
近日,国内规模最大的直营租车平台神州租车正式推出品质服务月“脏必赔”服务保障机制,宣布自2025年10月24日起,用户如在取车后发现车辆清洁不达标
2025-10-28 16:52:00
超80%宁波上市公司用钉钉,钉钉AI助力宁波走向硬核智造
10月28日,以“AI时代的工作方式”为主题的钉峰会在浙江宁波举办。本次峰会由阿里巴巴旗下AI办公平台钉钉主办,吸引了来自制造
2025-10-28 16:57:00
支付宝带31个境外钱包来华消费 超400个友好商圈提前迎客
“我们很高兴与蚂蚁国际、与Alipay+合作,这不仅便利乌兹别克斯坦用户游全球、看中国,相信更是中乌科技合作的典范。”乌兹别克斯坦二维码网络 HUMO的董事会第一副主席马克萨德·穆希特迪诺夫说
2025-10-28 17:15:00
NMN哪个牌子效果好?十大高口碑NMN产品推荐,国产进口口服抗衰老
2025国家级新刊《抗衰老医学专刊》首刊定调:NAD+前体补充剂已成全民抗衰刚需,其中NMN机制明确、临床数据扎实,稳居市场C位
2025-10-28 17:15:00
2025年10月板材十大品牌年度实力回顾 环保品质与贴心服务双重保障
2025年第四季度已经过半,回顾全年板材市场销量和用户体验均有不错表现的前十品牌,板材作为家居装修和建筑工程的基础材料
2025-10-28 17:16:00
一、GEO 优化核心简介GEO(生成式引擎优化)是 AI 搜索时代的核心流量技术,通过适配豆包、DeepSeek 等主流 AI 平台算法
2025-10-28 17:18:00