• 我的订阅
  • 头条热搜
微软开源爆火1bit大模型推理框架!千亿参数模型量化后单CPU可跑
微软开源1bit大模型推理框架!现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现,开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数(如FP16或BF16)形...……更多
系统级玩家微软、苹果先后出牌,端侧大模型路径清晰了?
落地端侧被认为是大模型走向普及的关键。个人PC和智能手机是当前受众最为广泛的两大终端品类。2023年下半年以来,全球范围内各大PC、手机厂商纷纷通过硬件扩容,尝试将大模型在物理意义上融入终端。直到近期,大模型融...……更多
蚂蚁自研知识增强大模型服务框架KAG,可显著提升知识推理准确率
...增强的专业智能体” 相关工作,并带来了知识图谱与大模型结合最新研发成果 —— 知识增强大模型服务框架 KAG。梁磊介绍,专业领域增强大模型服务框架 KAG 通过图谱逻辑符号引导决策和检索,显著提升了垂直领域决策的精准...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instru...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
微软发布旗下最小语言模型phi-2
...会已拉开帷幕,微软在本次活动中发布了旗下最小的语言模型Phi-2,共有27亿参数,相比较此前版本有明显提升。注:微软于今年6月发布Phi-1,只有13亿代码,适用于QA问答、聊天格式和代码等等场景。该模型完全基于高质量数据...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
有CPU就能跑大模型,性能甚至超过NPU/GPU!没错,为了优化模型端侧部署,微软亚洲研究院提出了一种新技术——T-MAC。这项技术主打性价比,不仅能让端侧模型跑得更快,而且资源消耗量更少。咋做到的??在CPU上高效部署低...……更多
微软研究院推出orca2llm
...MicrosoftResearch)近日发布新闻稿,推出了相比较主流语言模型更小的Orca2LLM,不过依然可以回答一些复杂问题。微软Orca2共有70亿和130亿两种尺寸,部分融合了Llama2LLM参数,通过融合定制的高质量合成数据,提供更准确、更优秀的...……更多
NVIDIA RTX显卡AI推理提速5倍!
...Iginte全球技术大会上,微软发布一系列AI相关的全新优化模型、开发工具资源,帮助开发者更深入地释放硬件性能,拓展AI场景。尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说,微软这次送上了一份大礼包,无论是面向OpenAI...……更多
百川智能发布baichuan3稳定语言模型
1月29日,百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,Baichuan3都展现了出色的能力,尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
文|王怡宁编辑|邓咏仪 尚恩一周纵览本周大模型厂商们依旧表现活跃。硅谷大厂方面,Meta更新了编程模型Code Llama 70B,是Code Llama系列中规模最大,性能最强的版本。一款名为“miqu-1-70b”的神秘模型现身Hugging Face,跑分接近GP...……更多
每月141元的ChatGPT Plus订阅重新开放,背后发生了什么?
...新的石油。」图/ X(Twitter) 但算力依然受限,核心是大模型训练、推理都严重依赖于英伟达高端 GPU,而英伟达又受限于台积电先进芯片制造工艺、封装工艺以及韩国 HBM 内存的产能。说到底,还是算力不够用,「供给」赶不上...……更多
微软:从“软件老大”到“AI帝国”
从2009开始开发AI模型,到2019年投资OpenAI,微软正在一步一步成为AI时代的庞然大物。对于微软及其生态系统而言,今年的Ignite技术大会堪称异彩纷呈。微软一口气公布了100多项以 AI 为中心,在云计算基础设施、 模型即服务 MaaS ...……更多
专家模型不要专家并行!微软开源MoE新路径
...日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法...……更多
晶圆级AI芯片WSE-3性能公布:80亿参数模型上每秒生成1800个Token
...上一代WSE-2的两倍,可用于训练业内一些最大的人工智能模型。在近日的Hot Chips 2024大会上,Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示,WSE-3依然是采用了一整张12英寸晶圆来制作,基于台积电5nm制...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...押注人工智能领域最大的赌注——一种只能运行Transformer模型的芯片,但其运行速度比GPU快几个数量级。也许注意力确实是你所需要的全部...」 Pika研究人员表示,每秒50万token简直太疯狂了。你可以在2秒内写出「圣经」,或者...……更多
微软、英伟达纷纷押注小模型,大模型不香了?
...发展的道路上,科技巨头们曾经竞相开发规模庞大的语言模型,但如今出现了一种新趋势:小型语言模型(SLM)正逐渐崭露头角,挑战着过去“越大越好”的观念。视觉中国当地时间8月21日,微软和英伟达相继发布了最新的小型...……更多
整合长期记忆,AI实现自我进化,探索大模型这一可能性
...。而这一切背后的机制是进化(evolution)。到了现今的大模型时代,强大的基础模型已经展现出了强大的智能水平,能完成多种多样的任务。但它们也有个缺点,训练之后就基本定型了,难以随着用户的使用而演进。但毫无疑问...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
近日,上海算法创新研究院大模型团队的研究员李志宇和同事提出一种情景学习新范式:SLEICL(基于强模型增强的情景学习,Strong LLM Enhanced ICL),能更好地加速小模型的学术研究和产业落地。借助这一方法可以大幅提升小模型...……更多
微软被曝未来3年花1000亿美金囤芯片;杨元庆:AI不是取代人类的智能|钛媒体AGI
...媒体App获悉,4月19日,Meta公布期待已久的多模态开源大模型Llama 3系列。同时,Meta还推出了其首款基于Llama 3开源模型的AI聊天机器人产品——AI助手,直接对标ChatGPT-4。与此同时,科技行业裁员消息频出。谷歌宣布从3月10日开始...……更多
5年投资超1000亿,北京公布一系列AI重磅成果,北大清华百度蚂蚁微软大佬齐谈AI未来|钛媒体AGI
...研究中心主任曾毅等多位嘉宾,分别从 AI 数据、算力、模型与框架、应用、产品、治理、未来目标等多个方面分享前沿进展。钛媒体App简要梳理了各个嘉宾的演讲和圆桌的部分内容,以飨读者。5年投资超1000亿、最高重奖1亿元...……更多
Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏
?Intel三条线优化阿里云通义千问2模型:720亿参数轻松拿捏快科技6月7日消息,Intel官方宣布,旗下数据中心、客户端、边缘AI解决方案均已经为阿里云通义千问2(Qwen2)的全球发布提供支持,已取得ModelScope、阿里云PAI、OpenVINO等...……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
...年度领先科技奖。腾讯Angel 机器学习平台,突破了万亿级模型分布式训练和推理以及大规模应用部署等难题,率先实现大模型技术从底层硬件到关键软件技术的自主研发,在业务场景广泛应用,显著推动实体产业和数字经济发展...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...、张钊为、汪明志、钟伊凡等。团队就强化学习方法及大模型的后训练对齐技术开展了一系列重要工作,包括 Aligner(NeurIPS 2024 Oral)、ProgressGym(NeurIPS 2024 Spotlight)以及 Safe-RLHF(ICLR 2024 Spotlight)等系列……更多
轻量化模型架构catvton的优势在哪里
...在话下。 来自中山大学、Pixocial等机构联合发布轻量化模型架构CatVTON。他们是以StableDiffusionv1.5inpainitng为基础模型。来看看更多效果。用扩散模型进行虚拟试衣CatVTON可以实现传统平铺服装图到人物的换装。不管是上衣、裤子、...……更多
大模型价格战“卷”向何方?|深度
...你降价,我免费。在经过一年多的“百模大战”后,AI大模型从5月初几乎毫无预兆地掀起了“降价潮”,阿里、百度、腾讯等纷纷加入战团。大厂“钱多、卡多、算力足”无惧价格战,以惯有的免费模式先聚集用户与开发者。中...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...显存具备更大的容量和更高带宽,可以支持超大参数的大模型训练与推理。官方给出的参数显示,H200相较上一代产品在Llama2和ChatGPT的训练速度分别能提升40%和60%。 可以看出,从MI300X到H200,再到Maia100,大厂对训练参数量、训练...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...而,构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外,高质量的大型公共时间序列数据库的匮乏进一步加剧了这一难题。近日,由来自普林斯顿大学、格里菲斯大学等全球多地的华人国际科...……更多
更多关于科技的资讯:
联名《蛟龙行动》!联想推出手雷造型固态硬盘
快科技1月21日消息,联想推出一款拯救者战术移动固态硬盘,采用“手雷”造型外观,这是联想拯救者与电影《蛟龙行动》的联名合作产品
2025-01-21 18:00:00
全球首套!我国在量子精密测量领域取得重大突破
快科技1月21日消息,近日,据媒体报道,由南方电网公司牵头研发的全球首套±800kV特高压直流量子电流传感器顺利通过了新产品技术鉴定
2025-01-21 18:00:00
雷军:小米SU7上月交付量超过了特斯拉Model 3
快科技1月21日消息,挑战特斯拉的中国电动车非常多,但真正意义上比肩甚至超过特斯拉的则寥寥无几。就在今日,小米集团创始人雷军在转发微博是表示“上个月交付量超过了Model 3”
2025-01-21 18:00:00
100%纯国产!龙芯CPU两年适配2679款产品
快科技1月21日消息,龙芯中科宣布,2024年12月,龙芯桌面和服务器平台新增64家企业的109款适配产品。其中包括安全应用30款
2025-01-21 18:00:00
长安UNI-T买车两年修了两年 车主:修太多卖不出去了
快科技1月21日消息,据博主“拜托了老司机”透露,一位长安UNI-T车主向他反馈称,买车两年修了两年,因为修太多车也卖不出去了
2025-01-21 18:00:00
25万级搭载纯视觉智驾!小鹏G7无伪装实车曝光
快科技1月21日消息,日前,一张小鹏G7的无伪装谍照在网上曝光。据悉,小鹏G7定位于25万元级家庭用户市场,预计年内正式发布
2025-01-21 18:30:00
新一代电量怪兽!iQOO Z10 Turbo Pro将配7500mAh巨无霸电池
快科技1月21日消息,根据知名数码博主“数码闲聊站”透露,iQOO即将发布的高性能直屏机最大电池将堆到史无前例的7500mAh
2025-01-21 18:30:00
原生鸿蒙来了!华为nova 12/13系列开启HarmonyOS NEXT花粉Beta招募
快科技1月21日消息,华为官方正式宣布,即日起HUAWEI nova 12、nova 12 Pro、nova 13、nova 13 Pro开启花粉Beta招募
2025-01-21 18:30:00
蔡磊回应《我不是药神》原型 95%罕见病患者群体面临无药可治
快科技1月21日消息,日前,《我不是药神》的原型陆勇在微博发布视频,祝福渐冻症抗争者蔡磊。今日,蔡磊发文感谢陆勇的祝福
2025-01-21 18:30:00
曝小鹏P7+大新车高速瞬间失去动力 车主:吓出一身冷汗
快科技1月21日消息,今日有认证为汽车博主,同时也是小鹏P7+车主的用户“周明明EVolutio”发帖艾特小鹏汽车董事长何小鹏
2025-01-21 18:30:00
2025年春节档票房破3亿元!《射雕英雄传》独占近一半
快科技1月21日消息,截至今日16时50分,2025年春节档新片预售总票房已强势突破3亿元大关!在这场电影市场的盛宴中
2025-01-21 18:30:00
抖音医疗领域新动作!将建中外合资三级医院:床位800张
快科技1月21日消息,抖音在医疗领域的布局又有了新动作,据北京市卫健委官网消息,抖音集团获批在朝阳区中关村朝阳园北区医疗服务地块(2905-0006地块)建设北京爱瑞医院(待定)
2025-01-21 18:30:00
华为Mate 60享以旧换新补贴+国补双重优惠:性价比更高
快科技1月21日消息,即日起河南华为线下门店购买部分华为手机、平板、穿戴产品,至高享受补贴15%,单件最高补贴500元
2025-01-21 18:30:00
周杰伦昆凌一家五口重回婚礼教堂!结婚十周年幸福拉满
2015年1月17日,昆凌与周杰伦结婚,正式成为夫妻。2025年正是他们结婚十周年。今日周杰伦INS更新动态:“开心的日子永远都没有‘大眼瞪小眼’的时候”
2025-01-21 18:30:00
爱奇艺热播剧《漂白》编剧再回应抄袭质疑:在法律上不构成事实
快科技1月21日消息,近日,爱奇艺热播剧《漂白》 陷入抄袭风波。昨日中午,公众号“猛哥”发文称,《漂白》抄袭其在2012年发表于南方都市报的深度调查报道《漂白》
2025-01-21 19:00:00