• 我的订阅
  • 头条热搜
微软、英伟达纷纷押注小模型,大模型不香了?
...LLM之间的性能差距正在迅速缩小,特别是在多项选择题、推理和数学问题等特定任务中,顶级模型之间的差异极小。例如,在多项选择题中,Claude 3 Opus、GPT- 4 和Gemini Ultra的准确率均超过83%,而在推理任务中,Claude3 Opus、GPT-4和Ge...……更多
林达华谈大模型发展之路:未来会有更高效的模型结构出现
...模型的上下文长度快速增长,超长上下文解锁新应用,但推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一年,人工智能领域风起云涌...……更多
腾讯Angel机器学习平台获世界互联网大会领先科技奖
...腾讯Angel 机器学习平台,突破了万亿级模型分布式训练和推理以及大规模应用部署等难题,率先实现大模型技术从底层硬件到关键软件技术的自主研发,在业务场景广泛应用,显著推动实体产业和数字经济发展,提升社会效率。...……更多
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
...能效果——记忆能力提升3倍、速度提升7倍的同时,实现推理吞吐量的5倍提升。 至于为何另辟蹊径,寻求非Transformer的大模型路径,岩芯数智CEO刘凡平指出,以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中...……更多
张云泉:集中力量,促进国产AI大模型发展
...法成为新时代的关键资源。大模型的开发、训练、微调及推理各个环节均离不开算力,且算力成本占据整体开销的大头。可以说,算力成为支撑大模型发展的关键因素,也是科技竞争的战略高地。在大规模的前端产品落地后,算...……更多
腾讯大模型混元Turbo:御气升昺云,梓桐金鼎开
...模型,腾讯混元Turbo性能有显著提升,训练效率提升108%,推理效率提升 100%,推理成本降低 50%,解码速度提升 20%,效果在多个基准测试上对标GPT-4o。最新第三方测评在国内位居第一。腾讯混云大模型已经落地腾讯700+个业务场景...……更多
摩尔线程与360达成战略合作,将共同打造“360智脑大模型一体机”
...模型一体机”集成了 360 智脑大模型,具备大模型管理、推理部署等功能,摩尔线程全功能 GPU 将为其提供底层算力,“以高性价比硬件方案确保大模型推理效率和成本的平衡”。双方还将共同研发和优化推理框架,在软件层面...……更多
Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
...很多不同的GPU型号和显存大小。再加上,目前广泛应用于推理阶段的量化技术,比如可以用FP16或FP8精度,这会改变推理和训练/微调成本的比重。以上这些限制因素,都让模型规模的选择成为一个非常具有挑战性的问题。总体而...……更多
苹果开源7B模型,训练过程数据集一口气全给了,网友:很不像苹果
...CLM-Baseline取得了更高的平均分,且在ARC(小学生科学问题推理)、HellaSwag(常识推理)、MMLU等任务上表现更好。 “小”模型成新趋势回到开头,“小”模型最近已成新趋势。先是HuggingFace推出了小模型家族“SmolLM”,其中包含1...……更多
华为AI存储助力中国移动构建超大规模智算集群
...海量数据信息的投入。面对智算集群目前存在的可用度、推理体验等问题,华为推出业界首款AI存储——OceanStor A800,致力于成为支撑智算集群发展的关键基座。智算集群为千行万业发展新质生产力夯基筑石近年来,智能计算已...……更多
李开复AI公司首发大模型,阿里云领投 | 36氪独家
...SIQA、HellaSwag、WinoGrande等多个数据集,来评估Yi的“常识推理能力”“阅读理解能力”“数学与代码能力”等多维度能力。Yi能力。结果显示,Yi-6B在常识推理能力和阅读理解能力上达到了国内外开源模型的平均水平,但在数学与...……更多
通义千问再放大招:720亿大模型开源,全尺寸赶上LLaMA-2,还有移动端可用的18亿模型
...72B在C-Eval、CMMLU、GaokaoBench等基准得分超越GPT-4。而在数学推理方面,Qwen-72B在GSM8K、MATH测评中也领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力也有质的飞跃。△72B模型做数学题 ……更多
商汤生成式AI业务飙涨256%,成为中国大模型、智算服务市场占有率领头羊
...劲需求、“日日新SenseNova”大模型能力的飞跃式提升以及推理成本的快速下降,带动模型调用量增长迅速。报告期内,“绝影”智能汽车业务的表现也极为亮眼。其业务收入达1.7亿元,同比增长100%。上半年新增交付70.5万辆车,...……更多
大模型价格战“卷”向何方?|深度
...千亿参数MoE架构模型。MoE架构中基于多个专家并行机制,推理时只激活部分专家,以稀疏性压缩了参数数量和推理成本。“这就可以极大地节省算力耗费”。而率先掀起价格战的幻方DeepSeek-V2,就是其通过架构创新,实现了大模...……更多
优刻得首个「国产千卡智算集群」落地,支持智源千亿大模型训练
...环境,可支持超千卡规模、千亿参数级别的大模型训练和推理任务,旨在突破算力瓶颈,加速AI算力的国产化进程。国产千卡智算集群采用软硬件一体化的架构设计,提供低延迟、高吞吐、高可用的IB组网环境,支持GDR技术,使...……更多
反击OpenAI,谷歌放出最强悍大模型Gemini
...某些任务,例如描述图像,但难以处理更概念性和复杂的推理。其通过60页的相关技术报告证明,Gemini是一个真正原生的多模态大模型,因为从最初的预训练数据开始,Gemini就在针对不同模态的模型进行训练,因此其功能在每个...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...需求不可避免迎来爆炸式增长,无论是前期训练还是后期推理,都是如此。在训练层面,OpenAI 曾在 2018 年做过估算,自 2012 年以来,AI 模型训练算力需求每 3.5 个月翻一番,每年所需算力增幅高达 10 倍,增速远远超出了芯片产...……更多
大模型降价背后,国产大模型的竞争逻辑变了
...市场拱手让人。另一方面,随着大模型产业的快速发展,推理成本飞速下降,也成为终端降价的基础。据百度官方透露,相比一年前,文心大模型的算法训练效率提升到了原来的5.1倍,周均训练有效率达到98.8%,推理性能提升了1...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
...发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根据给定的prompt难度,动态地分配测试时(Test-Time)的计算资源。结果发现这种方法在一些情况下比单纯扩展模型参数更经济有效。换句话说...……更多
国产GPU为底座,摩尔线程首个千卡智算中心落地
...型生态联盟,致力于夯实从智算基础设施到大模型训练与推理的国产大模型一体化生态。摩尔线程CEO张建中在主题演讲中带来新品发布,包括大模型智算加速卡MTT S4000,以及专为千亿参数大模型训练和推理提供强大支持的摩尔线...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...的代表先后登台,对夸娥智算集群助力其在大模型训练、推理及具身智能的创新赞誉有加。加速一切大模型,只是第一步。张建中说,夸娥万卡集群不仅是加速AI,而是想要为美好世界加速。 一、大模型训练呼唤万卡集群,国...……更多
推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型
...」。模型升级:Baichuan4-Turbo两张4090即可部署,Baichuan4-Air推理成本下降99%接下来,如何将Baichuan4-Turbo、Baichuan4-Air应用在实际场景中?从名字中不难看出,它们都是Baichuan 4系列基础模型的升级。对于企业来说,在不同场景阶段……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
...业基准测试中达到了 SOTA,并提供了新的功能,如改进的推理能力。最强开源 LLM 来了Meta 官方博客写道,“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目前 8B 和 70B 参数尺度下最好的模型。”他们表示,后期...……更多
小模型正在成为AI界的新宠
...算法,超越了同等大小和稍大一号的模型,在各种语言、推理、编码和数学基准测试中表现优异。苹果紧随其后,发布了 OpenELM,包含了 2.7 亿、4.5 亿、11 亿和 30 亿四个参数版本。与微软的 Phi-3 一样,OpenELM 也是一款专为终端设...……更多
马斯克官宣Grok-2测试版!xAI将继续拥抱开源路线吗?
...据具体询问的内容,模型只会激活不同的专家子模块进行推理,在吞吐量一定的情况下,可以更快地完成推理、给出回答。这让Grok-1拥有了更快的生成速度和更低的推理成本,简而言之就是更好的使用体验和性价比。根据xAI公布...……更多
商汤联合发布白皮书,首次提出新一代AI基础设施评估体系
...。AI2.0时代,需要新一代的基础设施来支撑大模型的训练与推理、生成式AI应用的规模化落地,其核心要素,如计算、存储、网络以及数据服务都要做精细化的设计和重构,而非简单的服务器或GPU实例堆砌。《白皮书》明确了新一代AI...……更多
摩尔线程GPU千卡集群完成师者AI 70亿参数教育大模型训练测试
...教育大模型的快速迭代,摩尔线程、师者AI还将在大模型推理上开展适配工作。摩尔线程夸娥方案是业内首个跑通、跑完国产大模型的千卡集群,基于全功能MTT S4000 GPU,提供软硬一体化的全栈解决方案,具备模型覆盖、推理加速...……更多
pytorchtorchao正式发布,提供了一系列优化工具集
...将模型训练转换为float8,从而轻松实现模型高效训练。在推理方面,torchao提供多种量化方法,包括权重量化(Weight-OnlyQuantization)和动态激活量化(DynamicActivationQuantization),用户可以自有选择适合的量化策略,以获得最佳的模...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
智能体不够聪明怎么办?清华&蚂蚁团队:让它像学徒一样持续学习
...出的巨大潜力,而这种潜力的核心基石正是智能体的复杂推理能力。与当下广受关注的 OpenAI-o1 及其追随者略有不同,大多数实用的 AI Agent 往往需要在特定场景下发挥作用。这种情况类似于普通人类:虽然不是每个人都需要具备...……更多
更多关于科技的资讯:
生产周期缩短1/3,宇捷轴承凭核心技术领跑细分市场
齐鲁晚报·齐鲁壹点 陶春燕 山东省宇捷轴承制造有限公司是国家级专精特新重点“小巨人”企业、国内最大的调心滚子轴承生产企业
2025-09-27 20:05:00
电动车照亮小区应急通道?淄博供电验证居民V2G桩集群放电场景
当小区突发故障停电,地下车库里业主们的电动汽车,瞬间变身为一个巨大“充电宝”,为消防、通风和应急照明系统供电,守护社区安全
2025-09-27 12:35:00
数字游民在南京:我推着房间找邻居
随时“云端”办公,自由“安放”工位,数字游民社区兴起数字游民在南京:我推着房间找邻居南京首个乡村数字游民社区坐落于浦口草圣书乡景区
2025-09-26 08:14:00
三迭纪项目入选国家药监局智慧监管典型案例年产3亿片!3D打印药片,片片皆可溯源南报网讯(通讯员唐斐记者张希)近日,国家药品监督管理局信息中心正式公布“2025年药品智慧监管典型案例”
2025-09-26 08:14:00
二〇二五年中国香料香精化妆品精品博览会启幕十七个香妆产业创新转化项目签约南报网讯(记者夏思宇)9月25日上午,2025年中国香料香精化妆品精品博览会在南京扬子江国际会议中心开幕
2025-09-26 08:15:00
厦门网讯(厦门日报通讯员 李汶鸿)24日,在上海市普陀区普熙金融广场PUSH艺术中心举办的“数字人民币国际运营中心业务平台推介会”上
2025-09-26 08:38:00
在智能语音机器人赛道,技术稳定性与迭代能力是核心竞争力,神州泰岳旗下鼎富智能avavox大模型语音机器人依托两大技术优势
2025-09-26 08:52:00
服务升级,烟台联通创新推出急救知识培训增值服务
近日,烟台联通在客户日活动中面向VIP客户创新开展急救知识培训公益增值服务,邀请中国红十字会专业急救讲师现场授课,通过“理论+实操”相结合的方式
2025-09-26 09:24:00
中交一公局集团建筑公司武清城改项目QC成果斩获省部级二等成果奖
近日,由中交一公局集团建筑公司武清城改项目申报的《BIM+智能设备在大型城中村改造项目施工阶段的应用》凭借在特大型群体住宅工程的应用实践
2025-09-26 10:49:00
中新经纬9月26日电 9月25日,小米集团创始人、董事长兼CEO雷军在年度演讲上回顾了小米汽车造车历程。雷军提到,今年6月
2025-09-26 10:54:00
与邻一起 共建美好社区!我爱我家首届社区好邻节启幕
近日,头部房产经纪企业我爱我家正式启动主题为“好邻·好礼·好生活”的2025我爱我家社区好邻节。据介绍,本次活动从9月22日至10月31日
2025-09-26 11:24:00
小米汽车推出独特定制服务:试运营一年,每月最多定制40台
9月25日,小米公司创始人雷军在年度演讲中宣布推出一项独特的服务——小米定制服务。雷军表示,小米YU7是为一群高审美,无法容忍平庸的人设计的
2025-09-26 11:37:00
解放双手!小米推出首款三区洗衣机,衣服、内衣、袜子各占一个筒
9月25日,在年度演讲暨秋季新品发布会上, 小米推出了首款三区洗衣机——米家三区洗衣机Pro 滚筒10kg,售价3999元
2025-09-26 11:38:00
机构:鸿蒙电脑占高端市场份额超70%
华为鸿蒙折叠电脑MateBook Fold非凡大师的上市成为改写高端笔记本市场格局的关键事件。根据GFK 2025年6月统计
2025-09-26 11:38:00
补链强基 延链拓新——济南历城绘就产业发展新图景
鲁网9月26日讯(记者 李晓晨)从算力之巅的超级计算中心到家庭智能的创新终端,从芯片封装的关键环节到水处理技术的自主研发
2025-09-26 12:03:00