• 我的订阅
  • 头条热搜
为AI加速而生 英特尔第五代至强CPU带来AI新表现
...来概括它的特点,那就是——AI味道越发得浓厚。以训练、推理大模型为例:• 与第四代相比,训练性能提升多达29%,推理性能提升高达42%;• 与第三代相比,AI训练和推理性能提升高达14倍。什么概念?现在若是将不超过200亿参数的模型...……更多
李开复:现在卖AI大模型的方式行不通,需考虑技术和业务成本、要有客户买单
...标化、定制重、交付重的商业模式;另一方面则是要考虑推理成本,能够帮助企业客户核算 ROI,在不赔钱的前提下做规模增长,是模型能力在 ToB 方向落地的基础。当前,中国大模型初创公司的应用生态和融资环境与美国有着一...……更多
...约每18个月时间会增长40倍。现在生成式大模型的计算和推理都在云端进行,大模型参数和使用量的成倍增长带来巨大计算推理压力, 当数十亿用户都日常使用生成式AI时,云端模式显然难以支持生成式AI的规模化扩展。过大参数...……更多
补齐Transformer规划短板又不放弃快速思考,Dualformer双重优势
...些解答或慢点思考。OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注,甚至让现在的 AI 行业开始放弃卷越来越大的模型,而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此,其...……更多
让AI无处不在 高通全面开启终端侧生成式AI大门
...效提升了40%。Hexagon NPU集成了硬件加速单元、微型区块推理单元、性能加强的张量/标量/矢量单元,同时所有单元共享2倍带宽的大容量共享内存。 这意味着用户在搭载第三代骁龙8的设备上可以按照自己的需要自由生成类似于...……更多
谷歌发布gemma2大语言模型,共有两种大小
...亿参数(27B)两种大小。Gemma2大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。谷歌在新闻稿中表示,Gemma2-27B模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达H100ensorCoreGPU或TPU...……更多
专家模型不要专家并行!微软开源MoE新路径
...好,所以要在左上角: GRIN作为MoE架构,总参数量约42B,推理时激活的参数为6.6B,打同级别(7B)的非MoE模型是手拿把攥,甚至比14B的Phi-3还要略胜一筹。在上面的这份成绩单中,GRIN MoE表现优异,尤其是在编码和数学测试中。...……更多
英伟达发布Llama-3.1-Nemotron-51B AI 模型
...型,Llama-3.1-Nemotron-51B 在保持了几乎相同的精度情况下,推理速度提高了 2.2 倍。准确率能效MT BenchMMLUText generation(128/1024)Summarization/ RAG (2048/128)Llama-3……更多
苹果推出DeepPCR 神经网络训练和推理速度提升7倍
...该算法通过并行处理常规顺序操作,可以加速神经网络的推理和训练过程。尽管神经网络已能处理文本或图片合成、分割和分类等复杂任务,但由于计算需求过大,神经网络训练和反馈结果的时间可能需要数天或者数周。目前广...……更多
OpenAI发布最新技术研究,AI“黑盒”不再是难题!
...出了正确回答。大部分大模型都在给出答案的同时呈现了推理过程。智谱清言给出的推理过程显示,在比较13.11%和13.8%时,13.11%是更大的数值。这是因为当比较两个百分数时,我们首先比较整数部分,如果它们相同,则比较小数...……更多
本周(4.8-4.14)AI界发生了什么?
...模型中,只需一次API调用,该模型就可以分析图像并应用推理。“欧洲版OpenAI”Mistral AI也正式开源了大模型Mixtral8x22B,参数规模高达1760亿,仅次于马斯克AI公司的Grok-1大模型。苹果或在9月发布新电脑,搭载AI功能当地时间4月11...……更多
国内首个以国产全功能GPU为底座的大规模算力集群正式落地
...能GPU的多元计算优势,可以满足不断增长的大模型训练和推理需求。据介绍,摩尔线程KUAE智算中心解决方案以全功能GPU为底座,旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。该方案可实现开箱即用,大大...……更多
AI应用正面临能耗挑战?分布式算力提供新路径!
...复杂度与规模逐年攀升,利用分布式算力进行模型训练与推理,已成为未来不可或缺的路径。在全球经济加速迈向数字化转型的当下,分布式算力不仅是技术层面的飞跃,更是商业模式的重大革新。它促使企业深刻反思资源配置...……更多
对话云天励飞董事长陈宁:2030年人类将实现AGI,推理芯片将是蓝海市场|钛媒体AGI
...拥有一个AI Agent。“如果说2024年是大模型落地应用之年,推理就会越来越重要。此前在训练芯片市场上,英伟达一骑绝尘,占有绝对的市场占有率,那么今天,推理芯片市场没有垄断性的巨头。这不仅是万亿级、万亿颗芯片的蓝...……更多
智谱AI新一代基座大模型GLM-4在司南评测中跻身前列,位居国内第一
...水平。”OpenCompass 2.0全面量化模型在知识、语言、理解、推理和考试等五大能力维度的表现,客观中立地为大模型技术创新提供坚实的技术支撑。评测榜单涉及的大语言模型和多模态大模型超过150个,已有包括Meta、阿里巴巴、...……更多
Llama版o1来了,来自上海AI Lab,强化学习代码已开源,
复刻OpenAI o1推理大模型,开源界传来最新进展:LLaMA版o1项目刚刚发布,来自上海AI Lab团队。简介中明确:使用了蒙特卡洛树搜索,Self-Play强化学习,PPO,以及AlphaGo Zero的双重策略范式(先验策略+价值评估)。在2024年6月,o1发...……更多
全面开源 浪潮信息发布千亿参数基础大模型“源2.0”
...51B(518亿)、2B(21亿)三种参数规模的模型,在编程、推理、逻辑等方面展示出了先进的能力。基础大模型的关键能力是大模型行业和应用落地能力表现的核心支撑。在算法、数据和算力等方面,“源2.0”提出了新的改进方法...……更多
掰开安卓手机 满屏都是三个字:大模型
...的内存单元,是大模型进手机面临的第二道难关:大模型推理需要大量计算资源做支撑,与此同时,内存大小决定了数据处理速度的上限以及推理的稳定性。另外,在手机上跑大模型,也给电池带来了更大的压力。因此芯片能耗...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...I正在壮大。 能力一览11B和90B这两款模型,不仅支持图像推理场景,包括图表和图形在内的文档级理解、图像描述以及视觉定位任务,而且还能基于现有图表进行推理并快速给出回答。比如,你可以问「去年哪个月销售业绩最好...……更多
如果MaaS是个伪命题 大模型时代的“云”应该怎么建?
...的认知与针对性解法。算力层,做厚用于基础模型训练和推理的基础设施。这一层主要服务于有大模型训推能力的企业,为他们提供芯片、存储、网络在内的基础设施服务。高性能低成本与绿色,是亚马逊云科技的核心优 势。...……更多
整合长期记忆,AI实现自我进化,探索大模型这一可能性
...也能让模型在处理长期、分散和个性化的数据时逐步提升推理和学习能力。用 LTM 数据提升模型能力,使其能够自我进化在传统 LLM 中,更新模型通常需要调整所有参数,而如果目的是处理个体数据,那这种操作明显不切实际。...……更多
ASC24超算大赛启动会在京举行,大模型推理等成为赛题
...在上海大学举行的总决赛。据悉,今年的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。来自高性能计算和人工智能领域的中国科学院院士、中国工程院院士、专家学者及参赛师生代表等参加了启...……更多
苹果发布mm1.5-ui模型
...从10亿到300亿的多种参数规模,拥有图像识别和自然语言推理能力。在新版本中,苹果公司的研发人员改进了数据混合策略,极大地增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。参考论文可知,...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...一款AI加速芯片,基于Arm架构设计,主要用于云端训练、推理以及Azure的高负载云端运算。不过纳德拉否认了将向云计算客户供货的传闻,这款自研芯片将优先满足微软自身的需求,并在合适的时机向合作伙伴和客户开放。Azure芯...……更多
...8.3倍。效率方面,文心大模型训练速度达到原来的3倍,推理速度达到原来的30多倍。科大讯飞董事长刘庆峰介绍,自5月6日首次发布讯飞星火认知大模型以来,已进行两次重大迭代升级,在文本生成、语言理解、知识问答、逻辑...……更多
史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造
机器之心报道编辑:泽南、杜伟生成式 AI 推理性价比是 GPU 的 140 倍。大模型时代,全球都缺算力,买铲子的英伟达市值被炒上了天。现在,终于有一家公司带着自己的 AI 芯片来叫板了。今天凌晨,科技圈迎来了一个重要新闻...……更多
腾讯推出新一代大模型“混元Turbo”,性能大幅提升,定价低50%
...模型,腾讯混元Turbo性能有显著提升,训练效率提升108%,推理效率提升100%,推理成本降低50%,解码速度提升20%,效果在多个基准测试上对标GPT-4o,第三方测评居国内第一。在腾讯全球数字生态大会上,腾讯公司副总裁、云与智...……更多
当AI大模型卷向服务机器人,会有哪些新故事?|硬氪分析
...莫拉维克悖论提出,和传统假设不同,计算机要实现例如推理等人类所具备的高阶智慧、仅需少量的计算能力,而若要直觉、感知等能力,却需要巨大的运算能力。 简单来说,电脑可以在和人类围棋对弈中轻松取胜,但如果让...……更多
百度云升级模型服务,百度版GPTs即日开放 | 最前线
...在侯震宇看来,是AI生态发展的关键一年。一方面,算力推理层和模型训练工具链的优化,将是2024年的重点。他表示:“2024年我觉得算力的整体供应不确定性或紧张程度较大,所以如何能够更有效使用算力资源,是一个大家都...……更多
恒生电子:金融大模型技术升级,国内AI芯片危机互现
...此次升级的LightGPT,面向金融机构实现LightGPT-7B的开源,推理和训练全面适配华为昇腾系列。恒生电子推出金融大模型,背后经历了怎样的转向?落地应用金融行业,金融大模型具备哪些共通性和特殊性?当前大模型所需的AI算力...……更多
更多关于科技的资讯:
生产周期缩短1/3,宇捷轴承凭核心技术领跑细分市场
齐鲁晚报·齐鲁壹点 陶春燕 山东省宇捷轴承制造有限公司是国家级专精特新重点“小巨人”企业、国内最大的调心滚子轴承生产企业
2025-09-27 20:05:00
电动车照亮小区应急通道?淄博供电验证居民V2G桩集群放电场景
当小区突发故障停电,地下车库里业主们的电动汽车,瞬间变身为一个巨大“充电宝”,为消防、通风和应急照明系统供电,守护社区安全
2025-09-27 12:35:00
数字游民在南京:我推着房间找邻居
随时“云端”办公,自由“安放”工位,数字游民社区兴起数字游民在南京:我推着房间找邻居南京首个乡村数字游民社区坐落于浦口草圣书乡景区
2025-09-26 08:14:00
三迭纪项目入选国家药监局智慧监管典型案例年产3亿片!3D打印药片,片片皆可溯源南报网讯(通讯员唐斐记者张希)近日,国家药品监督管理局信息中心正式公布“2025年药品智慧监管典型案例”
2025-09-26 08:14:00
二〇二五年中国香料香精化妆品精品博览会启幕十七个香妆产业创新转化项目签约南报网讯(记者夏思宇)9月25日上午,2025年中国香料香精化妆品精品博览会在南京扬子江国际会议中心开幕
2025-09-26 08:15:00
厦门网讯(厦门日报通讯员 李汶鸿)24日,在上海市普陀区普熙金融广场PUSH艺术中心举办的“数字人民币国际运营中心业务平台推介会”上
2025-09-26 08:38:00
在智能语音机器人赛道,技术稳定性与迭代能力是核心竞争力,神州泰岳旗下鼎富智能avavox大模型语音机器人依托两大技术优势
2025-09-26 08:52:00
服务升级,烟台联通创新推出急救知识培训增值服务
近日,烟台联通在客户日活动中面向VIP客户创新开展急救知识培训公益增值服务,邀请中国红十字会专业急救讲师现场授课,通过“理论+实操”相结合的方式
2025-09-26 09:24:00
中交一公局集团建筑公司武清城改项目QC成果斩获省部级二等成果奖
近日,由中交一公局集团建筑公司武清城改项目申报的《BIM+智能设备在大型城中村改造项目施工阶段的应用》凭借在特大型群体住宅工程的应用实践
2025-09-26 10:49:00
中新经纬9月26日电 9月25日,小米集团创始人、董事长兼CEO雷军在年度演讲上回顾了小米汽车造车历程。雷军提到,今年6月
2025-09-26 10:54:00
与邻一起 共建美好社区!我爱我家首届社区好邻节启幕
近日,头部房产经纪企业我爱我家正式启动主题为“好邻·好礼·好生活”的2025我爱我家社区好邻节。据介绍,本次活动从9月22日至10月31日
2025-09-26 11:24:00
小米汽车推出独特定制服务:试运营一年,每月最多定制40台
9月25日,小米公司创始人雷军在年度演讲中宣布推出一项独特的服务——小米定制服务。雷军表示,小米YU7是为一群高审美,无法容忍平庸的人设计的
2025-09-26 11:37:00
解放双手!小米推出首款三区洗衣机,衣服、内衣、袜子各占一个筒
9月25日,在年度演讲暨秋季新品发布会上, 小米推出了首款三区洗衣机——米家三区洗衣机Pro 滚筒10kg,售价3999元
2025-09-26 11:38:00
机构:鸿蒙电脑占高端市场份额超70%
华为鸿蒙折叠电脑MateBook Fold非凡大师的上市成为改写高端笔记本市场格局的关键事件。根据GFK 2025年6月统计
2025-09-26 11:38:00
补链强基 延链拓新——济南历城绘就产业发展新图景
鲁网9月26日讯(记者 李晓晨)从算力之巅的超级计算中心到家庭智能的创新终端,从芯片封装的关键环节到水处理技术的自主研发
2025-09-26 12:03:00