• 我的订阅
  • 头条热搜
为AI加速而生 英特尔第五代至强CPU带来AI新表现
...来概括它的特点,那就是——AI味道越发得浓厚。以训练、推理大模型为例:• 与第四代相比,训练性能提升多达29%,推理性能提升高达42%;• 与第三代相比,AI训练和推理性能提升高达14倍。什么概念?现在若是将不超过200亿参数的模型...……更多
李开复:现在卖AI大模型的方式行不通,需考虑技术和业务成本、要有客户买单
...标化、定制重、交付重的商业模式;另一方面则是要考虑推理成本,能够帮助企业客户核算 ROI,在不赔钱的前提下做规模增长,是模型能力在 ToB 方向落地的基础。当前,中国大模型初创公司的应用生态和融资环境与美国有着一...……更多
...约每18个月时间会增长40倍。现在生成式大模型的计算和推理都在云端进行,大模型参数和使用量的成倍增长带来巨大计算推理压力, 当数十亿用户都日常使用生成式AI时,云端模式显然难以支持生成式AI的规模化扩展。过大参数...……更多
成都人形机器人创新中心全国首发 R-DDIRM 高速推理模型
...现突破,于近日全国首发基于扩散架构的人形机器人高速推理模型 R-DDIRM(Denoising Diffusion Implicit Robot Model)。这是继今年 5 月推出中国首个基于扩散架构人形机器人任务生成式模型 R-DDPRM(Denoising Diffusion Proba……更多
补齐Transformer规划短板又不放弃快速思考,Dualformer双重优势
...些解答或慢点思考。OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注,甚至让现在的 AI 行业开始放弃卷越来越大的模型,而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此,其...……更多
让AI无处不在 高通全面开启终端侧生成式AI大门
...效提升了40%。Hexagon NPU集成了硬件加速单元、微型区块推理单元、性能加强的张量/标量/矢量单元,同时所有单元共享2倍带宽的大容量共享内存。 这意味着用户在搭载第三代骁龙8的设备上可以按照自己的需要自由生成类似于...……更多
谷歌发布gemma2大语言模型,共有两种大小
...亿参数(27B)两种大小。Gemma2大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。谷歌在新闻稿中表示,Gemma2-27B模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达H100ensorCoreGPU或TPU...……更多
专家模型不要专家并行!微软开源MoE新路径
...好,所以要在左上角: GRIN作为MoE架构,总参数量约42B,推理时激活的参数为6.6B,打同级别(7B)的非MoE模型是手拿把攥,甚至比14B的Phi-3还要略胜一筹。在上面的这份成绩单中,GRIN MoE表现优异,尤其是在编码和数学测试中。...……更多
英伟达发布Llama-3.1-Nemotron-51B AI 模型
...型,Llama-3.1-Nemotron-51B 在保持了几乎相同的精度情况下,推理速度提高了 2.2 倍。准确率能效MT BenchMMLUText generation(128/1024)Summarization/ RAG (2048/128)Llama-3……更多
苹果推出DeepPCR 神经网络训练和推理速度提升7倍
...该算法通过并行处理常规顺序操作,可以加速神经网络的推理和训练过程。尽管神经网络已能处理文本或图片合成、分割和分类等复杂任务,但由于计算需求过大,神经网络训练和反馈结果的时间可能需要数天或者数周。目前广...……更多
OpenAI发布最新技术研究,AI“黑盒”不再是难题!
...出了正确回答。大部分大模型都在给出答案的同时呈现了推理过程。智谱清言给出的推理过程显示,在比较13.11%和13.8%时,13.11%是更大的数值。这是因为当比较两个百分数时,我们首先比较整数部分,如果它们相同,则比较小数...……更多
本周(4.8-4.14)AI界发生了什么?
...模型中,只需一次API调用,该模型就可以分析图像并应用推理。“欧洲版OpenAI”Mistral AI也正式开源了大模型Mixtral8x22B,参数规模高达1760亿,仅次于马斯克AI公司的Grok-1大模型。苹果或在9月发布新电脑,搭载AI功能当地时间4月11...……更多
国内首个以国产全功能GPU为底座的大规模算力集群正式落地
...能GPU的多元计算优势,可以满足不断增长的大模型训练和推理需求。据介绍,摩尔线程KUAE智算中心解决方案以全功能GPU为底座,旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。该方案可实现开箱即用,大大...……更多
AI应用正面临能耗挑战?分布式算力提供新路径!
...复杂度与规模逐年攀升,利用分布式算力进行模型训练与推理,已成为未来不可或缺的路径。在全球经济加速迈向数字化转型的当下,分布式算力不仅是技术层面的飞跃,更是商业模式的重大革新。它促使企业深刻反思资源配置...……更多
对话云天励飞董事长陈宁:2030年人类将实现AGI,推理芯片将是蓝海市场|钛媒体AGI
...拥有一个AI Agent。“如果说2024年是大模型落地应用之年,推理就会越来越重要。此前在训练芯片市场上,英伟达一骑绝尘,占有绝对的市场占有率,那么今天,推理芯片市场没有垄断性的巨头。这不仅是万亿级、万亿颗芯片的蓝...……更多
智谱AI新一代基座大模型GLM-4在司南评测中跻身前列,位居国内第一
...水平。”OpenCompass 2.0全面量化模型在知识、语言、理解、推理和考试等五大能力维度的表现,客观中立地为大模型技术创新提供坚实的技术支撑。评测榜单涉及的大语言模型和多模态大模型超过150个,已有包括Meta、阿里巴巴、...……更多
Llama版o1来了,来自上海AI Lab,强化学习代码已开源,
复刻OpenAI o1推理大模型,开源界传来最新进展:LLaMA版o1项目刚刚发布,来自上海AI Lab团队。简介中明确:使用了蒙特卡洛树搜索,Self-Play强化学习,PPO,以及AlphaGo Zero的双重策略范式(先验策略+价值评估)。在2024年6月,o1发...……更多
全面开源 浪潮信息发布千亿参数基础大模型“源2.0”
...51B(518亿)、2B(21亿)三种参数规模的模型,在编程、推理、逻辑等方面展示出了先进的能力。基础大模型的关键能力是大模型行业和应用落地能力表现的核心支撑。在算法、数据和算力等方面,“源2.0”提出了新的改进方法...……更多
掰开安卓手机 满屏都是三个字:大模型
...的内存单元,是大模型进手机面临的第二道难关:大模型推理需要大量计算资源做支撑,与此同时,内存大小决定了数据处理速度的上限以及推理的稳定性。另外,在手机上跑大模型,也给电池带来了更大的压力。因此芯片能耗...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...I正在壮大。 能力一览11B和90B这两款模型,不仅支持图像推理场景,包括图表和图形在内的文档级理解、图像描述以及视觉定位任务,而且还能基于现有图表进行推理并快速给出回答。比如,你可以问「去年哪个月销售业绩最好...……更多
如果MaaS是个伪命题 大模型时代的“云”应该怎么建?
...的认知与针对性解法。算力层,做厚用于基础模型训练和推理的基础设施。这一层主要服务于有大模型训推能力的企业,为他们提供芯片、存储、网络在内的基础设施服务。高性能低成本与绿色,是亚马逊云科技的核心优 势。...……更多
整合长期记忆,AI实现自我进化,探索大模型这一可能性
...也能让模型在处理长期、分散和个性化的数据时逐步提升推理和学习能力。用 LTM 数据提升模型能力,使其能够自我进化在传统 LLM 中,更新模型通常需要调整所有参数,而如果目的是处理个体数据,那这种操作明显不切实际。...……更多
ASC24超算大赛启动会在京举行,大模型推理等成为赛题
...在上海大学举行的总决赛。据悉,今年的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。来自高性能计算和人工智能领域的中国科学院院士、中国工程院院士、专家学者及参赛师生代表等参加了启...……更多
苹果发布mm1.5-ui模型
...从10亿到300亿的多种参数规模,拥有图像识别和自然语言推理能力。在新版本中,苹果公司的研发人员改进了数据混合策略,极大地增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。参考论文可知,...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...一款AI加速芯片,基于Arm架构设计,主要用于云端训练、推理以及Azure的高负载云端运算。不过纳德拉否认了将向云计算客户供货的传闻,这款自研芯片将优先满足微软自身的需求,并在合适的时机向合作伙伴和客户开放。Azure芯...……更多
...8.3倍。效率方面,文心大模型训练速度达到原来的3倍,推理速度达到原来的30多倍。科大讯飞董事长刘庆峰介绍,自5月6日首次发布讯飞星火认知大模型以来,已进行两次重大迭代升级,在文本生成、语言理解、知识问答、逻辑...……更多
史上最快AI芯片「Sohu」,速度10倍于B200,哈佛辍学生打造
机器之心报道编辑:泽南、杜伟生成式 AI 推理性价比是 GPU 的 140 倍。大模型时代,全球都缺算力,买铲子的英伟达市值被炒上了天。现在,终于有一家公司带着自己的 AI 芯片来叫板了。今天凌晨,科技圈迎来了一个重要新闻...……更多
腾讯推出新一代大模型“混元Turbo”,性能大幅提升,定价低50%
...模型,腾讯混元Turbo性能有显著提升,训练效率提升108%,推理效率提升100%,推理成本降低50%,解码速度提升20%,效果在多个基准测试上对标GPT-4o,第三方测评居国内第一。在腾讯全球数字生态大会上,腾讯公司副总裁、云与智...……更多
当AI大模型卷向服务机器人,会有哪些新故事?|硬氪分析
...莫拉维克悖论提出,和传统假设不同,计算机要实现例如推理等人类所具备的高阶智慧、仅需少量的计算能力,而若要直觉、感知等能力,却需要巨大的运算能力。 简单来说,电脑可以在和人类围棋对弈中轻松取胜,但如果让...……更多
百度云升级模型服务,百度版GPTs即日开放 | 最前线
...在侯震宇看来,是AI生态发展的关键一年。一方面,算力推理层和模型训练工具链的优化,将是2024年的重点。他表示:“2024年我觉得算力的整体供应不确定性或紧张程度较大,所以如何能够更有效使用算力资源,是一个大家都...……更多
更多关于科技的资讯:
五年连获七家世界知名轴承制造企业认证一根轴承钢转动全球——“铁疙瘩”怎样变成“金娃娃”(九)前不久,河钢集团石钢公司收到日本某国际知名轴承企业高碳铬轴承钢的认证邮件
2025-09-28 08:04:00
锚定新赛道 壮大新动能超31亿元新一代工业软件基地项目开工南报网讯(记者刘安琪)项目兴则产业兴,项目强则经济强。9月26日上午
2025-09-28 07:43:00
山东移动成功入选2025年度山东省中小企业服务支撑机构
近日,山东省轻工联社发布《关于公布2025年度山东省中小企业服务支撑机构名单的通知》,山东移动成功入选。作为推动中小企业数字化转型的主力军
2025-09-27 08:11:00
南报网讯(记者卫凌云通讯员建萱)9月26日,2025南京河西中央科创区生态建设推进会举行,“大厂+大学+大所”创新平台揭牌
2025-09-27 09:53:00
山东移动淄博公司织就高速信息网络,筑牢“数字淄博”智慧生命线
在数字化浪潮席卷而来的今天,信息传输网络如同城市的“神经网络”,是智慧城市运转的核心支撑。作为这一无形“生命线”的守护者
2025-09-27 12:34:00
迭代焕新“吾悦经营五步法”,新城控股再启商业新篇
9月24日-25日,新城控股“2025第八届商业年会暨吾悦商管第一届悦链计划合伙人大会”在上海西岸美高梅酒店举行,新城控股集团董事长王晓松及公司高管
2025-09-27 12:37:00
25日上午,以“上山下山·食在晋安”为主题的晋安区“一县一桌菜”云上发布会举行,12道“云端”盛宴引爆味蕾。
2025-09-27 13:53:00
产业链协同驱动 新奥加速冲刺氢硼聚变
河北新闻网讯(张新)2025年,是我国“十四五”规划收官之年,也是“双碳”目标提出五周年。在此背景下,央视《东方时空》栏目近日推出“可控核聚变专题”
2025-09-27 14:45:00
9月25日,国网山西省电力公司发布消息,该公司成功完成配电网无人机电力北斗定位服务的全面应用,标志着该公司依托电力北斗高精度定位服务
2025-09-27 19:56:00
谢志强:从金融菁英到人才“伯乐”,以产学研融合破局就业困境
谢志强,现任中科汇理信息技术研究院党支部书记、秘书长、中科产学研合作一体化人才培育开发平台项目主任。历任中国银行总行风险管理部业务经理
2025-09-27 20:20:00
聚焦数贸会 | 工匠行:机器狗能听会说还会自主巡逻
在第四届全球数字博览会上,贵州工匠行科技有限公司展出的SomaSeek具身智能平台,让机器人彻底告别了遥控器,也能听会说
2025-09-27 22:17:00
企业新市场何处寻?潍坊这场产业国际精准对接会送来“及时雨”
齐鲁晚报·齐鲁壹点 胡晓雪 李国栋9月26日,2025潍坊纺织服装产业国际精准对接活动在奎文区成功举办,本次活动以“我帮企业组主场·我为企业找订单”为主题
2025-09-27 22:22:00
生产周期缩短1/3,宇捷轴承凭核心技术领跑细分市场
齐鲁晚报·齐鲁壹点 陶春燕 山东省宇捷轴承制造有限公司是国家级专精特新重点“小巨人”企业、国内最大的调心滚子轴承生产企业
2025-09-27 20:05:00
电动车照亮小区应急通道?淄博供电验证居民V2G桩集群放电场景
当小区突发故障停电,地下车库里业主们的电动汽车,瞬间变身为一个巨大“充电宝”,为消防、通风和应急照明系统供电,守护社区安全
2025-09-27 12:35:00
数字游民在南京:我推着房间找邻居
随时“云端”办公,自由“安放”工位,数字游民社区兴起数字游民在南京:我推着房间找邻居南京首个乡村数字游民社区坐落于浦口草圣书乡景区
2025-09-26 08:14:00