• 我的订阅
  • 头条热搜
ai生命周期:ai训练和ai推理的完美结合
...命周期包括最重要的两个部分,一个是AI训练,一个是AI推理。其中,AI训练就是让模型识别数据模式,是数据和处理最密集的部分,需要大规模的算力。在这一阶段,往往优先使用大规模并行的GPU加速器或专用的AI加速器,有时...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
AI时代CPU不老!Intel五代至强五大革新:340亿参数小意思
...架的支持,特别是PyTorch、TensorFlow等等,在AI训练、实时推理、批量推理等方面,基于不同算法,性能提升最多可达40%,甚至可以处理340亿参数的大模型。根据Intel提供的数据,五代至强SPECInt整数计算性能提升21%,AI负载性能...……更多
...能设备或家庭服务器上,使用存储在本地的个人数据进行推理和学习的人工智能基础模型。它不仅可以像公共大模型那样通过对话提供答案、创作内容,而且更精准、贴切,甚至根据用户的思维模式预测任务,并自主寻找解决方...……更多
英特尔第五代至强可扩展处理器发布:AI推理性能提升42%!
...器,相比上代至强平均性能提升了21%,能效提升了36%,AI推理性能提升了42%,总拥有成本降低了77%!最高64核心,整体性能提升21%、AI推理性能提升42%、总拥有成本降低77%! 据介绍,第五代至强(Xeon)延续了上代的Intel 7制造工...……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...并发、技术自主可控方面具有优势的新选择。AI大模型在推理侧的新机遇与RISC-V创新架构具有的可扩展性、可编程性、超大规模等优势特点不谋而合。技术和场景应用的双重优势下,希姆计算的大模型一体机能支撑企业将基座模...……更多
英特尔推出酷睿Ultra和第五代至强可扩展处理器,让AI无处不在
...器更是能够微调参数量多达200亿的大语言模型9,并将其推理性能提高42%。现阶段,英特尔至强可扩展处理器也是唯一一款拥有MLPerf 训练和推理基准测试结果并持续提升性能的 CPU。得益于内置AI加速器,以及优化的软件和增强的...……更多
为AI加速而生 英特尔第五代至强CPU带来AI新表现
...来概括它的特点,那就是——AI味道越发得浓厚。以训练、推理大模型为例:• 与第四代相比,训练性能提升多达29%,推理性能提升高达42%;• 与第三代相比,AI训练和推理性能提升高达14倍。什么概念?现在若是将不超过200亿参数的模型...……更多
中国电信中部智算中心投用:首次全国产AI软硬件、全液冷
...算中心支持部署万亿参数大模型,可提供千卡规模的训练推理能力,计算效率达80%,并支持主流框架、芯片,支持基于训练推理的混合调度能力,资源利用率提升20%。中国电信表示,中部智算中心将引进多家云计算、AI、生物...……更多
高通:人工智能只是一个红利
...们在人工智能革命上已经前进了几个季度,部分人工智能推理工作负载将在设备上处理似乎更加可信。高通的新产品发布看起来很有竞争力。Snapdragon 8 Gen 3 看起来很棒,基准测试也非常好(读者可以在高通Snapdragon Summit Keynote 202...……更多
手机市场深陷泥沼,厂商如何破冰?
...4位量化技术,实现精度不掉点效果下更优的性能,通过推理引擎的加速,以及芯片硬件加速的方式,更是成为行业首个端侧应用的70亿参数的模型。基于来自端侧的70亿大模型参数,FindX7能够实现比其他手机更快速的大模型响应...……更多
新一轮ai算力调度平台的重要性
...、多区多业务资源整合、算法开发支持、混合组网、容器推理服务平台、模型仓库(MaaS)、AI训练平台九大关键能力,青云AI算力调度平台提供多元算力统一调度的同时,具备分布式调度与管理能力,并能够统一纳管多种异构硬...……更多
商汤联合发布白皮书,首次提出新一代AI基础设施评估体系
...。AI2.0时代,需要新一代的基础设施来支撑大模型的训练与推理、生成式AI应用的规模化落地,其核心要素,如计算、存储、网络以及数据服务都要做精细化的设计和重构,而非简单的服务器或GPU实例堆砌。《白皮书》明确了新一代AI...……更多
金山办公:年初就备了较大的算力供应 推理和训练算力充足 【金山办公:年初就备了较大的算力供应 推理和训练算力充足】《科创板日报》18日讯,据一财网17日晚间报道,拜登政府10月17日更新了针对人工智能芯片的出口管制...……更多
苹果推出DeepPCR 神经网络训练和推理速度提升7倍
...该算法通过并行处理常规顺序操作,可以加速神经网络的推理和训练过程。尽管神经网络已能处理文本或图片合成、分割和分类等复杂任务,但由于计算需求过大,神经网络训练和反馈结果的时间可能需要数天或者数周。目前广...……更多
全新英特尔 至强 可扩展处理器,打破数智化变革瓶颈的一板利斧
...三代至强® 可扩展处理器通过扩展出bfloat16加速功能,在推理加速能力之外又加强了训练能力;而第四代英特尔® 至强® 可扩展处理器又带来了全新的加速引擎——英特尔® AMX,进一步提升深度学习训练和推理性能,同时更适合...……更多
AI时代 CPU依然是中流砥柱!AMD EPYC树立新标杆
生成式AI的新时代下,无论AI训练还是AI推理,都对硬件算力提出了空前苛刻的极高需求,GPU加速器、FPGA/ASIC加速器等各种专用硬件变得异常火爆,在消费级端无论PC还是智能手机都纷纷加入了专用的NPU硬件引擎。这种情况下,CPU...……更多
中兴通讯引领算力时代:投资智能计算基础设施与大模型训练推理
...于算力领域,并致力于智能计算基础设施、大模型的训练推理算法以及工程优化的研究和开发。#中兴通讯绿色算力主力军#在算力领域,大模型的技术和应用已经成为一个趋势。大模型是一种基于深度学习技术的自然语言处理模...……更多
港中文团队提出大模型元推理范式,革新大模型的评价体系
...一定启示。日前,相关论文以《大型语言模型评价中的元推理革命》(MR-GSM8K: A Meta-Reasoning Revolution in Large Language Model Evaluation)为题发在 arXiv,曾忠燊是第一作者,香港中文大学教授贾佳亚担任通讯作者 [1]。图……更多
联想王传东:2027年AI PC将成为市场主流
...下也能使用;第三,更低的大模型使用成本,以本地免费推理为主、以云端公共推理为辅,一次性购买AIPC即可享受全生命周期的本地免费推理服务;第四,可信、安全的个人数据和隐私保障,个性化本地知识库、隐私数据的本...……更多
三星galaxys24系列全系搭载骁龙8移动平台
...的核心——高通HexagonNPU,增强的高通HexagonNPU让生成式AI推理速度更快,相比前代的推理速度快98%,且能效提升40%。最新的HexagonNPU还集成了微架构升级、增强的微切片推理、更低的内存带宽占用,以及可实现最优性能和能效的专...……更多
谷歌最新自然语言推理算法
谷歌发布全新反向推理算法LAMBADA,无惧搜索空间爆炸!自动推理绝对算是自然语言处理领域的一大难题,模型需要根据给定的前提和知识推导出有效且正确的结论。尽管近年来NLP领域借着大规模预训练语言模型在各种「自然语...……更多
PC迎来AI时刻,英特尔、微软、联想等纷纷布局,产品价格将迎上涨
...算力是上一代的8倍,可在PC上实现高能效的AI加速和本地推理,并适配超过10款国产大模型。英特尔的老对手AMD则抢先一步,上周发布Ryzen 8040系列处理器。该处理器集成了升级的专用AI引擎NPU,算力为16TOPS,AI性能相比上一代提升...……更多
研究人员给了人工智能一个“内心独白”,结果大大提高了其性能
...工智能系统,让它在说话前先思考。内心独白提高了常识推理能力,并使其数学成绩翻了一番。一项新的研究表明,给人工智能系统一个“内心独白”会大大提高它们的推理能力。这种方法训练的人工智能系统,会在对提示做出...……更多
PC正在经历AI时代 下一代Windows 12将是AI PC的完美载体
...态下也能使用;第三,降低大模型使用成本,在本地免费推理为主,云端公共推理为辅的情况下,一次购买AI PC即可享受全生命周期的本地免费推理服务;第四,提供可信、安全的个人数据和隐私保障,包括个性化本地知识库、...……更多
...能计算等;在AI服务器领域,联想从训练到训推一体再到推理的AI全场景都有完善的AI服务器产品矩阵。在设备之上,联想研发了在构筑智算中心时的关键模块——异构智算平台。同时,联想与国内外领先的AI算力生态企业广泛合...……更多
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...在MMLU(多任务语言理解)、Knowledge(知识)、Reasoning(推理)、Comprehension(理解)等关键指标上均超越了Meta Llama 2的13B模型。这一个故事,在2024年2月1日的发布会上,也被AI模型层公司面壁智能的CEO李大海不断提起。对标Mistral..……更多
...今年正式投产。据了解,新的芯片将被应用于数据中心的推理任务,与英伟达等供应商的GPU一起协同工作。Meta发言人之前表示:我们相信,我们自主开发的加速器将与市面上的GPU相得益彰,为Meta的任务提供最佳的性能与效率平...……更多
AI PC YES!AMD举办AI PC创新峰会
...的架构产品去解决AI的不同需求,包括面向通用处理和AI推理的Zen架构CPU;面向HPC、AI训练和密集推理的CDNA架构GPU;面向游戏和基于AI的内容开发的RDNA架构GPU;以及面向低功耗和一直在线的AI推理的XDNA架构,即NPU。 最先的锐龙804...……更多
掰开安卓手机 满屏都是三个字:大模型
...的内存单元,是大模型进手机面临的第二道难关:大模型推理需要大量计算资源做支撑,与此同时,内存大小决定了数据处理速度的上限以及推理的稳定性。另外,在手机上跑大模型,也给电池带来了更大的压力。因此芯片能耗...……更多
更多关于科技的资讯:
距离6G还有5年多的“窗口期”,5.5G在上海已然热火朝天
通感一体是5.5G/6G网络的关键技术,它的原理与雷达相似。2024年是5G-A商用元年,正在举行的2024年上海世界移动通信大会(2024MWC上海)上
2024-06-28 08:50:00
讯飞星火V4.0整体超越GPT-4 Turbo,8个国际权威测试集测评第一
讯飞星火APP/Desk全新升级,发布“个人空间”,打造更懂你的AI助手;讯飞晓医APP升级,上线个人数字健康空间,打造每个人的健康助手
2024-06-28 08:49:00
从小众到多元,为什么B站愿意陪用户长大?
15年来,B站不断破圈,内容从二次元扩展到学习、生活、科技等多个领域。用户群体的增长和内容的多元化,也为B站带来了商业化的新机遇
2024-06-28 09:14:00
2024国际AI与高性能计算学术会议在合肥举行
6月27日,2024国际AI与高性能计算学术会议在合肥顺利举行。本次大会由合肥高新区管委会作为指导单位,科大硅谷服务平台有限公司
2024-06-28 09:14:00
GPT-4顶替大学生参加考试,94%作弊未被揭穿!AI作弊毫无破绽
新智元报道编辑:编辑部【新智元导读】真实的大学考试,已经被AI渗透了!英国雷丁大学的一项研究发现,在大学考试中,有94%的AI生成内容完全没有被老师发现
2024-06-28 09:19:00
AIGC工作站要把好三道关,宁畅为AI时代终端算力打了个样
智东西(公众号:zhidxcom)作者香草编辑漠影在5G、边缘计算等技术的推动下,算力逐渐从数据中心向终端扩展。AI时代的终端算力
2024-06-28 09:16:00
AI大模型加持 视源股份如何以会议小切口助力企业全面数字化
“不要组织大型会议,除非你确定它们能为所有与会人士带来价值。”这是马斯克曾写在特斯拉内部信中的内容。他提出,绝大部分企业内部问题来源就是各个部门之间沟通不善
2024-06-28 09:15:00
英特尔展示首个全集成光计算互连小芯片,有望为高速数据处理带来革命性变化
前些年,英特尔就曾介绍其在集成光子学方面取得的快速进展,将使业界能够全面重塑由光连接的数据中心网络和架构。随后英特尔实验室成立了互连集成光子学研究中心
2024-06-28 09:20:00
大摩:下一轮AI投资中,特斯拉才是关键“胜负手”
AI大战的角逐中,电车巨头特斯拉的光环远不及英伟达、微软等。但大摩却认为特斯拉手握一张“关键底牌”,能让其成为下一轮AI投资中的关键“胜负手”
2024-06-28 09:15:00
中国移动发布全球首颗 RISC-V 内核超级 SIM 芯片
IT之家 6 月 27 日消息,中国移动 6 月 26 日举办 5G 智能物联网产品体系发布暨推介会。中国移动首席专家
2024-06-28 09:19:00
AI手机时代,苹果“摸着安卓过河”,OPPO小布助手挑战最强AI智能体
智东西(公众号:zhidxcom)作者云鹏编辑漠影最近,AI手机之战愈发焦灼。从海外的苹果、三星到国内的OPPO、vivo
2024-06-28 09:16:00
钉钉AI搜索来了!集齐大模型“七龙珠”,AI助理推出多Agent协同功能
智东西(公众号:zhidxcom)作者香草编辑李水青智东西6月27日报道,昨日,钉钉宣布推出7.6版本,发布AI搜索功能并开放邀测
2024-06-28 09:16:00
研究人员发现新的扁平电子带,为先进的量子材料铺平道路
裸露和涌现的平坦带和晶格几何形状的图示。a 在非相互作用的情况下,一条平坦的带(红色实线)出现在远离费米能量的地方。b 在存在轨道选择相关性的情况下
2024-06-28 09:23:00
一加 Ace 3 Pro 正式发布:售价 3199 元起
6月27日消息,一加正式发布了一加 Ace 3 Pro、一加平板 Pro、一加手表2等多款新品,其中一加 Ace 3 Pro手机售价3199元起
2024-06-28 09:20:00
科研实验室 DeepMind,正转变为 AI 产品工厂
科研与商业如何平衡?尤其是在当前科技圈最热的赛道——人工智能(AI)中。来自谷歌内部的一些经验和教训,或许可以给出一些启示
2024-06-28 09:24:00