• 我的订阅
  • 头条热搜
ai生命周期:ai训练和ai推理的完美结合
...命周期包括最重要的两个部分,一个是AI训练,一个是AI推理。其中,AI训练就是让模型识别数据模式,是数据和处理最密集的部分,需要大规模的算力。在这一阶段,往往优先使用大规模并行的GPU加速器或专用的AI加速器,有时...……更多
清华团队提出新型光计算架构,光训练速度提升1个数量级
...智能计算的“潜力股”,为后摩尔时代带来新的希望。 推理和训练是 AI 大模型核心能力的两个重要阶段,正是看到了这一点,该团队在推理和训练方面进行了同期的并行研究。今年 4 月,他们在 Science 报道了通用智能光计算芯...……更多
国产大模型第一梯队玩家,为什么pick了CPU?
...占绝对大头的因素——算力。 现在提及大模型的训练和推理,很多人的第一反应或许就是想到了GPU。诚然GPU在高性能上占据着一定的优势,但它所存在“硬伤”也是比较明显,那便是供应不足、价格昂贵。何以破局?国产大模...……更多
“智算融合 共创未来”——开普云AI战略暨新产品发布会召开
...容生成的一致性和可控性; 5.算力适配通用化,在模型推理运行方面,针对重点行业客户应用,与多家国内外算力厂商的产品适配,形成了算力模型一体化产品; 6.模型进步持续化,为保障技术的持续领先,开普云将不断完善...……更多
AI时代CPU不老!Intel五代至强五大革新:340亿参数小意思
...架的支持,特别是PyTorch、TensorFlow等等,在AI训练、实时推理、批量推理等方面,基于不同算法,性能提升最多可达40%,甚至可以处理340亿参数的大模型。根据Intel提供的数据,五代至强SPECInt整数计算性能提升21%,AI负载性能...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
戴尔科技:夯实AI时代“算力底座”,让每一分算力“物尽其用”
...供动力。这些AI大模型的创新性发展,无论是在训练还是推理阶段,都对算力提出了前所未有的需求。随着模型参数规模的显著增长,算力市场的供需关系面临日益严峻的挑战。特别是,训练和推理的算力需求正在以指数级的速...……更多
...能设备或家庭服务器上,使用存储在本地的个人数据进行推理和学习的人工智能基础模型。它不仅可以像公共大模型那样通过对话提供答案、创作内容,而且更精准、贴切,甚至根据用户的思维模式预测任务,并自主寻找解决方...……更多
超擎数智重磅发布擎天、锋锐、元景系列AI服务器,打造人工智能新质生产力强劲引擎
...擎天、锋锐、元景系列AI服务器产品,为大规模数据训练和推理提供强劲性能,帮助AI用户高效构建AI基础设施和应用环境,满足AI场景下的多元算力需求,为AI新质生产力提供强劲引擎。擎天系列L20 AI服务器,4U8卡PCle擎天系列L20 AI服务...……更多
英特尔第五代至强可扩展处理器发布:AI推理性能提升42%!
...器,相比上代至强平均性能提升了21%,能效提升了36%,AI推理性能提升了42%,总拥有成本降低了77%!最高64核心,整体性能提升21%、AI推理性能提升42%、总拥有成本降低77%! 据介绍,第五代至强(Xeon)延续了上代的Intel 7制造工...……更多
英特尔推出新款AI芯片:推理性能比英伟达H100快50%
...加速器将为寻求大规模部署生成式AI的企业带来AI训练和推理方面的重大飞跃。英特尔Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型,以及1750亿参数GPT-3模型的训练时间。英特尔表示,Gaudi 3能够比英伟达上一代H100处理器训练特定...……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...并发、技术自主可控方面具有优势的新选择。AI大模型在推理侧的新机遇与RISC-V创新架构具有的可扩展性、可编程性、超大规模等优势特点不谋而合。技术和场景应用的双重优势下,希姆计算的大模型一体机能支撑企业将基座模...……更多
华为AI存储助力中国移动构建超大规模智算集群
...海量数据信息的投入。面对智算集群目前存在的可用度、推理体验等问题,华为推出业界首款AI存储——OceanStor A800,致力于成为支撑智算集群发展的关键基座。智算集群为千行万业发展新质生产力夯基筑石近年来,智能计算已...……更多
英特尔推出酷睿Ultra和第五代至强可扩展处理器,让AI无处不在
...器更是能够微调参数量多达200亿的大语言模型9,并将其推理性能提高42%。现阶段,英特尔至强可扩展处理器也是唯一一款拥有MLPerf 训练和推理基准测试结果并持续提升性能的 CPU。得益于内置AI加速器,以及优化的软件和增强的...……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
为AI加速而生 英特尔第五代至强CPU带来AI新表现
...来概括它的特点,那就是——AI味道越发得浓厚。以训练、推理大模型为例:• 与第四代相比,训练性能提升多达29%,推理性能提升高达42%;• 与第三代相比,AI训练和推理性能提升高达14倍。什么概念?现在若是将不超过200亿参数的模型...……更多
中国电信中部智算中心投用:首次全国产AI软硬件、全液冷
...算中心支持部署万亿参数大模型,可提供千卡规模的训练推理能力,计算效率达80%,并支持主流框架、芯片,支持基于训练推理的混合调度能力,资源利用率提升20%。中国电信表示,中部智算中心将引进多家云计算、AI、生物...……更多
高通:人工智能只是一个红利
...们在人工智能革命上已经前进了几个季度,部分人工智能推理工作负载将在设备上处理似乎更加可信。高通的新产品发布看起来很有竞争力。Snapdragon 8 Gen 3 看起来很棒,基准测试也非常好(读者可以在高通Snapdragon Summit Keynote 202...……更多
英特尔发布全新软硬件平台,全速助力企业推进AI创新
...碎片化、数据可靠性和合规性等需求。推出用于AI训练和推理的Gaudi3英特尔Gaudi3AI加速器将为AI系统提供动力,该AI系统可通过以太网的通用标准连接多达数万个加速器。与上一代产品相比,英特尔Gaudi3将带来4倍的BF16AI计算能力提...……更多
阿里云CTO周靖人:全面投入升级AI大基建
...级从服务器到计算、存储、网络、数据处理、模型训练和推理平台的技术架构体系,让数据中心成为一台超级计算机,为每个AI和应用提供高性能、高效的算力服务。大会现场,通义大模型迎来了年度重磅发布,基础模型升级,...……更多
AI行业深度研究:乘大模型之风,AI芯片元老寒武纪再度起航
... 的 AI 服 务器收入也大幅增加。我们预计未来针对训练和推理的 AI 算力需求有 望长 时间高景气,据 IDC 及 TheNextPlatform 统计,2023 年全球 AI 服务器 市场 规模预计将超 500 亿美元,2027 年预计将超 946 亿美元。在这一场科 技盛 宴...……更多
手机市场深陷泥沼,厂商如何破冰?
...4位量化技术,实现精度不掉点效果下更优的性能,通过推理引擎的加速,以及芯片硬件加速的方式,更是成为行业首个端侧应用的70亿参数的模型。基于来自端侧的70亿大模型参数,FindX7能够实现比其他手机更快速的大模型响应...……更多
...专家齐聚芜湖,共同见证首批国产训练算力集群、16地市推理算力交付,并深入探讨算力赋能传统产业转型升级和人工智能产业与应用深度融合。2023年9月,芜湖市人民政府与中国电信安徽公司签约共建长三角(芜湖)智算中心...……更多
人工智能的第三支柱:数据存储
...周期,详细解读了AI管道六个阶段中数据从收集、训练到推理的存储细节。让我们简单了解一下人工智能数据周期的各个阶段。原始数据存档,内容存储:从各种来源安全高效地收集并存储原始数据,以用于训练模型。所收集数...……更多
亚马逊连甩6款大模型!推出3nm AI训练芯片,最强AI服务器算力爆表
...比,苹果已用Amazon Graviton、Inferentia等AWS芯片在机器学习推理工作负载方面实现了40%以上的效率提升,并预计在Trainium 2上预训练模型时,效率将提高50%。被亚马逊豪掷80亿美元投资的Anthropic,宣布与AWS共同构建面向机器学习训练...……更多
随着大模型的发展日新月异,其推理和训练的边界问题也引起了广泛讨论。近日,清程极智CEO汤雄超在一场行业活动中明确表示,尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限,但从技术角度来看,这两个阶段...……更多
大模型不会推理,为什么也能有思路?有人把原理搞明白了
大模型不会照搬训练数据中的数学推理,回答事实问题和推理问题的「思路」也不一样。大语言模型的「推理」能力应该不是推理,在今年 6 月,一篇 Nature 论文《Language is primarily a tool for communication rather than thought》曾引发……更多
加速落地 京东云大模型已支持数百个场景
...、性能、效果三者取得一个比较好的平衡点。京东云自研推理引擎,协同大小模型,为大模型产业落地提供最佳实践,如通过利用推测解码,用小模型辅助大模型进行推理,加速大模型推理速度,降低成本。在大模型应用开发上...……更多
推理成本直降99%!百川智能「1+3」矩阵揭秘,两张4090玩转旗舰新模型
...」。模型升级:Baichuan4-Turbo两张4090即可部署,Baichuan4-Air推理成本下降99%接下来,如何将Baichuan4-Turbo、Baichuan4-Air应用在实际场景中?从名字中不难看出,它们都是Baichuan 4系列基础模型的升级。对于企业来说,在不同场景阶段……更多
模型即服务,卓世科技MaaS平台 2.0 正式上线
...。本次新上线了包括:模型训练新基座,支持模型训练、推理、量化、评测等功能。 卓世科技MaaS平台是一款基于知识增强大模型的一站式行业模型训练开发平台。面向开发者和企业提供从基础算力服务、数据服务、模型训练服...……更多
更多关于科技的资讯:
7月11日,杭州市滨江区市场监管局官方微信号发布消息,日内瓦传来捷报:世界知识产权组织(WIPO)正式宣布,宇树科技从全球95个国家780家参评企业中胜出
2025-07-12 15:11:00
【肿瘤诊疗 我们更专业】Lattice放疗破局:泰安肿瘤医院创新放疗技术破解肺癌大肿块治疗难题
当74岁的张先生(化名)因左肺癌骨转移病情恶化,巨大肿块侵蚀胸壁带来剧痛,传统治疗手段几近失效之际,泰安市肿瘤医院放疗二科主任曹亮与放疗中心物理师荆亮共同启用一把名为Lattice放疗(晶格放疗)的科技利刃
2025-07-12 13:13:00
产业链上的山东好品牌|一根拉动世界的绳子
齐鲁晚报·齐鲁壹点记者 闫聪 王鑫 王世宇在山东泰安这片工业热土上,一家专注于绳网科技的企业正以“隐形冠军”的姿态,在全球细分市场中悄然崛起
2025-07-12 12:21:00
多氟多董事长李世江:靠灵心巧手穿越经济和产业周期
7月8日,多氟多召开2025年上半年工作总结暨下半年工作部署大会。董事长李世江讲话时指出,经济周期有波动,但创新与奋斗的价值永恒
2025-07-12 10:06:00
山东港口日照港石臼港区四足仿生巡检机器人“上岗”
日前,走进山东港口日照港石臼港区粮食基地,只见错综复杂的皮带机上,身姿矫健的四足仿生巡检机器人正灵活攀爬,轻松穿越狭窄通道
2025-07-12 10:35:00
泉城企话录 | 留学路上的 “通关密码”,你 get 了吗?
编者按:在春风送暖、政策护航的良好环境下,民营企业迎来了新的发展新机。大众网・海报新闻推出 “春天里” 的民企之声 ——“济南企业 +” 系列访谈
2025-07-12 05:22:00
2025全球跨境电商交易博览会正在杭州大会展中心举行。展会期间,市商务局邀请了涉外法律服务机构、国际国内知名展览公司、货代企业
2025-07-12 06:59:00
7月10日,第十五届全国大学生电子商务“创新、创意及创业”挑战赛跨境电商实战赛全国总决赛在杭州师范大学仓前校区落下帷幕
2025-07-12 06:59:00
产业+人才+平台=新的机遇 中国制造正通过跨境电商实现“全球卖”
从山西运城的汽车配件专利技术,到新绛县的特色农产品;从江苏泰州的医疗产品到河北廊坊的家具箱包;从亚马逊推荐的海外爆款清单
2025-07-12 07:00:00
我国跨境电商人才需求有多大?10日在2025全球跨境电商交易博览会上发布的《中国跨境电商人才培养白皮书》显示,2025年我国跨境电商人才供给缺口达400万人
2025-07-12 06:59:00
Rap歌曲《八方来财》从中国传唱到世界,与跨境电商把中国的“材”卖到了全球,赚到了“财”,有着异曲同工之处。在2025全球跨境电商交易博览会6A展馆
2025-07-12 07:00:00
民航新规聚焦电池安全 松典相机以品质护航空中旅程
近期民航部门针对充电宝等便携式锂电池设备出台更严格的安全运输规定,引发了公众对包括数码相机在内电子设备电池安全性的广泛讨论
2025-07-11 16:26:00
还记得那些从贵州松桃“微工厂”走出的泡泡玛特潮玩吗?如今,在贵州的另一片山区,又一批高端动漫手办正从流水线上诞生,远销世界各地
2025-07-12 01:05:00
施耐德电气:致电未来,创新赋能电子及生命科学行业提质向“新”
以“破界新生,致电未来”为主题的2025施耐德电气电子及生命科学新质生产力峰会在杭州成功举办。施耐德电气携手行业专家、生态伙伴及客户相聚一堂
2025-07-11 16:26:00
深圳卫视力推松典DC209X:千元级国货微单的硬核体验
在全民追求高品质影像记录的时代,手机拍照的局限性,尤其是在变焦、暗光及稳定性上的不足,让许多用户苦于“糊片”困扰。近日
2025-07-11 16:26:00