推理,周期,训练,生命,推理,能效头条新闻资讯订阅

我的订阅
头条热搜

我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！

虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！

头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。

ai生命周期：ai训练和ai推理的完美结合

...命周期包括最重要的两个部分，一个是AI训练，一个是AI推理。其中，AI训练就是让模型识别数据模式，是数据和处理最密集的部分，需要大规模的算力。在这一阶段，往往优先使用大规模并行的GPU加速器或专用的AI加速器，有时...……更多

2024-03-15 02:13:00推理,周期,训练,生命,推理,能效

清华团队提出新型光计算架构，光训练速度提升1个数量级

...智能计算的“潜力股”，为后摩尔时代带来新的希望。推理和训练是 AI 大模型核心能力的两个重要阶段，正是看到了这一点，该团队在推理和训练方面进行了同期的并行研究。今年 4 月，他们在 Science 报道了通用智能光计算芯...……更多

2024-08-09 09:57:00量级,清华,架构,个数,团队,速度

国产大模型第一梯队玩家，为什么pick了CPU？

...占绝对大头的因素——算力。现在提及大模型的训练和推理，很多人的第一反应或许就是想到了GPU。诚然GPU在高性能上占据着一定的优势，但它所存在“硬伤”也是比较明显，那便是供应不足、价格昂贵。何以破局？国产大模...……更多

2024-07-10 20:45:00梯队,模型,国产,玩家,模型,英特

“智算融合共创未来”——开普云AI战略暨新产品发布会召开

...容生成的一致性和可控性； 5.算力适配通用化，在模型推理运行方面，针对重点行业客户应用，与多家国内外算力厂商的产品适配，形成了算力模型一体化产品； 6.模型进步持续化，为保障技术的持续领先，开普云将不断完善...……更多

2024-04-11 10:30:00新产,开普,共创,共创未来,发布会,新产品

收入占比40%、电话会议点名16次，英伟达：推理端的需求被低

...让人印象深刻的是，英伟达在财报电话会议的一个观点：推理端的爆发，可能很多人还是低估了。据英伟达电话会议披露，公司全年数据中心里已经有40%的收入来自推理业务，超出了绝大部分人预期。而在这次财报电话会议里，...……更多

2024-03-02 13:38:00英伟,电话会议,推理,收入,需求,端的

AI时代CPU不老！Intel五代至强五大革新：340亿参数

...架的支持，特别是PyTorch、TensorFlow等等，在AI训练、实时推理、批量推理等方面，基于不同算法，性能提升最多可达40％，甚至可以处理340亿参数的大模型。根据Intel提供的数据，五代至强SPECInt整数计算性能提升21％，AI负载性能...……更多

2024-03-26 05:00:00革新,小意思,参数,时代,性能,芯片

戴尔科技：夯实AI时代“算力底座”，让每一分算力“物尽其用”

...供动力。这些AI大模型的创新性发展，无论是在训练还是推理阶段，都对算力提出了前所未有的需求。随着模型参数规模的显著增长，算力市场的供需关系面临日益严峻的挑战。特别是，训练和推理的算力需求正在以指数级的速...……更多

2024-06-19 09:29:00戴尔,底座,时代,科技,戴尔,基础

杨元庆谈AI PC：支持运行个人大模型

...能设备或家庭服务器上，使用存储在本地的个人数据进行推理和学习的人工智能基础模型。它不仅可以像公共大模型那样通过对话提供答案、创作内容，而且更精准、贴切，甚至根据用户的思维模式预测任务，并自主寻找解决方...……更多

2023-11-22 19:04:00杨元庆,模型,运行,支持,个人,模型

英特尔第五代至强可扩展处理器发布：AI推理性能提升42%！

...器，相比上代至强平均性能提升了21%，能效提升了36%，AI推理性能提升了42%，总拥有成本降低了77%！最高64核心，整体性能提升21%、AI推理性能提升42%、总拥有成本降低77%！据介绍，第五代至强（Xeon）延续了上代的Intel 7制造工...……更多

2023-12-16 13:49:00英特,英特尔,推理,处理器,性能,处理

超擎数智重磅发布擎天、锋锐、元景系列AI服务器，打造人工智能

...擎天、锋锐、元景系列AI服务器产品,为大规模数据训练和推理提供强劲性能,帮助AI用户高效构建AI基础设施和应用环境,满足AI场景下的多元算力需求,为AI新质生产力提供强劲引擎。擎天系列L20 AI服务器,4U8卡PCle擎天系列L20 AI服务...……更多

2024-04-28 14:05:00人工智能,重磅,生产力,人工,服务器,引擎

英特尔推出新款AI芯片：推理性能比英伟达H100快50%

...加速器将为寻求大规模部署生成式AI的企业带来AI训练和推理方面的重大飞跃。英特尔Gaudi 3预计可大幅缩短70亿和130亿参数Llama2模型，以及1750亿参数GPT-3模型的训练时间。英特尔表示，Gaudi 3能够比英伟达上一代H100处理器训练特定...……更多

2024-04-10 10:52:00英特,英特尔,英伟,能比,推理,芯片

大模型推理乘上RISC-V快车？国内AI芯片创企推大模型系列

...并发、技术自主可控方面具有优势的新选择。AI大模型在推理侧的新机遇与RISC-V创新架构具有的可扩展性、可编程性、超大规模等优势特点不谋而合。技术和场景应用的双重优势下，希姆计算的大模型一体机能支撑企业将基座模...……更多

2023-11-15 15:41:00模型,一体机,推理,快车,芯片,一体

CPU,正在被AI时代抛弃？

...以通过语音识别技术被录入到病例系统中，随后大模型AI推理技术辅助进行智能总结和诊断，医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间，也保护了患者隐私；在法院、律所等业务场景中，律师通过大模型对...……更多

2024-07-11 16:45:00正在,时代,模型,推理,英特,英特尔

英特尔推出酷睿Ultra和第五代至强可扩展处理器，让AI无处

...器更是能够微调参数量多达200亿的大语言模型9，并将其推理性能提高42%。现阶段，英特尔至强可扩展处理器也是唯一一款拥有MLPerf 训练和推理基准测试结果并持续提升性能的 CPU。得益于内置AI加速器，以及优化的软件和增强的...……更多

2023-12-18 13:54:00英特,英特尔,处理器,处理,英特,英特尔

为AI加速而生英特尔第五代至强CPU带来AI新表现

...来概括它的特点,那就是——AI味道越发得浓厚。以训练、推理大模型为例:• 与第四代相比,训练性能提升多达29%,推理性能提升高达42%;• 与第三代相比,AI训练和推理性能提升高达14倍。什么概念?现在若是将不超过200亿参数的模型...……更多

2023-12-25 19:02:00英特,英特尔,英特,英特尔,处理器,处理

中国电信中部智算中心投用：首次全国产AI软硬件、全液冷

...算中心支持部署万亿参数大模型，可提供千卡规模的训练推理能力，计算效率达80％，并支持主流框架、芯片，支持基于训练推理的混合调度能力，资源利用率提升20％。中国电信表示，中部智算中心将引进多家云计算、AI、生物...……更多

2024-01-30 21:24:00中国电信,软硬,中国,电信,全国,中国电信

高通：人工智能只是一个红利

...们在人工智能革命上已经前进了几个季度，部分人工智能推理工作负载将在设备上处理似乎更加可信。高通的新产品发布看起来很有竞争力。Snapdragon 8 Gen 3 看起来很棒，基准测试也非常好（读者可以在高通Snapdragon Summit Keynote 202...……更多

2024-01-28 18:00:00高通,人工智能,红利,人工,只是,智能

阿里云CTO周靖人：全面投入升级AI大基建

...级从服务器到计算、存储、网络、数据处理、模型训练和推理平台的技术架构体系，让数据中心成为一台超级计算机，为每个AI和应用提供高性能、高效的算力服务。大会现场，通义大模型迎来了年度重磅发布，基础模型升级，...……更多

2024-09-19 15:53:00阿里,基建,投入,升级,模型,通义

英特尔发布全新软硬件平台，全速助力企业推进AI创新

...碎片化、数据可靠性和合规性等需求。推出用于AI训练和推理的Gaudi3英特尔Gaudi3AI加速器将为AI系统提供动力，该AI系统可通过以太网的通用标准连接多达数万个加速器。与上一代产品相比，英特尔Gaudi3将带来4倍的BF16AI计算能力提...……更多

2024-04-10 17:08:00英特,英特尔,软硬,全新,平台,企业

AI行业深度研究：乘大模型之风，AI芯片元老寒武纪再度起航

... 的 AI 服务器收入也大幅增加。我们预计未来针对训练和推理的 AI 算力需求有望长时间高景气，据 IDC 及 TheNextPlatform 统计，2023 年全球 AI 服务器市场规模预计将超 500 亿美元，2027 年预计将超 946 亿美元。在这一场科技盛宴...……更多

2024-07-09 13:50:00之风,元老,深度,芯片,模型,研究

人工智能的第三支柱：数据存储

...周期，详细解读了AI管道六个阶段中数据从收集、训练到推理的存储细节。让我们简单了解一下人工智能数据周期的各个阶段。原始数据存档，内容存储：从各种来源安全高效地收集并存储原始数据，以用于训练模型。所收集数...……更多

2024-09-05 14:25:00人工智能,支柱,人工,存储,智能,数据

手机市场深陷泥沼，厂商如何破冰？

...4位量化技术，实现精度不掉点效果下更优的性能，通过推理引擎的加速，以及芯片硬件加速的方式，更是成为行业首个端侧应用的70亿参数的模型。基于来自端侧的70亿大模型参数，FindX7能够实现比其他手机更快速的大模型响应...……更多

2024-01-09 10:18:00泥沼,厂商,手机,市场,手机,模型

长三角（芜湖）智算中心首批国产算力集群交付

...专家齐聚芜湖，共同见证首批国产训练算力集群、16地市推理算力交付，并深入探讨算力赋能传统产业转型升级和人工智能产业与应用深度融合。2023年9月，芜湖市人民政府与中国电信安徽公司签约共建长三角（芜湖）智算中心...……更多

2024-05-17 01:16:00长三角,芜湖,集群,国产,芜湖,集群

大模型推理与训练的边界之争

随着大模型的发展日新月异，其推理和训练的边界问题也引起了广泛讨论。近日，清程极智CEO汤雄超在一场行业活动中明确表示，尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限，但从技术角度来看，这两个阶段...……更多

2024-11-07 20:18:00边界,推理,模型,训练,推理,模型

大模型不会推理，为什么也能有思路？有人把原理搞明白了

大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。大语言模型的「推理」能力应该不是推理，在今年 6 月，一篇 Nature 论文《Language is primarily a tool for communication rather than thought》曾引发……更多

2024-11-23 09:42:00推理,模型,思路,原理,推理,模型

加速落地京东云大模型已支持数百个场景

...、性能、效果三者取得一个比较好的平衡点。京东云自研推理引擎，协同大小模型，为大模型产业落地提供最佳实践，如通过利用推测解码，用小模型辅助大模型进行推理，加速大模型推理速度，降低成本。在大模型应用开发上...……更多

2024-06-07 11:04:00云大,京东,落地,模型,场景,支持

推理成本直降99%！百川智能「1+3」矩阵揭秘，两张4090

...」。模型升级：Baichuan4-Turbo两张4090即可部署，Baichuan4-Air推理成本下降99%接下来，如何将Baichuan4-Turbo、Baichuan4-Air应用在实际场景中？从名字中不难看出，它们都是Baichuan 4系列基础模型的升级。对于企业来说，在不同场景阶段……更多

2024-11-04 09:50:00百川,矩阵,旗舰,推理,模型,成本