• 我的订阅
  • 头条热搜
错误率从10%降至0.01%,领英全面分享LLM应用落地经验
...觉非常有效,但需要从未见过的 token,因此增加了延迟。吞吐量与延迟:运行大型生成模型时,通常会出现 TimeToFirstToken (TTFT) 和 TimeBetweenTokens (TBT) 随着利用率的增加而增加的情况。成本:GPU 集群不易获得且成本高昂。一开始我...……更多
2023年度“星河产业应用创新奖”揭晓,国网智研院、宝马等10家企业项目获奖
...场景下的优异表现,持续探索在相同的硬件条件下实现高吞吐量(tokens/s)的输出,更好地支撑大模型实际应用。成都西交智汇基于⻜桨和文心大模型打造的中学实验操作教考智评系统,实现实时采集多模态数据,进而评价实验操...……更多
山东移动:坚持科创引领,乘“数”而上焕新能
...产线智能改造,实现生产线远程监控与智能运维,上下行吞吐量分别超18Gbps和40Gbps,结合国密SM4算法保障通信安全,解决超高清视频实时回传难题。建设智能化“万兆景区”,赋能文旅产业智能升级。山东移动积极在泰安、青岛、临...……更多
如果MaaS是个伪命题 大模型时代的“云”应该怎么建?
...参数的生成式大模型进行了优化,与一代 Inferentia 相比,吞吐量提高了 4 倍,延迟降低了 10 倍。训练侧的加速芯片 Trainium 也同样升级到二代,专门针对超 1000 亿甚至万亿参数模型的深度学习训练打造。在成本侧,众所周知云计...……更多
智算闪耀启幕,中国移动智算中心(青岛)为千行百业注智赋能
...力保障,创新性引入RDMA技术,参数网络带宽达200GB,数据吞吐量达TB/s级,为大模型带来极致通信效率,最短训练时间。依托移动云自研智算平台和国内顶尖算法调优队伍,可支撑超大规模、超高复杂度的模型训练、推理全场景...……更多
chatgpt低成本复现流程开源
...。相比原生PyTorch,单机训练速度最高可提升7.73倍,单卡推理速度提升1.42倍,仅需一行代码即可调用。对于微调任务,可最多提升单卡的微调模型容量3.7倍,同时保持高速运行,同样仅需一行代码。要知道,ChatGPT火是真的火,...……更多
天翼云第八代升级款弹性云主机亮相
...代升级款弹性云主机内置的加速引擎,能够提高微服务的吞吐量,同时通过数据保护与压缩加速技术(英特尔QAT)的加解密操作加速实现快速分布式网络通信;在AI场景中,第八代升级款弹性云主机专注AI加速,可以使用户的生成式...……更多
定价15000!老黄重磅发布RTX 5090:世界最小AI超级计算机也来了
...低延迟实时应用和PC及边缘设备;Super在单个GPU上提供高吞吐量和高精度;Ultra为数据中心规模应用设计,精度最高。Cosmos Nemotron视觉语言模型则是结合了英伟达的NIM微服务,可以让开发者构建能分析和响应图像及视频的智能体,...……更多
...层涟漪。3月1日,DeepSeek在知乎上发表题为《DeepSeek-V3/R1 推理系统概览》的文章,全面揭晓V3/R1 推理系统背后的关键秘密。最为引人注目的是,文章首次披露了DeepSeek的理论成本和利润率等关键信息。据介绍,假定GPU租赁成本为2...……更多
MWC 2024观察:AI+硬件元年来了?
...。此外,这两款显卡还搭载了第四代TensorCoreAI加速技术,吞吐量是上一代的2倍,可应用于深度学习训练、推理等。英伟达表示,搭载RTX500和RTX1000的新款笔记本电脑,将在今年春季上市。 总结:AI重塑智能硬件除了智能手机和PC...……更多
Enfabrica推出全球最快GPU网络接口控制器芯片,获1.15亿美元融资
... GPU 的 AI 集群,从而实现集群中所有 GPU 的最高横向扩展吞吐量和最低的端到端延迟。ACF SuperNIC 的设计目标是用其加速计算结构替代传统的多层网络基础设施,实现计算、内存和网络资源的可组合 AI 结构。据 Enfabrica 的联合创始...……更多
NVIDIA发布全新交换机
...络和NVIDIASpectrum-X800以太网络是全球首批高达800Gb/s端到端吞吐量的网络平台,将计算和AI工作负载的网络性能提升到了一个新的水平,与其配套软件强强联手可进一步加速各种数据中心中的AI、云、数据处理和高性能计算(HPC)应...……更多
开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1
...设定了一个新的前沿”。Mistral Large 2尤其擅长代码和数学推理,上下文窗口128k,支持数十种自然语言以及80+编程语言。特别在MMLU上,其预训练版本更是达到了84.0%的准确率。消息一出,Mistral AI联创兼首席科学家第一时间转发,...……更多
...研发中心,专注于算法研发和模型调优,凭借自主创新的推理加速技术,对 DeepSeek全参数版进行软硬件协同深度优化,实现了每秒超6900 Token的超高吞吐率,性能远超行业平均水平,大幅提升了大模型效率。此次入围的算力强基...……更多
清华开源混合精度推理系统MixQ:大模型近无损量化并提升推理吞吐
一键部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍!清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理,可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
美光、SK海力士公布SOCAMM内存模块:尺寸更小 功耗更低
...问大型训练数据集和复杂模型,同时提升推理工作负载的吞吐量。SOCAMM的尺寸为14 x 90毫米,仅为行业标准RDIMM尺寸的三分之一,有助于实现更紧凑、高效的服务器设计。同时,由于采用LPDDR5X技术,SOCAMM的功耗仅为标准DDR5 RDIMM的...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...辨率能力,与NVLM-D相比显著提高了计算效率,在训练中的吞吐量高于NVLM-D动态高分辨率的图块标签NVLM-H使用了与NVLM-D相同的1-D平展图块标签 ,主要区别在于处理位置, 的文本嵌入与视觉嵌入一起集成到门控交叉注意力层中,能...……更多
智谱清言酷睿Ultra专享版发布:无需联网 但必须24+GB内存
...的AI应用,NPU适合持续性的、低负载的AI应用,iGPU适合大吞吐量的AI运算。智谱与Intel深度合作,在本地模型的选择上确保了模型参数、准确性的平衡,同时采用合理的量化技术,确保合理的模型文件尺寸,还在性能调优上选取了...……更多
Sora出现,手机行业将出现大洗牌?
...随视频类大模型Sora出现,谷歌进一步迭代容纳更高文本吞吐量的大模型,AI大模型的演进正在加速。这意味着作为人机交互的重要入口,智能手机的发展也将迎来新阶段。无论从手机硬件本身的计算能力、人机交互的方式,甚至...……更多
英伟达blackwell计算引擎制造商推出的ai模型
...实现了FP4性能,其主要用于提高生成式AI推理工作负载的吞吐量,从而降低这类当红负载类型的处理成本。Buck指出,“Transformer引擎最初是由Hopper所发明,作用是在计算过程中跟踪整个神经网络中各张量的每个层上的准确性与动...……更多
优刻得首个「国产千卡智算集群」落地,支持智源千亿大模型训练
...环境,可支持超千卡规模、千亿参数级别的大模型训练和推理任务,旨在突破算力瓶颈,加速AI算力的国产化进程。国产千卡智算集群采用软硬件一体化的架构设计,提供低延迟、高吞吐、高可用的IB组网环境,支持GDR技术,使...……更多
ASC24超算大赛启动会在京举行,大模型推理等成为赛题
...在上海大学举行的总决赛。据悉,今年的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。来自高性能计算和人工智能领域的中国科学院院士、中国工程院院士、专家学者及参赛师生代表等参加了启...……更多
新一代aigc技术的发展
...接与网卡通信,绕过CPU和复杂的操作系统,这在增强数据吞吐量的同时降低了延迟。过去,RDMA主要在InfiniBand网络上实现。现在,它正在逐步移植到以太网上。当前主流的网络方案是基于RoCEv2协议构建支持RDMA的网络。请参考《RDM...……更多
IBM带来全新Telum II处理器
...8GB的Level-4虚拟缓存。其集成了AI加速器,支持低延迟、高吞吐量的交易内AI推理。另外还提供了全新的I/O加速单元DPU,通过提高50%的I/O密度来改善数据处理。SpyreAI加速器采用了三星5LPE工艺制造,核心面积为330平方毫米,集成了26...……更多
GTC 2024硬件一览:史上最强AI芯片GB200发布!
...速直接互连。目前第五代NVLink可每个GPU提供了1.8TB/s双向吞吐量,确保多达576个GPU之间的无缝高速通信。图片源于网络RAS可靠性引擎这个RAS可靠性引擎则是基于AI实现,Blackwell透过专用的可靠性、可用性和可维护性(RAS)引擎,可增...……更多
英伟达发布全新rtx500和rtx1000笔记本电脑
...的渲染效果。第四代Tensor核心:提供高达2倍于上一代的吞吐量,加速深度学习训练、推理和基于AI的创意工作负载。Ada架构CUDA核心:与上一代相比可提供30%单精度浮点(FP32)吞吐量,从而显著提升图形和计算工作负载的性能。GPU...……更多
英伟达SC24六大技术亮点,不止加速超算500强
...NumPy程序,并仅在一个CPU节点上运行,这限制了其算法的吞吐量,无法处理电子显微镜、粒子对撞机和射电望远镜等仪器收集的日益庞大的数据集。通过提供一个可扩展到数千个GPU的NumPy替代品,cuPyNumeric从单个GPU扩展到整个超级...……更多
英特尔推出酷睿Ultra和第五代至强可扩展处理器,让AI无处不在
...英特尔至强可扩展处理器在其watsonx.data平台上的网络查询吞吐量提高了2.7倍10。将于明年部署第五代英特尔至强可扩展处理器的谷歌云指出,得益于谷歌云中第四代英特尔至强可扩展处理器内置的加速器,Palo Alto Networks在其基于...……更多
AI时代发电厂在京浮出水面!国产芯片集结,智能算力开箱即用
...,前进·AI异构计算平台可以让国产芯片性能提升2-3倍,吞吐量提升6-7倍。在为用户提供算力支持的同时,前进·AI异构计算平台还打造了“芯片×模型×场景”的全新评测模式,帮助打破厂商与使用者之间的信息不对称,助力芯片...……更多
百度智能云两大基础设施再升级!打造AI时代最开放的智能基础设施
...统级能力打造企业专属AI基础设施。百舸+昆仑芯超节点:推理性能提升13倍、成本降低95%算力是AI时代的“新电力”。百度智能云通过自研昆仑芯P800芯片及百舸大规模推理加速能力,实现算力性能与成本的双重突破。本次大会...……更多
更多关于科技的资讯:
湖北农发旗下米来生物荣获2025欧洲食品配料展食品与饮料技术创新大奖
12月2日,法国巴黎,在欧洲食品科技领域最具影响力的盛会——欧洲食品配料展(Food Ingredients Europe
2025-12-07 16:44:00
当城市核心区的物理空间增长几近饱和,未来的竞争力新高地何在?12月5日,一场发布会以别开生面的“数字气味”体验开场,为上城区加快建设中央创新区(CID)的战略发布
2025-12-07 07:21:00
日前,山西转型综改示范区入区企业山西恒真真空玻璃科技有限公司自主研发的新产品——“真空发热玻璃”上市。这一产品将高效真空玻璃技术与新型半导体制热技术深度融合
2025-12-07 07:32:00
生产设备共享给清河羊绒带来什么——河北特色产业集群共享智造故事(四)纱线在电脑横机上来回穿梭、电商平台的提示音此起彼伏……随着冬季来临
2025-12-06 08:04:00
厦门移动智慧康养产品亮相首届海峡两岸(厦门)银发博览会
市民现场体验移动随心屏(闺蜜机)的AI舌象问诊功能。厦门网讯 (文/厦门日报记者 许晓婷 王玉婷 通讯员 陈奕珣 图/厦门移动 提供)伸出舌头拍一拍
2025-12-06 08:26:00
厦门网讯 (厦门日报记者 林露虹)刷到一部微短剧,不知不觉被剧情吸引,回过神来看介绍,发现竟是AI参与制作的。类似经历
2025-12-06 08:26:00
从“手搓”到“智造” 厦门跑步机“跑”向全球
厦门网讯 (厦门日报记者 詹文 林健华)在位于同安工业集中区的生产车间里,一节一节钢板正传送上激光切割台,自动切割、打孔
2025-12-06 08:26:00
共建共享破局资源瓶颈:临沂联通与电信合作以5G RedCap创新实现业务与服务双突破
鲁网12月5日讯近日,临沂联通与临沂电信深度践行国家共建共享战略,成功完成全省首个基于电信800M频段的5G RedCap技术承载联通物联网专网业务的商用落地
2025-12-06 13:44:00
中国青年报客户端讯(中青报·中青网记者张均斌)近日,“中央引导地方”专项科技赋能文化方向立项课题——“面向文博场景的智能伴游导览系统研发及示范应用”启动会
2025-12-06 15:25:00
2025教室节能照明标杆盘点 四大品牌绿色护眼解决方案解析
在“双碳”目标引领下,校园节能改造成为教育领域绿色发展的重要方向。据住建部统计,商业建筑能耗中照明系统占比高达35%,学校作为人员密集
2025-12-06 16:09:00
海尔智慧家电亮相迪拜
11月26日至28日,中东地区极具影响力的家电电子展在迪拜世贸中心举办。展会中,海尔智家针对当地高温、多尘等特点,集中展示了洗衣机
2025-12-06 16:10:00
12月1日,豆包手机助手技术预览版正式发布,首发搭载于中兴Nubia工程样机。豆包手机助手是以豆包APP为基础,与手机厂商在操作系统层面合作开发的AI助手软件
2025-12-06 17:41:00
文化中国行|全场听觉无死角 吉林省音乐厅声学揭秘
历经修缮重生的丰乐剧场,以“吉林省音乐厅”之名即将绽放春城。这座历史建筑,从伪满时期影剧院到音乐剧场的跨越,背后藏着一套极致考究的声学设计方案
2025-12-06 18:41:00
伊贝格:让机床行业不再为“头”烦恼
“关键核心技术与高端装备对外依存度高”一直是制约制造业升级的瓶颈。五轴联动铣头作为五轴机床的核心功能部件,过去很长一段时间被欧洲部分知名厂商垄断
2025-12-06 22:07:00
山东重工潍柴集团2026年商务大会圆满召开
鲁网12月6日讯12月6日,以“乘势向上 聚力向新”为主题的山东重工潍柴集团2026年商务大会在潍坊举行。山东重工集团党委书记
2025-12-06 22:43:00