- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
吞吐量30倍提升！NVIDIA秀Blackwell性能：打破MLPerf记录居第一
快科技4月3日消息，NVIDIA在官网表示，在最新的MLPerf V5.0基准测试中，NVIDIA的Blackwell平台取得了令人瞩目的成绩。
MLPerf是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台，它由图灵奖得主大卫·帕特森联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立，是权威性最大、影响力最广的国际AI性能基准测试。
最新更新的MLPerf 添加了Llama 3.1 405B，这是最大和最难以运行的开放权重模型之一。
NVIDIA表示，虽然许多公司在其硬件上运行MLPerf基准测试以衡量性能，但只有NVIDIA及其合作伙伴提交并发布了Llama 3.1 405B基准测试的结果。
具体来看，GB200 NVL72系统通过连接72个NVIDIA Blackwell GPU，作为一个单一的超大GPU运行，在Llama 3.1 405B基准测试中，与H200 NVL8相比，实现了高达30倍的吞吐量提升。
据介绍，在生产环境中，推理部署通常受到两个关键指标的延迟限制：首次响应时间（TTFT）和每个输出令牌的时间（TPOT）。
新的Llama 2 70B Interactive基准测试将TPOT缩短了5倍，TTFT降低了4.4倍，模拟了更快的用户体验。
在这一测试中，NVIDIA使用8个Blackwell GPU的DGX B200系统，性能比使用8个H200 GPU的系统高出三倍，为这一更具挑战性的Llama 2 70B基准测试设定了新的高标准。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：黑白
文章内容举报
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2025-04-03 14:45:07
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
