• 我的订阅
  • 科技

nvidia发布hgxh200加速器

类别:科技 发布时间:2023-11-14 16:57:00 来源:浅语科技

NVIDIAGPU已经在AI、HPC领域遥遥领先,但没有最强,只有更强。

现在,NVIDIA又发布了全新的HGXH200加速器,可处理AIGC、HPC工作负载的海量数据。

nvidia发布hgxh200加速器

NVIDIAH200的一大特点就是首发新一代HBM3e高带宽内存(疑似来自SK海力士),单颗容量就多达141GB(原始容量144GB但为提高良率屏蔽了一点点),同时带宽多达4.8TB/s。

对比H100,容量增加了76%,带宽增加了43%,而对比上代A100,更是容量几乎翻番,带宽增加2.4倍。

得益于NVLink、NVSwitch高速互连技术,H200还可以四路、八路并联,因此单系统的HBM3e内存容量能做到最多1128GB,也就是1.1TB。

只是相比于AMDInstinctMI300X还差点意思,后者搭载了192GBHBM3,带宽高达5.2TB/s。

nvidia发布hgxh200加速器

性能方面,H200再一次实现了飞跃,700亿参数的Llama2大语言模型推理性能比H100提高了多达90%,1750亿参数的GTP-3模型推理性能也提高了60%,而对比前代A100HPC模拟性能直接翻番。

八路H200系统下,FP8深度学习计算性能可以超过32PFlops,也就是每秒3.2亿亿次浮点计算,堪比一台大型超级计算机。

随着未来软件的持续升级,H200还有望继续释放潜力,实现更大的性能优势。

此外,H200还可以与采用超高速NVLink-C2C互连技术的NVIDIAGraceCPU处理器搭配使用,就组成了GH200GraceHopper超级芯片,专为大型HPC、AI应用而设计的计算模块。

NVIDIAH200将从2024年第二季度开始通过全球系统制造商、云服务提供商提供。

nvidia发布hgxh200加速器

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-11-14 21:45:06

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

英伟达推出史上最强AI芯片H200:推理性能提升90%,无缘中国市场
... 除H200之外,英伟达还发布了HGX H200 平台,这是使用较新加速器的8路 HGX H100 的更新版本。而当H200与英伟达Grace CPU搭配使用时
2023-11-14 14:05:00
骁龙8 Gen3正式发布:8K240手游成真!
...集合KryoGPU、AdrenoGPU、HexagonDSP、SpectraISP、标量/矢量/张量加速器、传感器中枢等各个单元的力量
2023-10-25 21:11:00
索尼ps5pro系统内存曝光:比标准版提升28%
...划在未来的SDK版本中支持8K的分辨率定制机器学习架构AI加速器,支持300TOPS的8位/67TFLOPS的16位浮点计算30WGPsBVH8遍历着色器另据消息人士透露
2024-03-19 02:37:00
...,CXL是一种开放式全新互联技术标准,可在主机处理器与加速器、内存缓冲区、智能I/O设备等设备之间提供高带宽、低延迟连接,从而满足高性能异构计算的要求,并且其维护CPU/GP
2023-12-28 16:06:00
amd旗舰aigpu加速器mi300x对比英伟达h100
...天凌晨2点举办“AdvancingAI”活动中,正式宣布了旗舰AIGPU加速器MI300X,其性能比英伟达的H100高出60%
2023-12-08 05:06:00
intel造了一颗“算力存力核弹”
...单颗处理器的功耗直飚500W——当然,跟同期发布的GaudiAI加速器的新品或类似的加速器产品相比,能耗是应有的代价,有能力提升性能上限才是正经事。内存性能大跃进内存(DRA
2024-09-27 11:45:00
晶圆级AI芯片WSE-3性能公布:80亿参数模型上每秒生成1800个Token
...算机系统,将训练速度提高了8 倍。在运行分布在四个CS-3加速器上的 700 亿参数版本的 Llama 3.1 大模型时
2024-09-02 13:36:00
AMD最强AI芯片发布:性能是英伟达H100的1.3倍!
...会,正式推出了面向AI及HPC领域的GPU产品InstinctMI300A/MI300X加速器,直接与英伟达(NVIDIA)H100加速器竞争
2023-12-07 22:24:00
性能远超英伟达h100,amdmi300x性能测试
...,性能远超英伟达的H100。MI300X简介AMDInstinctMI300X人工智能加速器基于CDNA3架构打造
2024-06-28 01:54:00
更多关于科技的资讯: