• 我的订阅
  • 科技

NEO 发布 HBM 内存技术 3D X-AI ,宣称拥有现有方案百倍 AI 能力

类别:科技 发布时间:2024-08-07 09:28:00 来源:IT之家

IT之家 8 月 6 日消息,NEO Semiconductor 当地时间本月 5 日发布了 3D X-AI 芯片技术,宣称该技术可实现目前 HBM 内存方案百倍的 AI 处理能力,同时功耗也可降低 99%。

NEO 发布 HBM 内存技术 3D X-AI ,宣称拥有现有方案百倍 AI 能力

IT之家注意到,3D X-AI 可理解为两项技术的结合:其采用 3D DRAM 技术构建 HBM 内存的 DRAM Die,以实现更高容量;同时在 DRAM Die 中引入本地处理器,类似于此前提出的 PIM 概念。

在前一项技术上,单个 3D X-AI 芯片包含 300 层 3D DRAM 单元,整体容量达 128Gb,12 层堆叠后可实现 192GB 的单堆栈容量,允许存储更大的 AI 模型。而目前的 HBM3 (E) 内存最大单堆栈容量仅有 36GB。

NEO 发布 HBM 内存技术 3D X-AI ,宣称拥有现有方案百倍 AI 能力

而在后一项技术上,NEO Semiconductor 称其每个 3D X-AI 芯片均配备一层神经回路单元,包含 8000 个神经元电路,可直接在 3D 内存内部执行 AI 处理,大幅减少了数据传输至 GPU 产生的功耗。

NEOSemiconductor 预计每层神经回路单元可提供 10TB/s 的 AI 处理吞吐量,对于 12 层堆叠的 3D X-AI 内存堆栈而言就是 120TB/s,较传统方案提升了 100 倍。

NEOSemiconductor创始人兼首席执行官 Andy Hsu 表示:

由于架构和技术效率低下,当前的 AI 芯片浪费了大量的性能和功率。 目前的 AI 芯片架构将数据存储在 HBM 中,并依靠 GPU 执行所有计算。这种数据存储和数据处理分离的架构使数据总线成为不可避免的性能瓶颈。通过数据总线传输大量数据会导致性能受限、功耗飙升。 3D X-AI 可以在每个 HBM 芯片中执行人工智能处理。这可以大幅减少 HBM 和 GPU 之间的数据传输,从而提高性能并显著降低功耗。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-08-07 12:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

传统数据库挑战加剧,基于国产芯片的内存数据库表现如何?
...案受到广泛关注。近日,某单位在海光CPU基础上成功实现内存数据库运行。本文将通过该项目实践,带大家一窥国芯对内存数据库的支撑力,进而解锁更多先进的数据库应用场景。传统数据库面
2024-07-18 14:49:00
d-Matrix首款AI芯片出货:数字存算一体DIMC技术、速度提升10倍
...。对于AI推理运算,数据传输是最大的瓶颈,它需要大量内存,也需要非常快的内存,但两者却很难兼顾。目前的解决方案主要有三种,第一种是通过采样和流水线减少处理的数据量来加速深度学
2024-11-20 16:55:00
韩企FADU获得CXL交换芯片销售权,预计2026年推出
...CXL是一种依赖PCIe的高速互联标准,可在数据中心的CPU、内存、GPU之间实现超高速数据传输,扩展并共享内存。CXL联盟成立于2019年
2024-07-13 09:55:00
江波龙自研芯片新进展:NAND Flash技术迈入2xnm新时代
...行。同时江波龙带来AI服务器存储产品矩阵,FORESEE CXL 2.0内存拓展模块基于DDR5 DRAM开发,支持PCIe 5
2024-08-28 16:01:00
ChatGPT掀AI热潮 这些芯片厂商将“狂飙”
...T等AI聊天机器人执行大量计算的时候需要高性能和大容量内存的支持。随着AI聊天机器人服务市场爆发,对内存的需求将会增加。三星电子和 SK 海力士一致认为,“ChatGPT 等
2023-02-14 14:00:00
为了强化AI,iPhone拉着三星让内存「独立」
...个相当引人瞩目的消息:三星正在应苹果的要求,试图将内存独立封装于芯片。具体来说,苹果计划从2026年起,在iPhone中放弃当前主流的PoP(PackageonPackage)封装方式——将SoC与LPDDR内存重叠封装在一起
2024-12-11 20:12:00
AI算力大战开启:英特尔AI芯片性能超越H100,谷歌云推出最强ARM芯片|钛媒体AGI
...中,英特尔Gaudi 3 AI芯片采用台积电5nm工艺,支持128GB HBMe2内存。相比上代产品,英特尔Gaudi 3带来4倍(400%)的BF16 AI计算能力提升
2024-04-10 11:22:00
sk海力士展示其cxl内存解决方案
...omputeExpressLink联盟开发者大会(CXLDevCon2024)上展示了其CXL内存解决方案。IT之家注
2024-05-04 01:37:00
最强服务器CPU来了!AI性能直接翻倍
...,但这难免会受到工艺和芯片尺寸的限制,更别提与IO和内存的匹配难题。 这一次,至强®6性能核处理器采用了计算芯片单元与I/O芯片单元解耦的分离式模块化设计,可以灵活组合不同
2024-09-27 20:45:00
更多关于科技的资讯: