• 我的订阅
  • 科技

Nature新研究提出新型忆阻器,比Haswell CPU高效460倍

类别:科技 发布时间:2024-09-18 11:44:00 来源:机器之心Pro

前些天,OpenAI 发布了 ο1 系列模型,它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高,以至于 OpenAI 不得不限制每位用户的使用量:每位用户每周仅能给 o1-preview 发送 30 条消息,给 o1-mini 发送 50 条消息。

实在是少!

为了降低 LLM 的使用成本,研究者们已经想出了各式各样的方法。有些方法的目标是提升模型的效率,比如对模型进行量化或蒸馏,但这种方法往往也伴随着模型性能的下降。另一种思路则是提升运行这些模型的硬件——英伟达正是这一路线的推动者和受益者,但该公司的主要策略还是提升 GPU 的性能;另一些研究者则正在探索针对 AI 构建高效高性能的新型硬件体系。忆阻器(memristor)便是其中一个重要的研究方向。

忆阻器是一种电子元件,其能够限制或调节电路中电流的流动,并且可以记忆之前通过的电荷量。忆阻器在许多实际应用中具有重要意义,原因之一是其具备非易失性特性,即在断电情况下仍能保持记忆,这使得其在无电源或电源中断时依然能够持续使用。忆阻器被认为是和电阻器、电容器、电感同层级的基础电子元件。忆阻器的概念最早在 1971 年由华人科学家蔡少棠提出。

近日,Nature 发布了一篇来自印度科学学院、得克萨斯农工大学和爱尔兰利莫瑞克大学的一篇论文,其中提出了一种「线性对称的自选择式 14 bit 的动力学分子忆阻器」。

Nature新研究提出新型忆阻器,比Haswell CPU高效460倍

论文标题:Linear symmetric self-selecting 14-bit kinetic molecular memristors

论文地址:https://www.nature.com/articles/s41586-024-07902-2

该论文的核心亮点是,其中提出的分子忆阻器在核心的矩阵运算上能实现远超电子器件效率的 14 bit 模拟计算;并且其实现了超过 73 dB 的信噪比,比之前的最佳水平直接高出了 4 个数量级,同时其能耗量比电子计算机低 460 倍!

这样的出色表现让 AI 工程师 Rohan Paul 忍不住惊叹:「如果这是真的,算是到了 LLM 的真空管变硅晶体管时刻吗?」

Nature新研究提出新型忆阻器,比Haswell CPU高效460倍

那么,这篇论文究竟提出了什么呢?真的有希望将 LLM 从高功耗高成本的困境中解脱出来吗?让我们来简单了解一下。

挑战

我们知道,向量-矩阵乘法(VMM)是神经网络等许多计算算法的基础。但是,VMM 很难实现,因为对于长度为 n 的向量,所需的计算步骤为 n²。尽管对称运算可以降低 VMM 的复杂性,但它们只适用于特定的矩阵结构,比如人工智能中的非结构化数据。

为了得到高效的通用型 VMM 引擎,人们一直在推动硬件的发展,尤其是点积引擎(DPE)——一种可在单个时间步长内实现 VMM 的模拟加速器。尽管 DPE 有应对计算规模扩展的潜力,但其应用也受限于其精度,因为模拟电路元件仅提供 2-6 个等效比特。这种精度不足的根源在于其物理性质不够理想,包括非线性的权重更新、不对称行为、噪声、电导漂移和设备间差异。这是神经形态计算的一个根本性挑战。

为了解决这个问题,需要发明一种能嵌入到电路中的元件,并且嵌入数量要比目前可用的模拟级别高出几个数量级。

解决方案

该团队宣称已经发明出了这样的元件。这是一种分子忆阻器交叉开关矩阵,可集成在电路板中。其展现出了 14 比特的模拟精度、近乎理想的线性和对称权重更新,以及每个电导层级的一步式可编程性(one-step programmability)。

如图 1a 所示,该团队构建了有史以来最大的分子忆阻器交叉开关矩阵(64×64)结构。使用的材料是夹在顶部和底部金电极之间的 60 nm 厚的 薄膜。更多详细的设计参数请参看原论文。

Nature新研究提出新型忆阻器,比Haswell CPU高效460倍

总之,该器件实现了想要的功能,并且具有相当好的非易失性和稳健性。如图 2a 所示,这个交叉开关矩阵耐久性很好,经过 10^9 个操作周期后,权重更新特性依旧保持不变。另外,图 2b 表明使用 500 mV 直流电压在 85°C 环境下,该结构能在 11 天内不出现明显的电导漂移。另外,他们还测试发现,其能维持长达 7 个月的电导保持率。

Nature新研究提出新型忆阻器,比Haswell CPU高效460倍

实验

使用这个 64×64 的分子交叉开关矩阵,该团队执行了 VMM 实验,这用到了一个他们定制的超过 16 比特准确度的混合信号外围电路,如下图 4 所示。a 图是对其编程,使之执行离散傅里叶变换(DFT)。b 图则比较了计算出的 DFT 输出与软件计算的结果,可以看到它们之间非常一致,这表明这个结构是有效的。

Nature新研究提出新型忆阻器,比Haswell CPU高效460倍

此外,他们还执行了矩阵-矩阵乘法运算,这是几乎所有 AI 和机器学习算法的基础运算。结果发现,如果让两个 64×64 的矩阵相乘,则该结构仅需要执行 64 步,但如果让电子计算机来干同样的事,则需要执行 262,144 次运算。

图 4c 表示其矩阵乘法的准确度不依赖于对称性,这是处理非结构化数据的一个关键属性。

该团队评估了不同矩阵组合,包括对称、随机和双随机矩阵。最终得到了 73-79 dB 的信噪比。该团队表示这是一个非常重大的进步。

他们还展示了一个非常有趣的用例。使用矩阵乘法,他们使用从韦伯望远镜数据库检索到的频域数据,通过逆傅里叶变换重建了标志性的「创生之柱」图像,见图 4d-f。

之所以选择外太空数据,是因为它缺乏对称性。这项任务每个平面都需要 26,256 个时间步骤,而数字计算机所需的步骤数超过了 10^8。

结果,他们得到的信噪比为 74 dB,峰值信噪比为 76.5 dB,直接高出了之前最佳的 DPE 4 个数量级。

这个转译过程的后续阶段将需要进一步扩展这个交叉开关矩阵,并开发具有高精度的片上外围电路。

该团队在论文中描述了一种经过功率优化的外围电路设计,可以提供超高的能效:每秒每瓦 4.1 万亿次运算 (TOPS/W) 。这个数据比 18 核 Haswell CPU 高 460 倍,比当前最高效的英伟达 K80 GPU 高 220 倍,并且这还有很大的改进空间。

这个示例展示了基于分子的技术的巨大潜力,通过将其集成到 CMOS 电路中,可以大幅超越最先进的加速器的性能。

如果 OpenAI 等未来开发的大模型也能运行在基于此类技术开发的硬件上,那 AI 的使用成本必定能下降很多。

更多研究细节、数据和代码请访问原论文。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-18 15:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

在超导量子处理器上实现保真度超过蒸馏阈值的逻辑魔态
...河南省量子信息与密码学重点实验室和合肥国家实验室的研究人员最近在超导量子处理器上展示了保真度超过蒸馏阈值的逻辑魔态的制备
2024-01-03 09:59:00
NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构性能
...,第一作者田春霖是澳门大学计算机系的三年级博士生,研究方向涉及 MLSys 和高效大语言模型。师从栗力、须成忠教授。大型语言模型(LLMs)虽然在适应新任务方面取得了长足进步
2024-10-22 09:57:00
新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架
...国科学技术大学 2020 级硕博连读生,师从王杰教授,主要研究方向为强化学习与学习优化理论及方法、人工智能驱动的芯片设计等
2024-11-06 09:44:00
水凝胶半导体材料问世,有望用于生物集成电路
...能,例如开关、整流、运算、放大等。芝加哥大学王思泓研究团队于 10 月 24 日在 Science 上发表了题为“Soft hydrogel semiconductors w
2024-10-29 09:50:00
为生物和非生物通讯建“桥” 中国科学家成功实现可控离子传输
...11月27日电 (记者 孙自法)记者27日从中国科学院理化技术研究所(理化所)获悉,中国科学家通过合作科研攻关,最新开发出一种具有级联异质界面的双相凝胶离电器件,成功实现多种
2023-11-27 12:06:00
...者 孙自法)国际学术期刊《自然》最新同期发表两篇计算研究论文称,结合了光和电的计算芯片被证明比传统电子芯片的计算性能更好、能耗更低。两个研究团队分别开展的研究认为,这种光子计
2025-04-10 19:50:00
...上加快计算机的处理速度,同时还可降低能源消耗。相关研究发表在最新一期《自然·光子学》上。该芯片首次将本杰明·富兰克林奖章获得者纳德·恩赫塔在纳米尺度上操纵材料的开创性研究与硅
2024-02-18 02:22:00
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
... X 发文称,其与合作者此前在一篇论文中已经对 CoT 进行研究。丹尼提到,“我们已经用数学方法证明,Transformer 可以解决任何问题
2024-09-20 13:33:00
英伟达帝国的一道裂缝
...叶就已经被提出,但因为缺乏训练它们的计算硬件,很多研究只能“纸上谈兵”,发展长期停滞。1999年10月的一声炮响,给人工智能送来了GPU。深度学习的训练过程是对每个输入值根据
2023-05-18 11:06:00
更多关于科技的资讯:
十堰广电讯(全媒体记者 耿吉国)据2025新能源汽车零部件交易会组委会最新消息,9月21日10:30,本届交易会将在十堰国际会展中心的交易会活动现场
2025-09-21 08:54:00
9月20日,2025太原人形机器人欢乐跑比赛在晋阳湖公园举行。这是我市第一次举办人形机器人“跑步”比赛。本次比赛,共有来自省城高校
2025-09-21 06:42:00
混成全网公敌的“流水线式造假”,终于被整顿
一家三口站在某所知名小学校门前,松弛地拍了一张合照。照片发到小红书上,下方评论区都在问询:“这么优秀的娃,究竟该怎么培养
2025-09-20 22:18:00
家庭观影进入IMAX时代!海信发布全球最大150英寸激光电视
鲁网9月19日讯9月19日,以“无界”为主题的“2025激光显示技术与产业发展大会”隆重举行。作为全球激光显示领域的领军企业
2025-09-20 08:56:00
我国脑机接口技术取得重大突破 厦门大学研究人员参与
放大镜视野下的“神经蠕虫”电极。(受访者 供图)厦门网讯(厦门日报 佘峥 通讯员 戴佩琪)我国脑机接口技术有重大突破——近日
2025-09-20 09:18:00
厦门“屏实力”再添新动能 天马发布高端OLED技术品牌“天工屏”
图为天马“天工屏”发布会现场。(厦门日报记者 卢剑豪 摄)厦门网讯(厦门日报记者 林露虹 通讯员 雷飏 李舜)随着人们日常使用手机时长持续攀升
2025-09-20 09:18:00
“赢在南京”海外人才创业大赛总决赛落幕逐鹿未来机“慧” 四海英才“论剑”南报网讯(记者余梦娇)9月19日,2025年“赢在南京”海外人才创业大赛总决赛在紫金山科技城圆满落幕
2025-09-20 09:54:00
过节送福礼,就送波尼亚!老字号中秋礼盒,青岛人都认这口
鲁网9月20日讯中秋将至,岛城的节日氛围日渐浓厚,走亲访友、阖家团聚的时刻,一份饱含心意的礼品总能传递温暖。作为扎根青岛的老字号肉食品牌
2025-09-20 10:08:00
机器人“总动员”!2025世界制造业大会上演智造奇观
大皖新闻讯 机械臂在空中划出优美弧线,人形机器人灵活抓取糖果,机器狗稳步行走在模拟街区内……2025世界制造业大会的智能机器人展区仿佛穿越至未来世界
2025-09-20 13:25:00
茶话弄九周年,这款经典单品即将迎来“家族式”升级
9月的西安,金桂飘香。2016年创立于西安的国风新中式茶饮品牌茶话弄,也将于近期启动以“桂花”为主题元素的品牌九周年庆典系列活动
2025-09-20 15:33:00
了不起的河南制造丨汉威科技:唤醒机器人“感知”世界的能力
大河网讯 2025世界制造业大会9月20日至23日在安徽省合肥市举办,大会以“智造世界·创造美好”为主题,举办开幕式暨主旨演讲
2025-09-20 16:14:00
了不起的河南制造丨2025世界制造业大会举行,河南“工业机器人”现场秀签名
大河网讯 9月20日,2025世界制造业大会开幕式暨主旨演讲在合肥市举行。河南省作为主宾省参会,30家制造业企业“重装上阵”
2025-09-20 16:45:00
2026届校园招聘大战启幕 科技企业派机器狗进高校抢人
近期,2026届校园招聘在全国多所高校陆续启动,一场围绕科技人才的“抢人大战”正式拉开帷幕。与往年相比,今年众多科技企业积极创新招聘形式
2025-09-20 17:55:00
2025山东省“产业大脑”建设工作推进会暨第五届中国(国际)美妆睫毛产业博览会在平度盛大启幕
鲁网9月20日讯(记者 潘亚妮 实习记者 刘悦 通讯员 袁嘉利 位一凡)9月20日,2025山东省“产业大脑”建设工作推进会暨第五届中国(国际)美妆睫毛产业博览会在平度市美妆在线新经济产业园盛大启幕
2025-09-20 17:55:00
从“炕头经济”到“美丽经济” ,平度睫毛产业数字化蝶变升级
齐鲁晚报•齐鲁壹点 刘震 通讯员 袁嘉利 位一凡9月20日,2025山东省“产业大脑”建设工作推进会暨第五届中国(国际)美妆睫毛产业博览会在平度市开幕
2025-09-20 18:05:00