• 我的订阅
  • 科技

科学家研发储备池计算机,无需任何光电,对应算力高达101TOPS

类别:科技 发布时间:2024-01-25 10:19:00 来源:DeepTech深科技

近日,上海科技大学教授王成和团队,成功构建了首例全光深度储备池计算机,解决了储备池光计算机的深度架构问题。

这款计算机的工作频率为 20GHz,时延为 263ns,它可以产生 5000 余个神经元节点,对应的算力为 101TOPS。

科学家研发储备池计算机,无需任何光电,对应算力高达101TOPS

(来源:Optica)

这不仅是以全光形式连接储备池隐藏层的第一例工作,也针对储备池计算机的可解释性提供了强有力的证据。

同时,这款深度储备池计算机通过耦合的激光器,解决了信号均衡的问题,而且大部分信号处理都发生在光域,故能大大减小计算的时延。

通过使用级联光注入锁定的技术,课题组构建了 4 层隐藏层,每个隐藏层由一个半导体激光芯片和一个光学反馈环构成,其中光学反馈环可以产生光学神经元和光学突触。

在相关论文之中,尽管他们只使用了其中 320 个神经元节点,来处理光纤通信中的非线性信道均衡的任务,但是依旧取得了非常好的效果。

据介绍,非线性信道均衡问题是后香农时代的十大数学难题之一。在光纤通信领域,学界和业界都非常关注这一问题。

而该团队所提出的深度储备池光计算机架构主要拥有两大优势:

一是隐藏层之间的连接是全光的,无需任何光电转换和模数转换的过程,因此具有低能耗和低时延的优势;

二是该架构的可拓展性极好,当储备池深度增加的时候,也不会减小系统中的光功率,因此可以根据任务需要,来构建任意深度的储备池光计算机。

多年来,包括 Nature 和 Science 在内的期刊报道了多种光计算架构和实现方案,可以说光计算在学界备受关注。同时,投资界也非常看好这一领域,目前国内外已经涌现多家光计算公司。

当前的大部分光计算产品,旨在解决神经网络中矩阵运算的问题,即替代 GPU 或部分 GPU 的运算功能。当这类光计算产品的工作时,依旧需要在软件层面实现神经网络算法。

而对于硬件化的光学神经网络来说,它则采用了完全不同的概念。正因此,未来储备池光计算机主要能被用于边缘计算。

典型的边缘计算场景包括智能制造、机器人、智慧医疗、智能交通、智慧家居等。

根据 Gartner 预测,预计 2026 年全球边缘 AI 芯片市场规模达到 688 亿美元。相比目前市面上的主流边缘计算产品,在同等功耗之下,储备池光计算机的算力高出 1 个数量级,时延则能降低 3 到 4 个数量级。

科学家研发储备池计算机,无需任何光电,对应算力高达101TOPS

提出真问题,解决真矛盾

对于人工智能来说,人们更多震撼于它的功能之强大。但是,它的发展离不开“背后三兄弟”的支持:算法、算力和数据(即人工智能三要素)。

当前最主流的算法是人工神经网络,常见的人工神经网络包括全连接神经网络、卷积神经网络、循环神经网络、以及 Transformer 神经网络。其中,ChatGPT 所使用的正是 Transformer 神经网络。

而在循环神经网络算法之中,储备池计算则是一种特殊的存在。2000 年初,储备池计算被正式提出。当时,由于循环神经网络普遍存在梯度消失和梯度爆炸的问题,以至于无法对其进行训练。

但是,人们发现对于储备池计算架构来说,当让它的输入层和隐藏层的权重保持随机固定的时候,这时只需要训练输出层的权重,不仅训练成本低,而且训练速度非常快,能够很好地解决循环神经网络的训练问题。

目前,人们主要通过软件方式,来实现人工神经网络算法,然后依赖计算机提供的算力进行数据学习。然而,随着大规模生成式人工智能的发展,也给包括 GPU、CPU 在内的数字计算芯片的算力和功耗提出了巨大挑战。

而对于生物神经网络来说,它并不需要依赖软件编程进行工作,而且功耗还比较低。那么,能否通过使用某种硬件,来构建类似生物神经网络的物理神经元和物理突触?

基于此,人们提出了硬件神经网络(即物理神经网络)的概念。相比数字化的软件神经网络,这种模拟化的硬件神经网络兼具低功耗和低时延的优势。

2010 年以后,包括电子和光电子在内的诸多领域,关于储备池计算机始的研究呈现出长盛不衰的趋势。当时,基于各种器件的储备池计算机成果层出不穷,其中的主流器件主要有忆阻器、自旋电子器件、量子器件、以及半导体激光器。

相比储备池电计算机,储备池光计算机的最大优势在于速度快、时延低、能效比高。但是,目前为止大部分储备池计算机仅仅具有单层架构。

然而,根据深度学习理论可知,只有当储备池计算机具备深层架构的时候,才能将其用于处理现实场景中的复杂任务。

和其他光计算架构不同的是,储备池光计算的理解相对比较困难。从事这类课题的时候,必须具备半导体激光器、非线性动力学和深度学习方面的背景知识,并且三者缺一不可。而在过去王成在这三方面尤其是在半导体激光器研究上,已经积累了不少经验。

科学家研发储备池计算机,无需任何光电,对应算力高达101TOPS

一个暑假学完深度学习经典教材

王成表示,2013 年当自己还在法国国立应用科学学院读博时,他在一场学术会议上第一次听说了储备池光计算的概念。

但在当时由于自己缺少人工智能的背景知识,他几乎完全听不懂报告人在讲什么。后续,当他参加其他学术会议的时候,听到了越来越多的储备池光计算报告。

2018 年,王成已经入职上海科技大学。那一年,他在香港参加一次学术会议,与一位来自法国的学者深入讨论了这样一个问题:要不要从事储备池光计算的研究?

“当时他给我的建议是这个领域的研究周期很长,非常不利于论文的发表。而我是 2019 年暑假才下定决心研究储备池光计算。当时,我用了一整个暑假学习‘GANs 之父’Ian Goodfellow 经典教材 Deep Learning。”王成说。

他继续说道:“2019 年 9 月开学时,一位非常聪明的推免生汤佳燕加入我的课题组,开始了本次课题的研究。此前她主要研究通信,但是她的学习能力很强,很快补上了所需要的全部背景知识,同时她的理论建模能力和实验操作能力也很强。”

而找出“真”问题并提出主要矛盾,是王成和团队在研究伊始立下的心志。他表示:“解决真问题的研究才是有价值的研究,同时这个问题必须是当前储备池计算发展面临的主要矛盾,只有这样投入精力去解决它才有意义。”

“实际上提出问题和解决问题,是一个从简单到复杂的过程。在我们解决储备池计算机的深度问题之前,我们首先解决了异步的问题,然后解决了并行的问题,且都对应产出了相应的学术论文。”他补充称。

科学家研发储备池计算机,无需任何光电,对应算力高达101TOPS

图 | 王成(来源:王成)

而在前不久,关于本次研究的论文以《深度光子池计算循环网络》(Deep photonic reservoir computing recurrent network)为题发在 Optica(IF 10.4)。

上海科技大学硕士生申祎玮是第一作者,博士生李睿潜和硕士生刘冠廷分别是第二作者和第三作者,王成教授担任通讯作者。

科学家研发储备池计算机,无需任何光电,对应算力高达101TOPS

图 | 相关论文(来源:Optica)

“另外,我想特别感谢我的同事何旭明教授和虞晶怡教授,他们是人工智能领域的资深专家,在人工神经网络上给我们提供了很多指导。我们也已经联合培养了数位学生,如果没有他们一起合作的话,我们也不可能快速推进储备池光计算机方面的工作。”王成表示。

而在未来,他和团队也将再接再厉争取实现储备池光计算机的小型化以及集成化,同时拓展储备池光计算机的应用场景。“非常欢迎有应用需求的朋友与我们联系,一起共同开展研究工作。”其表示。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-01-25 12:45:15

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

激光武器的“前世今生”
...幻想,正一步步迈进现实。自1960年激光诞生后,各国的科学家不惧重重挑战,开始了对激光武器的探索研究。《激光武器——从科幻走进现实》(融通传媒国防工业出版社)一书,就讲述了激
2024-04-20 04:22:00
厦门科学城:科技创新永远站在关键产业的前端
...,从政近六十年,位及宰相。政治家身份之外,他还兼具科学家、天文学家、医药学家等身份,被誉为“钟表的鼻祖”,世界上最早的天文钟——水运仪象台,便是由苏颂主持创制的,曾代表了北宋
2024-06-18 08:23:00
量子点光伏电池获诺贝尔化学奖
...E.Brus)以及出生于前苏联的美国纳米晶体技术公司前首席科学家阿列克谢·伊基莫夫(AlexeiI.Ekimov)共同分享大奖
2023-10-06 10:02:00
科学突破:新型科学相机每秒捕捉高达156.3万亿帧
...,近日,在科学摄影领域,一项革命性的成就正式问世。科学家们成功研制出一款名为SCARF(扫描编码孔径实时飞秒摄影)的高级科学相机,其以惊人的156.3太赫兹(THz)单像素编
2024-03-28 09:15:00
为国家省下几亿元!科学家造4.5万个光电眼捕捉幽灵粒子
...长期被国外所掌握,形成了一定的技术壁垒。然而,我国科学家通过团结协作,不懈努力,成功实现了所有关键技术的自主突破与国产化。这一成就不仅使我国在这一领域达到了国际领先水平,更将
2024-11-21 12:25:00
石墨烯最新研究!一种奇异电子态可实现更强大量子计算
...种奇异的电子态可有助于建立弹性、容错的量子计算机。科学家这次在石墨烯材料中看到了这种效果。研究人员首先从一块石墨中剥离石墨烯层,然后使用光学工具识别阶梯状结构中的5层薄片,从
2024-02-26 10:20:00
永葆好奇心,探索“阿秒”世界(讲述·弘扬科学家精神)
...理研究——永葆好奇心,探索“阿秒”世界(讲述·弘扬科学家精神)本报记者 曹文轩杨玮枫(左二)在和学生交流科研进展。受访者供图人物小传杨玮枫,1977年生,山东淄博人,海南大学
2024-11-04 06:17:00
100%自主选择成长路径!南开大学公布2024招生要点
...目式教学,锻炼学生解决复杂科学问题的能力,强化战略科学家人才培养导向,助力其在未来的职业生涯中更具竞争力。(三)人工智能赋能人才培养,促进教育变革创新2024年,南开大学推出
2024-06-06 11:02:00
深藏地下700米的“巨型西瓜”?去神秘实验室寻找“幽灵粒子”
...0多年的垄断。如今,江门中微子实验室已经建造了10年,科学家、工程师、建筑工人、后勤保障人员做着或许枯燥,却极为浪漫的工作——身处700米深的地下,仰望着浩渺的星空。到明年,
2023-07-31 11:46:00
更多关于科技的资讯: