• 我的订阅
  • 科技

新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架

类别:科技 发布时间:2024-11-06 09:44:00 来源:机器之心Pro
新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。

本论文作者王治海是中国科学技术大学 2020 级硕博连读生,师从王杰教授,主要研究方向为强化学习与学习优化理论及方法、人工智能驱动的芯片设计等。他曾以第一作者在 TPAMI、ICML、NeurIPS、ICLR、AAAI 等顶级期刊与会议上发表论文七篇,一篇入选 ICML 亮点论文(前3.5%),曾获华为优秀实习生(5/400+)、两次国家奖学金(2017和2024)等荣誉。

近日,中科大王杰教授团队(MIRA Lab)和华为诺亚方舟实验室(Huawei Noah's Ark Lab)联合提出了可生成具有成千上万节点规模的神经电路生成与优化框架,具备高扩展性和高可解释性,这为新一代芯片电路逻辑综合工具奠定了重要基础。论文发表在 CCF-A 类人工智能顶级会议 Neural Information Processing Systems(NeurIPS 2024)。

新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架

论文标题:Towards Next-Generation Logic Synthesis: A Scalable Neural Circuit Generation Framework 论文地址:https://neurips.cc/virtual/2024/poster/94631

论文概览

逻辑综合(Logic Synthesis, LS)是芯片设计流程中承上启下的关键环节,对芯片设计的效率和质量都具有重要影响。具体来说,逻辑综合旨在生成精准满足给定功能要求(如由电路输入输出对构成的功能真值表)的最优逻辑电路图,是 NP 难问题。为了求解该问题,传统方法主要依赖于硬编码启发式规则,易陷入次优解。

该框架能够精确生成达1200节点规模的电路,该方案为新一代芯片电路逻辑综合工具提供了可行思路与奠定了关键基础。相关技术和能力已整合入华为自研EDA工具。

引言

芯片电路生成的目标是在给定电路功能描述的条件下,生成精准满足电路功能要求且节点数少的逻辑电路图。传统的电路生成方法将高级电路描述语言直接转译为冗余度较高的逻辑电路,这给后续的电路优化带来了较大压力。近期,一些研究通过引入机器学习方法,将电路生成与优化过程有机结合,展现了新一代逻辑综合技术的美好前景。

神经网络架构搜索(Differential Neural Network Architecture Search, DNAS)是一种利用梯度下降法搜索离散结构的技术。已有研究将其应用于生成低冗余电路,展现出了显著的潜力。然而,作者发现现有方法在生成电路时,尤其是在处理大规模电路时,难以实现完全准确的生成,且其性能对超参数极为敏感。

在深入的实验分析后,作者进一步总结出将 DNAS 应用于电路生成的三个主要难点:

    DNAS 倾向于生成大量的跨层连接,导致网络表达能力受限。 神经网络结构与电路固有结构存在较大偏差,显著降低了 DNAS 的搜索效率。 不同输入输出示例数据的学习难度差异显著,现有方法难以学习难例输入输出对。

为系统性地解决这些挑战,作者提出了一种新颖的正则化三角形电路网络生成框架(T-Net),实现了完全准确且可扩展的电路生成。此外,他们还提出了一种由强化学习辅助的演化算法,以实现高效且有效的电路优化。在四个电路评测标准数据集中,实验表明他们的方法能够精确生成多达 1200 节点规模的电路,且其性能显著优于国际逻辑综合竞赛 IWLS 2022 和 2023 中冠亚军方案。

背景与问题介绍

逻辑电路生成介绍

逻辑电路图(And-Inverter Graph, AIG)是逻辑电路的一种表示方式。AIG 为有向无环图,图中的节点代表与逻辑门,图中的边代表逻辑门间的连线,连线上可以添加非门。逻辑电路的大小为 AIG 中的节点数,在逻辑功能不变的情况下,节点数越少表示电路结构越紧凑,这将有助于后续的芯片设计优化。

逻辑电路生成方法将电路的完整输入输出对组合,即功能真值表,建模为训练数据集,并利用机器学习模型自动从数据集中学习生成逻辑电路图 [1,2,3]。在电路设计的实际应用中,要求设计精准满足功能要求的电路结构,因此生成的逻辑电路图必须在训练集上达到 100% 的准确率。

基于 DNAS 的电路生成介绍

神经网络架构搜索(Differential Neural Network Architecture Search, DNAS)[4] 近期被用于生成逻辑电路图 [2,3]。这类方法将一个 L 层,每层 K 个神经元的神经网络建模为 AIG,其中神经元视为逻辑门,神经元之间的连接视为逻辑门之间的电路连接,神经元可以连接到更浅层的任意神经元。对于一个参数化的神经网络,每个神经元都固定执行与逻辑运算,而神经元之间的连接参数是可学习的。

为了能够使用梯度下降法训练网络结构,现有方法会执行 2 种连续化操作:1. 神经元的逻辑运算用等价的可微方式计算,例如 a 与 b 用 a⋅b 代替 [5]。2. 将离散的网络连接方式参数化,并在前向传播时使用 gumbel-softmax [6] 对连接进行连续化和采样。

在训练期间,真值表的每一行输入 - 输出对都作为训练数据输入网络,通过梯度下降法训练连接参数。在测试期间,每个节点的输入根据参数只选择一条连接,从而将网络离散化,模拟实际的逻辑电路。

动机实验 ——DNAS 难以准确生成电路

作者使用上述 DNAS 方法生成电路,生成准确率和电路的规模如图 1(a)所示。结果显示,现有方法难以准确生成电路,且准确率随着电路规模增大而减小。同时,他们发现生成准确率对网络初始化方式及其敏感,方法的鲁棒性较差。

新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架

图 1. 观察实验。(a) 现有的 DNAS 方法难以准确生成电路,特别是大规模电路。(b) 输出节点位于网络浅层,跳过了大量可用节点。(c) 实际只有约四分之一的节点被使用 (深色)。(d) 电路各层节点数统计,与普遍使用的方形网络存在差异。

为了进一步分析产生上述挑战的原因,作者进行了详细的实验。

首先,他们发现网络利用率很低。由于节点间的连接可以跨层,因此存在被跳过的节点。图 1(b)展示了经过训练后输出节点位于网络中的位置,可以看到大部分网络层都被跳过,没有连接进最终电路。图 1(c)展示了网络中实际使用到的节点(深色),只有约四分之一的底层节点被使用。过度的跨层连接浪费了大量网络结构,限制了网络的表达能力。

接着,他们发现实际电路结构与网络之间存在结构偏差。他们统计了使用传统方法生成电路的各层节点数,如图 1(d)所示。图中展示了实际电路在底层有着更多节点,而顶层则节点更少,这与普遍使用的方形网络存在差异。

最后,他们发现不同输入 - 输出示例之间存在学习难度差。具体来说,它们在训练时的 loss 收敛速度存在显著差异。这与通常认为的独立同分布(IID)假设并不相同。更多细节可见原论文第 4 章节。

方法介绍

针对以上三个挑战,作者设计了新颖的正则化三角形电路生成框架(T-Net),如图 2 所示。它包含 3 个部分:多标签数据变换、三角形网络结构、正则化损失函数。

新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架

图 2. 作者提出的电路生成框架图,包含多标签数据变换、三角形网络结构、正则化损失函数三部分。

多标签数据变换:提高可扩展性

随着输入位数的增多,真值表的长度呈指数型增长。为了解决扩展性挑战,作者设计了基于香农定理的多标签训练数据变换。香浓定理证明了一个逻辑函数可以通过一个分解变量分解成两个子函数:

新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架

由于真值表是逻辑函数的对偶表示,他们通过以下两步完成数据变换:首先选定一个输入变量,通过固定它的值为 0 或 1,将真值表分解为 2 个长度减半的子表。接着将 2 个子表并列起来,每个输入组合的输出数量翻倍。

通过将真值表合并生成,网络可以学习到更多可复用的结构,从而减少最终的电路节点数。多标签数据变换可以不断减少真值表的输入位数,从而降低学习难度,加速电路生成。

三角形网络结构:减小搜索空间

为了使网络结构更好地适配电路特性,作者设计了三角形的网络结构。具体来说,更宽的底层结构增强了网络的表达能力,而细长的顶层结构减少了利用率低的冗余节点,减小了搜索空间,加速了收敛。同时,实验证明了这种窄顶结构也能有效加速具有大量输出的电路生成。

正则化损失函数:精确生成电路

本论文的方法包含跨层连接正则化和布尔难度识别损失函数两部分。对于跨层连接,作者对可学习的连接分布参数施加权重正则化,鼓励网络连接更临近层的节点。对于较难学习的输入 - 输出示例,他们在损失函数中为这些示例施加更大的权重,以在训练后期加速收敛。

同时,本论文的框架还包含电路优化部分。作者在强化学习优化算子序列调优的基础上,结合了演化算法和 agent 重启技术,避免陷入局部最优解,实现快速有效的电路优化。更多细节可见原文第 5 章节。

实验介绍

本论文实验的数据集包括 4 类开源电路数据集,节点数规模高达 1200,输入、输出数量最高为 16、63 位。

实验包含 4 个部分:1. 在多个电路上评估本论文电路生成和优化方法的准确性和电路性能。2. 评估本论文生成方法针对电路大小的可扩展性。3. 通过消融实验展示本论文方法各部分的效用。4. 验证本论文方法对超参数的鲁棒性。

作者在以下内容中详细介绍实验 1,其余实验请参见原论文的第 6 章节。

电路生成准确率

部分实验结果见图 3,作者在开源电路上对比了他们的方法与其他基于 DNAS 生成方法的准确率。实验结果显示,他们的方法准确率大幅提升,并可准确生成 1200 节点规模的电路。

新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架

图 3. 作者提出的 T-Net 相比其他 DNAS 电路生成方法准确率大幅提升。

电路综合效果

部分实验结果见图 4,作者在开源比赛电路上对比了他们的方法与开源逻辑综合工具 ABC 和 IWLS 比赛冠亚军的电路大小。实验结果显示,他们的方法显著优于开源逻辑综合工具 ABC 中的电路生成算子,且超过了 2022 和 2023 年比赛冠亚军的方案。

新一代芯片电路逻辑综合,可扩展可解释的神经电路生成框架

图 4. 作者提出的电路生成及优化框架效果显著优于开源逻辑综合工具 ABC 中的电路生成算子。

参考文献

[1] International workshop on logic & synthesis contest. https://www.iwls.org/contest/, 2024.

[2] Designing better computer chips. Google DeepMind, 2023, https://deepmind.google/impact/optimizing-computer-systems-with-more-generalized-ai-tools.

[3] Peter Belcak, et al. Neural combinatorial logic circuit synthesis from input-output examples. International conference on machine learning NeurIPS Workshop, 2022.

[4] Hanxiao Liu, et al. Darts: Differentiable architecture search. International conference on machine learning ICLR 2019.

[5] Felix Petersen, et al. Deep differentiable logic gate networks. International conference on machine learning NeurIPS, 2022.

[6] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. International conference on machine learning ICLR, 2017.

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-11-06 12:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

中科大/华为诺亚出手!芯片性能≠布局评分,EDA设计框架全面开源
...算法了。芯片设计流程面临挑战根据“摩尔定律”,集成电路(IC)的规模发生了指数级增长,对芯片设计带来了前所未有的挑战。 为了应对这种日益增长的复杂性,EDA工具应运而生,为
2024-08-13 09:40:00
扛起“国家使命”,抢占AI新赛道
...领衔“超车”,要素支撑助发展科技部近日发布首批国家新一代人工智能公共算力开放创新平台批复通知,南京智能计算中心成为江苏省首个获批建设的国家新一代人工智能公共算力开放创新平台,
2023-07-24 08:14:00
清华大学集成电路学院院长吴华强教授:Chiplet是战略赛道
...再降一个数量级。今年9月,台积电与三星宣布合作研发新一代无缓存HBM4内存技术,用于高算力AI芯片无缓存HBM4技术将会在现有HBM4内存上提升40%的能效
2024-09-30 09:56:00
美芯晟获得发明专利授权:“一种调光控制电路及其调光控制芯片”
...458)新获得一项发明专利授权,专利名为“一种调光控制电路及其调光控制芯片”,专利申请号为CN202111171654
2025-01-22 03:33:00
全球首颗AI全自动设计CPU!中国团队发布“启蒙1号” 5小时即生成核心
...400万逻辑门,有行业媒体指出,这是目前GPT-4所能设计的电路规模的4000倍之大。该团队表示,其训练过程需要不到5个小时
2023-07-02 02:00:00
AI入侵芯片设计,会干掉工程师吗?
...NUG 2023上,Synopsys发布了称为Synopsys.ai的由人工智能驱动的新一代EDA工具,其中包括了用于优化设计的DSO
2023-05-04 14:31:00
百度文心一言发布会详细纪要
...2023年搜索引擎架构发生了变化,基于语义理解和匹配的新一代检索架构,该架构和文心模型天然有着密不可分的关联。生成模型时可以进行优化,可以把检索里面有价值的结果、精准的信息带
2023-03-17 12:00:00
量子计算重大里程碑!微软官宣创建12个逻辑量子比特,联合AI首次破解化学难题
...孤立存在的,它需要与云HPC的强大功能深度集成。因此,新一代混合量子应用程序,才可以解决人类当前最紧迫的挑战——开创更加可持续能源方案,拯救生命的治疗方法。Azure Qua
2024-09-12 09:47:00
大模型时代下的机器人应用:我们离具身智能还有多远?| 新程序员
...人领域的硬件自动设计进行突破。直接将软件映射到硬件电路的难度很高,而因子图给我们提供了一个非常好的中间介质,我们可以分两步进行硬件的自动化设计:首先将机器人算法映射到中间介质
2024-02-05 09:43:00
更多关于科技的资讯: