摆脱Transformer依赖？这家AI初创公司推出国内首个非Attention机制大模型

文 | 苏建勋

Transformer是当下爆火的GPT、LLAMA、PaLM等大模型普遍采用的基础架构，凭借强大的自然语言理解能力，Transformer在问世的短短几年内便取代了传统的RNN网络结构，成为自然语言处理领域的主流模型架构。

如今，一家创业公司试图动摇Transformer的“江山”。1月24日，上海岩芯数智人工智能科技有限公司（下称“岩芯数智”），正式发布了国内首个非Attention机制的通用自然语言大模型——Yan模型。

作为行业内少有的非Transformer大模型，Yan模型用全新自研的“Yan架构”代替Transformer架构，用百亿级参数达成千亿参数大模型的性能效果——记忆能力提升3倍、速度提升7倍的同时，实现推理吞吐量的5倍提升。

至于为何另辟蹊径，寻求非Transformer的大模型路径，岩芯数智CEO刘凡平指出，以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。其内部架构的复杂性，让决策过程难以解释；长序列处理困难和无法控制的幻觉问题也限制了大模型在某些关键领域和特殊场景的广泛应用。随着云计算和边缘计算的普及，行业对于高效能、低能耗AI大模型的需求正不断增长。

图片来自岩芯数智官方

刘凡平提到：“在全球范围内，一直以来都有不少优秀的研究者试图从根本上解决对 Transformer架构的过度依赖，寻求更优的办法替代 Transformer。就连Transformer 的论文作者之一Llion Jones也在探索‘Transformer 之后的可能’，试图用一种基于进化原理的自然启发智能方法，从不同角度创造对AI框架的再定义。”

新技术在诞生时往往会遭遇质疑，尤其是AI领域，Transformer架构作为被主流厂商所接受的方向，想要去颠覆甚至超越，势必会遭遇更多争议，对此，刘凡平也做好了准备。

“被质疑很正常，只要你说创新，如果别人不深刻理解，就会有质疑。因为他觉得他没有听懂，所以有质疑的权利。我很尊重大家的权利，但是我不能因为他们有质疑，我们就放弃我们自己想做的事情。”刘凡平对36氪等媒体表示。

那么，岩芯数智自主研发出的“Yan架构”，表现如何？

如果说基于Transformer架构的大模型是“耗油且高昂”的燃油车，那么基于Yan架构的大模型，更像是更加经济、更加节能的新能源汽车。它去除了Transformer中高成本的注意力机制，代之以计算量更小、难度更低的线性计算，大大提高了建模效率和训练速度，效率翻倍的同时实现了成本的骤降。

“两个方面看，一方面缩短客户的沟通时间、减少客户的理解成本，一般需求阶段够会在1-2个月，通过Yan架构，1个月以内已经可以出为客户私有化模型，沟通成本会降低，所见即所得的沟通，会比空谈好很多；另一方面，项目成本会降低，例如300万合同的项目可以降低到260万左右，但是利润不一定是下降了。”在谈及新技术框架的落地周期和成本时，刘凡平在接受媒体采访时谈到。

发布会上，研究团队展示了Yan模型和同等参数规模Transformer模型的大量实测对比，经实验数据表明，Yan架构可以实现比Transformer架构更高的训练效率、更强的记忆能力、更低的幻觉表达。

在同等资源条件下，Yan架构的模型，训练效率和推理吞吐量分别是Transformer架构的7倍及5倍，并使记忆能力得到3倍提升。Yan架构的设计，使得Yan模型在推理时的空间复杂度为常量，因此针对Transformer面临的长序列难题，Yan模型同样表现优异。

对比数据表明，在单张4090 24G显卡上，当模型输出token的长度超出2600时，Transformer的模型会出现显存不足，而Yan模型的显存使用始终稳定在14G左右，理论上能够实现无限长度的推理。

另外，研究团队首创了一种合理的关联特征函数和记忆算子，结合线性计算的方式，降低模型内部结构的复杂度。全新架构下的Yan模型，将打开以往自然语言处理的“不可解释黑盒”，充分发掘决策过程的透明度和可解释性，从而助力大模型在医疗、金融、法律等高风险领域的广泛运用。

会上，岩芯数智CEO刘凡平表示：“我们期望Yan架构可作为人工智能领域的基础设施，并以此建立AI领域的开发者生态，最终让任何人在任何设备上都能使用通用大模型，获取更加经济、便捷、安全的AI服务。”