- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
摩尔线程新方法优化AI交互：显存节省最多82％
摩尔线程科研团队近日发布了一项新的研究成果《Round Attention：以轮次块稀疏性开辟多轮对话优化新范式》，使得端到端延迟低于现在主流的Flash Attention推理引擎，kv-cache显存占用节省最多82％。
近年来，AI大型语言模型的进步，推动了语言模型服务在日常问题解决任务中的广泛应用。
然而，长时间的交互暴露出两大显著问题：
首先，上下文长度的快速扩张因自注意力机制的平方级复杂度而导致巨大的计算开销；
其次，尽管键值(KV)缓存技术能缓解冗余计算，但显著增加的GPU内存需求，导致推理批处理规模受限，同时GPU利用率低下。
为此，摩尔线程提出了Round Attention，以解决这些问题。
首先，摩尔线程提出以轮次为分析单元研究Attention规律：
Round Attention专为多轮对话场景推理需求设计，以轮次为自然边界划分KV缓存。研究发现，轮次粒度的Attention分布存在两个重要规律。
其次，摩尔线程提出了Round Attention推理流水线；
基于发现的两个规律，将稀疏性从Token级提升至块级，选取最相关的块参与attention计算，减少attention计算耗时，并将不相关的块卸载到CPU内存，以节省显存占用。
这在保持推理精度的情况下，减少了推理耗时，降低了显存占用。
摩尔线程认为，轮次块稀疏性有三大优势：自然边界的语义完整性、分水岭层的注意力稳定性、端到端的存储与传输优化。
测试显示，Round Attention的端到端延迟低于现在主流的Flash Attention推理引擎， kv-cache显存占用则节省55-82％，并且在主观评测和客观评测两个数据集上，模型推理准确率基本未受影响。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：上方文Q
文章内容举报
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2025-03-04 23:45:06
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
