- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
DeepSeek发布最新NSA技术论文！创始人梁文锋参与引人注目
快科技2月19日消息，近日，DeepSeek在海外社交平台发布了一篇纯技术论文报告，其主要内容是关于NSA（即Natively Sparse Attention，原生稀疏注意力）。
与此同时，在论文署名中，第一作者袁景阳是在DeepSeek实习期间完成的这项研究。让人感到惊喜和意外的是，据论文署名排名，DeepSeek创始人梁文锋现身论文著作者之中，在作者排名中位列倒数第二。
根据论文摘要，DeepSeek团队认为，业界越来越认识到长上下文建模对于下一代大型语言模型的重要性。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。
据了解，NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千轮客服场景），扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。
同时，NSA通过针对现代硬件的优化设计，在提高推理速度的同时、降低预训练成本，而不会牺牲性能。
它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。
DeepSeek团队表示，稀疏注意力为提高效率同时保持模型能力，提供了一个有前景的方向。
公开资料显示，NSA（即Natively Sparse Attention，原生稀疏注意力）是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。
它专为长文本训练与推理设计，能够利用动态分层稀疏策略等方法，通过针对现代硬件的优化设计，显著优化传统AI模型在训练和推理过程中的表现。
【本文结束】如需转载请务必注明出处：快科技
责任编辑：秋白
文章内容举报
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2025-02-19 14:45:08
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
