- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
麻省理工学院联合metaai开发streamingllm框架
10月6日消息，麻省理工学院联合MetaAI的研究人员日前开发了一款名为StreamingLLM的框架，为大语言模型可能遇到的RAM与泛化问题提出了一系列解决方案，号称能够“让语言模型处理无限长度的文本内容”。
▲图源GitHub
StreamingLLM的研究重点，是想解决实现流式语言模型（EfficientStreamingLanguageModels，ESLM）的障碍，特别是“长时间互动的多轮对话场景”中可能出现的问题。
研究人员指出，这种流式语言模型主要存在两大挑战：
第一个挑战：在解码阶段，获取token的键（Key）值（Value）状态会消耗大量的RAM。第二个挑战：目前流行的大语言模型，难以泛化适用“超过训练序列长度”的长文本。
IT之家注意到，过去有许多研究试图解决上述挑战，像是“扩展注意力窗口”，让语言模型能够处理超出预训练序列长度的长文本；或是建立一个固定大小的活动窗口，只关注最近token的键值状态，确保RAM使用率和解码速度保持稳定，但若遇到“序列长度超过缓存大小”时，这个策略就会失效。
而当前流式语言模型最大的挑战是“如何不消耗过多RAM且不损害模型性能的前提下，处理长文本输入”。
StreamingLLM对此采取的策略是“运用注意力下沉现象”，研究人员观察到，在自回归语言模型中，无论特定token和语言模型本身的相关性如何，如果对代token分配了大量的注意力。这些获得高度注意力的token，就会表现出注意力下沉的现象，即便这些token在语义上不重要，但他们仍然获得模型强烈关注（即给予特定token内容大量注意力，从而获得模型大部分的关注，而这些特定token内容包含“下沉token的键值”，从而确保无论输入序列有多长，模型的注意力计算都能维持稳定）。
▲图源GitHub
StreamingLLM的重要贡献，在于其提出一个简单且高效的解决方案，使语言模型不需微调就可以处理无限长度的文本。从而解决当前语言模型在流式应用的困境。虽然未来流式语言模型势在必行，但由于RAM效率的限制，以及模型在处理长序列的性能问题，相关模型发展仍受到挑战。
经研究团队证实，StreamingLLM能够让Llama2、MPT、Falcon和Pythia可靠地处理高达400万token的文本，能够为流式语言模型提供更多部署方面的可能性。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2023-10-07 09:45:05
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
