- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
sepphochreiter提出xlstm新架构
5月13日消息，研究人员SeppHochreiter和JürgenSchmidhuber在1997年共同提出了长短期记忆（Longshort-termmemory，LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题。
而最近SeppHochreiter在arXiv上发布论文，提出了一种名为xLSTM（ExtendedLSTM）的新架构，号称可以解决LSTM长期以来“只能按照时序处理信息”的“最大痛点”，从而“迎战”目前广受欢迎的Transformer架构。
IT之家从论文中获悉，SeppHochreiter在新的xLSTM架构中采用了指数型门控循环网络，同时为神经网络结构引入了“sLSTM”和“mLSTM”两项记忆规则，从而允许相关神经网络结构能够有效地利用RAM，实现类Transformer“可同时对所有Token进行处理”的并行化操作。
团队使用了150亿个Token训练基于xLSTM及Transformer架构的两款模型进行测试，在评估后发现xLSTM表现最好，尤其在“语言能力”方面最为突出，据此研究人员认为xLSTM未来有望能够与Transformer进行“一战”。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-05-13 16:45:01
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
