研究职员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期影象（Long short-term memory，LSTM）神经网络布局，可用来处理轮回神经网络（RNN）长期影象能力不足的问题。而最近 Sepp Hochreiter 在 arXiv 上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以处理 LSTM 长期以来“只能按照时序处置信息”的“最大痛点”，从而“迎战”目前广受欢迎的 Transformer 架构。IT之家
研究职员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期影象（Long short-term memory，LSTM）神经网络布局，可用来处理轮回神经网络（RNN）长期影象能力不足的问题。
而最近 Sepp Hochreiter 在 arXiv 上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以处理 LSTM 长期以来“只能按照时序处置信息”的“最大痛点”，从而“迎战”目前广受欢迎的 Transformer 架构。
IT之家从论文中获悉，Sepp Hochreiter 在新的 xLSTM 架构中采用了指数型门控轮回网络，同时为神经网络布局引入了“sLSTM”和“mLSTM”两项影象规则，从而允许相关神经网络布局能够有效地利用 RAM，实现类 Transformer“可同时对所有 Token 举行处置”的并行化操作。
团队使用了 150 亿个 Token 训练基于 xLSTM 及 Transformer 架构的两款模型举行测试，在评估后发现 xLSTM 表现最好，尤其在“语言能力”方面最为突出，据此研究职员认为 xLSTM 未来有望能够与 Transformer 举行“一战”。
参考
xLSTM: Extended Long Short-Term Memory