研究人员推出 xLSTM 神经网络 AI 架构：并行化处理 Token、有望迎战 Transformer

2024-05-13 08:59

研究人员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期记忆（Long short-term memory，LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题。而最近 Sepp Hochreiter 在 arXiv 上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以解决 LSTM 长期以来“只能按照时序处理信息”的“最大痛点”，从而“迎战”目前广受欢迎的 Transformer 架构。IT之家

研究人员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期记忆（Long short-term memory，LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题。

而最近 Sepp Hochreiter 在 arXiv 上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以解决 LSTM 长期以来“只能按照时序处理信息”的“最大痛点”，从而“迎战”目前广受欢迎的 Transformer 架构。

IT之家从论文中获悉，Sepp Hochreiter 在新的 xLSTM 架构中采用了指数型门控循环网络，同时为神经网络结构引入了“sLSTM”和“mLSTM”两项记忆规则，从而允许相关神经网络结构能够有效地利用 RAM，实现类 Transformer“可同时对所有 Token 进行处理”的并行化操作。

研究人员推出 xLSTM 神经网络 AI 架构：并行化处理 Token、有望迎战 Transformer

团队使用了 150 亿个 Token 训练基于 xLSTM 及 Transformer 架构的两款模型进行测试，在评估后发现 xLSTM 表现最好，尤其在“语言能力”方面最为突出，据此研究人员认为 xLSTM 未来有望能够与 Transformer 进行“一战”。

参考

xLSTM: Extended Long Short-Term Memory

原作者带队，LSTM卷土重来之Vision-LSTM出世

与 DeiT 等使用 ViT 和 Vision-Mamba (Vim) 方法的模型相比，ViL 的性能更胜一筹。AI 领域的研究者应该还记得，在 Transformer 诞生后的三年，谷歌将这一自然语言处理届的重要研究扩展到了视觉领域，也就是 Vision Transformer。后来，ViT 被广泛用作计算机视觉中的通用骨干。这种跨界，对于前不久发布的 xLSTM 来说同样可以实现。最近，享誉数十年的 LSTM 被扩展到一个可扩展且性能良好的架构 ——xLSTM，通过指数门控和可并行化的矩阵内存结构克服了长期存在

6/9/2024 12:51:00 AM

机器之心

原作者带队，LSTM真杀回来了！

LSTM：这次重生，我要夺回 Transformer 拿走的一切。20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所存在的局限性使其风光不再。当人们都以为 Transformer 在语言模型领域稳坐江山的时候，LSTM 又杀回来了 —— 这次，是以 xLSTM 的身份。5 月 8 日，LSTM 提出者和奠基者 Se

5/9/2024 6:44:00 PM

机器之心