xLSTM

研究职员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期影象（Long short-term memory，LSTM）神经网络布局，可用来处理轮回神经网络（RNN）长期影象能力不足的问题。而最近 Sepp Hochreiter 在 arXiv 上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以处理 LS…

LSTM：这次重生，我要夺回 Transformer 拿走的一切。20 世纪 90 年代，长短时记忆（LSTM）格式引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所存在的局限性使其风光不再。当人们都以为 Transformer 在言语模型领域稳…