LSTM：这次重生，我要夺回 Transformer 拿走的一切。
20 世纪 90 年代，长短时记忆（LSTM）格式引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所存在的局限性使其风光不再。
当人们都以为 Transformer 在言语模型领域稳坐江山的时候，LSTM 又杀回来了 —— 这次，是以 xLSTM 的身份。
5 月 8 日，LSTM 提出者和奠基者 Sepp Hochreiter 在 arXiv 上传了 xLSTM 的预印本论文。
论文的所属机构中还出现了一家叫做「NXAI」的公司，Sepp Hochreiter 表示：「借助 xLSTM，我们缩小了与现有最先进 LLM 的差距。借助 NXAI，我们已开始构建自己的欧洲 LLM。」
论文标题：xLSTM: Extended Long Short-Term Memory
论文链接：https://arxiv.org/pdf/2405.04517
具体来说，xLSTM 从三个层面解决了 LSTM 以往所存在的局限性：
(i) 无法修改存储决策。
可以通过「最近邻搜索」（Nearest Neighbor Search）问题来举例说明这一局限性：在给定参考向量的情况下，必须按顺序扫描序列，寻找最相似的向量，以便在序列末端提供其附加值。图 2 左侧显示了这项任务的均方误差。当发现更相似的向量时，LSTM 难以修改存储的值，而新的 xLSTM 通过指数门控弥补了这一限制。
(ii) 存储容量有限，即信息必须压缩成标量单位形态。
图 2 右侧给出了 Wikitext103 上不同 token 频率的 token 预测困惑度。由于 LSTM 的存储容量有限，它在不常见 token 上的表现较差。xLSTM 通过矩阵内存解决了这一问题。
(iii) 由于内存夹杂而缺乏可并行性，需要举行顺序处理。例如，从一个时间步到下一个时间步的埋没形态之间的埋没 – 埋没连接。
与此同时，Sepp Hochreiter 和团队在这篇新论文中回答了一个关键问题：如果克服这些局限性并将 LSTM 扩张到当前大言语模型的规模时，能实现怎样的性能？
将 LSTM 扩张到数十亿参数
为了克服 LSTM 的局限性，xLSTM 对等式（1）中的 LSTM 理念举行了两项主要修改。
在原来的 LSTM 中，恒定误差选择轮盘是由单位输入 z_t 对单位形态 c_(t-1)（绿色）举行的加法更新，并由 sigmoid 门（蓝色）举行调节。输入门 i_t 和遗忘门 f_t 控制这一更新，而输出门 o_t 控制存储单位的输出，即埋没形态 h_t。存储单位的形态被 ψ 归一化或压缩，然后输出门控得到埋没形态。
xLSTM 的修改包括指数门控和新颖的内存结构，因此丰富了 LSTM 家族的两个成员：
(i) sLSTM（第 2.2 节），具有标量内存、标量更新和内存夹杂功能；
(ii) mLSTM（第 2.3 节），具有矩阵内存和协方差（外积）更新规则，完全可并行处理。
sLSTM 和 mLSTM 都通过指数门控增强了 LSTM。为了实现并行化，mLSTM 放弃了内存夹杂，即埋没 – 埋没递归连接。mLSTM 和 sLSTM 都可以扩张到多个存储单位，其中 sLSTM 具有跨单位内存夹杂的特点。此外，sLSTM 可以有多个头，但不存在跨头的内存夹杂，而只存在每个头内单位间的内存夹杂。通过引入 sLSTM 头和指数门控，研究者建立了一种新的内存夹杂方式。对于 mLSTM 而言，多头和多单位是等价的。
将这些新的 LSTM 变体集成到残差块模块中，就得到了 xLSTM 块。将这些 xLSTM 块剩余堆叠到架构中，就形成了 xLSTM 架构。xLSTM 架构及其组件见图 1。
xLSTM 块应在高维空间中对过去举行非线性总结，以便更好地分离不同的历史或上下文。分离历史是正确预测下一个序列元素（如下一个 token）的先决条件。研究者在此采用了 Cover 定理，该定理指出，在高维空间中，非线性嵌入模式比在原始空间中更有可能被线性分离。
他们考虑了两种残差块结构：(i) post up-projection 的残差块（如 Transformer），它非线性地概括了原始空间中的历史，然后线性地映照到高维空间，应用非线性激活函数，再线性地映照回原始空间（图 3 左侧和图 1 第三栏，更详细的版本见图 9）。(ii) pre up-projection 的残差块（如形态空间模型），它线性地映照到高维空间，在高维空间中非线性地总结历史，然后线性地映照回原始空间。对于包含 sLSTM 的 xLSTM 块，研究者主要使用了 post up-projection 块。对于包含 mLSTM 的 xLSTM 块，使用 pre up-projection 块，因为在高维空间中内存容量会变大。
实验
随后，研究者对 xLSTM 举行了实验评价，并将其与现有的言语建模格式举行了比较。
第 4.1 节讨论了 xLSTM 在合成任务中的具体能力。首先，研究者测试了 xLSTM 的新指数门控与内存夹杂在形式化言语上的有效性。然后，他们评价了 xLSTM 的新矩阵内存在多次查询联想记忆任务（Multi-Query Associative Recall，MQAR）中的有效性。最后，研究者评价了 xLSTM 在 Long Range Arena（LRA）中处理长序列的性能。
第 4.2 节比较了当前各种言语建模格式的验证集复杂度，包括在同一数据集上对 xLSTM 举行消融研究，然后对不同格式的缩放行为举行评价。
研究者在自回归言语建模设置中使用 SlimPajama 的 15B token 训练了 xLSTM、Transformers、形态空间模型（SSM）等模型。表 1 中的结果显示，xLSTM 在验证复杂度方面优于所有现有格式。
图 6 显示了该实验的扩张结果，表明 xLSTM 对于更大规模的模型也有良好的表现。
消融研究则表明，性能改进源于指数门控和矩阵内存。
第 4.3 节举行了更深入的言语建模实验。
研究者增加了训练数据量，对来自 SlimPajama 的 300B 个 token 举行了训练，并比较了 xLSTM、RWKV-4、Llama 和 Mamba。他们训练了不同大小的模型（125M、350M、760M 和 1.3B），举行了深入的评价。首先，评价这些格式在推断较长语境时的表现；其次，通过验证易混度和下游任务的表现来测试这些格式；此外，在 PALOMA 言语基准数据集的 571 个文本域上评价了这些格式；最后，评价了不同格式的扩张行为，但使用的训练数据多了 20 倍。
可以看出，xLSTM 在性能和扩张性上都更胜一筹。
更多研究细节，可参考原论文。