形态空间模型

形态空间模型正在兴起，注意力是否已到尽头？最近几周，AI 社区有一个热门话题：用无注意力架构来实现谈话建模。简要来说，就是机器进修社区有一个长期钻研方向终于取得了实质性的进展，催生出 Mamba 两个强大的新模型：Mamba 和 StripedHyena。它们在很多方面都能比肩人们熟知的强大模型，如 Llama 2 和 Mistral 7B。这个钻研方向就是无注意力架构，现在也正有越来越多的钻研者…

本能与 Mamba 一样，但所需训练步调数却少 2.2 倍。形态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文工作上实现线性时间的推理、并行化训练和强大的本能。而鉴于选择性 SSM 和硬件感知型设想的 Mamba 更是表现出色，成为了鉴于注意力的 Transformer 架构的一大有力替代架构。近期也有一些钻研者在探索将 SSM 和 Mamba 与其…