Titans - AI在线

谷歌公布 Titans 系列 AI 模型架构：融合长短期记忆与注意力机制、突破 200 万上下文 Token

谷歌研究院发文，公布了“Titans”系列模型架构，相应模型架构最大的特点是采用“仿生设计”，结合了短期记忆、长期记忆和注意力机制，支持超过 200 万个 Token 的上下文长度，谷歌计划将 Titans 相关技术开源。

近8年后，谷歌Transformer继任者「Titans」来了，上下文记忆瓶颈被打破

正如论文一作所说，「新架构 Titans 既比 Transformer 和现代线性 RNN 更有效，也比 GPT-4 等超大型模型性能更强。」终于，在 2017 年推出影响 AI 行业长达 8 年的 Transformer 架构之后，谷歌带来了全新的架构 Titans。这次，谷歌的重点是将推理领域非常重要的测试时（test-time）计算用在了记忆（memory）层面。