Titans - AI在线

胜过Transformer？谷歌推出新型AI模型架构Titans

自2017年推出以来，Transformer模型架构一直是人工智能的基础要素，推动了自然语言处理、机器翻译等领域的进步。不过，该模型在可扩展性、计算效率以及应对日益复杂任务等方面，仍面临着诸多挑战。而Titans模型架构的诞生，旨在通过整合受人类认知过程启发的机制来克服这些障碍，如记忆优先级和适应性注意力。

谷歌公布 Titans 系列 AI 模型架构：融合长短期记忆与注意力机制、突破 200 万上下文 Token

谷歌研究院发文，公布了“Titans”系列模型架构，相应模型架构最大的特点是采用“仿生设计”，结合了短期记忆、长期记忆和注意力机制，支持超过 200 万个 Token 的上下文长度，谷歌计划将 Titans 相关技术开源。

近8年后，谷歌Transformer继任者「Titans」来了，上下文记忆瓶颈被打破

正如论文一作所说，「新架构 Titans 既比 Transformer 和现代线性 RNN 更有效，也比 GPT-4 等超大型模型性能更强。」终于，在 2017 年推出影响 AI 行业长达 8 年的 Transformer 架构之后，谷歌带来了全新的架构 Titans。这次，谷歌的重点是将推理领域非常重要的测试时（test-time）计算用在了记忆（memory）层面。