AI在线 AI在线

Origin

破解自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推

破解自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推
随着大语言模型的快速发展，其长度外推能力（length extrapolating）正日益受到研究者的关注。尽管这在 Transformer 诞生之初，被视为天然具备的能力，但随着相关研究的深入，现实远非如此。传统的 Transformer 架构在训练长度之外无一例外表现出糟糕的推理性能。研究人员逐渐意识到这一缺陷可能与位置编码（position encoding）有关，由此展开了绝对位置编码到相对位置编码的过渡，并产生了一系列相关的优化工作，其中较为代表性的，例如：旋转位置编码（RoPE）(Su et al.,
11/13/2023 6:11:00 PM
机器之心
  • 1