Agent Attention

来自清华大学的研究者提出了一种新的注意力范式——署理注意力 (Agent Attention)。近年来，视觉 Transformer 模型得到了极大的发展，相关工作在分类、联系、检测等视觉任务上都取得了很好的效果。然而，将 Transformer 模型运用于视觉领域并不是一件简单的事情。与自然语言不同，视觉图片中的特性数量更多。由于 Softmax 注意力是平方复杂度，直接进行全部自注意力的算计往…