Differential Transformer

Transformer 的强大实力已经在诸多大型语言模型（LLM）上得到了证明，但该架构远非完美，也有很多研究者致力于改进这一架构，比如AI在线曾报道过的 Reformer 和 Infini-Transformer。今天我们又将介绍另一种新型 Transformer 架构：Differential Transformer（差分 Transformer，简称 Diff Transformer）。该架…