帝江 – 7B

“又西三百五十里曰天山，多金玉，有青雄黄，英水出焉，而西南流注于汤谷。有神鸟，其状如黄囊，赤如丹火，六足四翼，浑敦无面目，是识歌舞，实惟帝江也。”——《山海经》基于 Transformer 架构的大语言模型在 NLP 领域夺得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复杂度使得大模型的推理利润和内存占用十分巨大，特别是在长序列的场景中。此前，研究者们提出了线性 Trans…