Monarch Mixer (M2)

本文探索了 Monarch Mixer (M2) ，这是一种在序列长度和模型维度上都是次二次的新架构，并且在现代加速器上具有很高的硬件效率。从 BERT、GPT 和 Flan-T5 等言语模型到 SAM 和 Stable Diffusion 等图象模型，Transformer 正以锐不可当之势席卷这个世界，但人们也不禁会问：Transformer 是唯一选择吗？斯坦福大学和纽约州立大学布法罗分校的…