Mixture of Block Attention

撞车DeepSeek NSA,Kimi杨植麟署名的新注意力架构MoBA发布,代码也公开

昨天下午,DeepSeek 发布了一篇新论文,提出了一种改进版的注意力机制 NSA;加上还有创始人兼 CEO 梁文锋亲自参与,一时之间吸引眼球无数,参阅报道《刚刚! DeepSeek 梁文锋亲自挂名,公开新注意力架构 NSA》。 但其实就在同一天,月之暗面也发布了一篇主题类似的论文,并且同样巧合的是,月之暗面创始人兼 CEO 杨植麟也是该论文的署名作者之一。
  • 1