Meta无限长文本大模型来了：参数仅7B，已开源
谷歌之后，Meta 也来卷无限长上下文。Transformers 的二次复杂度和弱长度外推限制了它们扩大到长序列的能力，虽然存在线性注意力和状态空间模型等次二次解决方案，但从以往的经验来看，它们在预训练作用和下游工作准确性方面表现不佳。长文本是大语言模型一直在努力的方向。近日，谷歌提出的 Infini-Transformer 引入有效方法，可以将基于 Transformer 的大型语言模型 (LL…- 23
- 0
MEGALODON
扫码打开当前页
- ￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×