Infini-Transformer

不知 Gemini 1.5 Pro 是否用到了这项技术。谷歌又放大招了，发布下一代 Transformer 模型 Infini-Transformer。Infini-Transformer 引入了一种有效的方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到无比长输出，而不增加内存和盘算需求。使用该技术，研究者成功将一个 1B 的模型上下文长度提高到 100 万；应用到 8…