元象发布全球首个上下文窗口长度256K的开源大模型XVERSE-Long-256K，支持输入25万汉字，让大模型利用进入“长文本时代”。该模型全开源，无条件免费商用，且附带手把手训练教程，让海量中小企业、研究者和开发者更早一步实现“大模型自由”。
全球主流长文本大模型图谱
参数量和高质量数据量决定了大模型的计算复杂度，而长文本技能（Long Context）是大模型利用发展“杀手锏”，因技能新、研发难度高，目前多为闭源付费提供。 XVERSE-Long-256K支持超长文本输入，可用于大规模数据分析、多文档阅读懂得、跨领域知识融合，有效提高大模型利用的深度与广度：一、为律师、金融分析师或咨询师、prompt 工程师、科研人员等解决分析处理较长文本的工作；二、在角色扮演或聊天利用中，缓解模型“忘记”之前对话的记忆力课题，或胡说八道的“幻觉”课题等；三、更好支持智能体（AI Agent）基于历史信息进行规划和决策；四、帮助AI原生利用保持连贯、个性化的用户体验。
至此，XVERSE-Long-256K填补了开源生态空白，还与元象此前70亿、130亿、650亿参数大模型组成“高性能全家桶”，将国产开源提高至国际一流水平。
元象大模型系列
免费下载元象大模型
GitHub：https://github.com/xverse-ai/XVERSE-13Bhugging face：https://huggingface.co/xverse/XVERSE-13B-256K魔搭：https://modelscope.cn/models/xverse/XVERSE-13B-256K问询发送：[email protected]
用户可登录大模型官网（chat.xverse.cn）或小程序即刻体验 XVERSE-Long-256K。 高性能定位评测表现出色 为确保业界对元象大模型有全面、客观和长期的认知，研究人员参考权威行业测评，制定了六个维度的9项综合测评体系。XVERSE-Long-256K 均表现出色，超越其他长文本模型。 
全球主流长文本开源大模型评测结果
XVERSE-Long-256K 还通过了“大海捞针”这一常见的长文本大模型性能压力尝试。该尝试是在长文本语料（即“大海”）中藏入与其内容无关的一个句子（即“针”），并通过自然语言提问让大模型准确提取“针”。
研究人员将四根“针”分别放到了文本语料中从前到后17个不同位置，在1K到256K等量分布的不同长度语料（共32份）中，进行了2176次尝试（4x17x32），XVERSE-Long 提取准确率极佳，达99.67%。 
算法与工程极致优化手把手教你训模型 面对数十万Tokens的超长上下文窗口，大模型研发面临诸多技能挑战，比如要确保长文本下关注内容的准确性、文本长度与推理速度的平衡、指数级递增的计算量、显存与带宽的巨大需求。而业界常见的滑动窗口、降采样、小模型等“捷径”方法，虽提高了窗口长度，但不同程度牺牲了模型性能，让模型实际利用价值大打折扣。
元象通过算法与工程上的极致优化与突破，在第一阶段ABF+持续预训练，第二阶段NTK+SFT的技能优化，实现了无损长程注意力机制，让窗口长度与模型性能同步提高。后文将提供“手把手模型训练”详细教程与技能解析。
利用案例展示
XVERSE-Long-256K 在大规模数据分析、多文档阅读懂得、跨领域知识融合上能力出众，更重要的是能推动大模型利用深层次的产业落地，比如在金融、司法、科研等精艰深的领域发展。具体案例：
长篇小说 阅读懂得
以《射雕英雄传》为例，可展示元象大模型在文本懂得、人物动机分析、信息检索、准确推断等方面综合能力。 如郭靖初遇黄蓉时未正面描写人物着装，但模型通过原文“店小二见郭靖身上一件黑貂甚是珍贵，心想就算你会不出钞，把这件黑貂皮剥下来抵数也尽够了”，能推断出郭靖身着黑貂皮袄。 
《射雕英雄传》尝试
40+多语种阅读懂得
目前国内多数大模型仅支持中英双语，元象支持40多种语言，以下对16万字符的俄语经典小说《钢铁是怎样炼成的》、41万字符的德语历史传记《人类群星闪耀时》进行尝试。
《钢铁是怎样炼成的（俄文版）》尝试 
《人类群星闪耀时（德文版）》尝试
金融研究报告 分析预测 对包含大量专业术语的研究报告进行数据、趋势相关解读和分析，以1.6万字的《光伏行业2024年策略报告》为例：
《光伏行业2024年策略报告》下滑查看更多
法律法条 精准利用
以《中华人民共和国民法典》为例，展示对法律术语的解释，以及对案例进行逻辑分析、结合实际的灵活利用：
《民法典》尝试
手把手教你训练长文本大模型
1. 技能挑战
前文提到长序列大模型可一次性输入很长的序列，给大模型的利用带来革命性的变化。既然其优势明显，为何市面上仅有个位数的长文本模型呢？主因有：
模型训练：GPU显存的占用与序列长度的平方成正比，使训练量急剧上升。模型结构：序列越长，模型的attention越分散，模型越容易忘记前序内容。推理速度：模型序列越长，将大幅度降低模型推理速度。
2. 元象技能路线 长文本大模型技能是在近一年内发展出来的新技能，其主要技能方案为：
直接进行长序列的预训练，但会导致训练量成平方倍的提高。通过位置编码的插值或外推拓展序列长度，这种方法会降低位置编码的分辨率，从而降低大模型输出效果。
元象总结出一条高效拓展长序列的技能路线，很好解决了训练量大、且位置编码分辨率降低等课题。以130亿参数的基座模型为例，具体如下：
第一阶段：利用ABF+持续预训练的方法，将XVERSE-13B的序列长度从8K拓展到32K，该方法可以大幅度减少预训练的训练量。
第二阶段：利用NTK+SFT的方法，将序列长度从32K拓展到256K。这里的持续预训练的方法可解决前文提到的训练量激增课题，而ABF和NTK可解决模型attention衰减课题。
元象长文本大模型训练流程
3. 手把手训练方案
第一阶段：ABF+持续预训练
持续预训练，顾名思义，是在原先短序列预训练的基础上进行长序列的预训练。具体地说，是在XVERSE-13B（8K的短序列）的基础上，利用20%的预训练数据进行32K的长序列的持续预训练。通过少量长序列数据的持续预训练而不是从头开始的长序列预训练，可以大幅减少预训练的训练量。 ABF的全称是Adjusted Base Frequency，是将位置编码RoPE（Rotary Position Embedding）的频率从10000修改成500000。 别小看这个数字的更改，它可以大幅减少前面序列attention的衰减速度，让后面的序列更好的获取所有序列的信息。此外，通过virtual pipeline、ZeRO、不间断训练等手段提高GPU的利用率。 经过以上技能优化，技能团队仅用了一个星期就完成了XVERSE-13B的持续预训练，将序列长度从8K拓展到32K。
第二阶段：NTK+SFT
仅利用持续预训练是无法将序列长度提高到256K的，如此长度的预训练无法完成，因此技能团队利用NTK和SFT技能进一步提高序列长度。 NTK的全称是Neural Tangent Kernel，翻译为神经正切核，是一种用于懂得和分析深度神经网络行为的工具。利用了NTK的RoPE可以对RoPE的频率进行动态的插值。在于保持分辨率的情况下（高频），实现了频域空间缩放（低频），从而实现位置空间的插值。 废话不多说，上NTK的代码： 
利用NTK，使模型具备了拓展很长文本的可能。接下来，通过SFT（Supervised Fine Tune）的方法，将序列长度进一步提高到256K。SFT是通过一问一答的方式，使得模型具备了Chat的能力并且强化NTK拓展序列长度的能力。
SFT的关键是如何生成训练数据。目前开源的长序列数据很少，更没有序列长度达到32K以上甚至256K的数据。团队利用预训练阶段利用的训练数据来构造长序列的SFT训练数据。
以构建多文档QA类数据为例：首先，基于自研的XVERSE-65B模型生成与单个文章有关的高质量课题回答对；然后将多个网页内容混合成目标长度的整段内容，随机选择与其中某个网页匹配的课题回答对；最后将该课题和回答作为整段内容的课题和回答，构成训练的单个样本。通过上述批量化数据生产管线，我们可以得到32K、64K，一直到256K长度的高质量对话数据。
总结一下，通过以上两个阶段的优化，将XVERSE-13B的序列长度大幅度拓展到了256K，并通过九项长文本测评和大海捞针压力尝试等验证了该模型在长序列方面的强大性能。
免费下载元象大模型
GitHub：https://github.com/xverse-ai/XVERSE-13Bhugging face：https://huggingface.co/xverse/XVERSE-13B-256K魔搭：https://modelscope.cn/models/xverse/XVERSE-13B-256K问询发送：[email protected]