AI在线 AI在线

AI算法

AI算法 | 训练数据的数量、质量及语言分布等因素对中文大模型性能的影响

AI算法 | 训练数据的数量、质量及语言分布等因素对中文大模型性能的影响
已有LLM研究探索了训练数据对模型性能的影响，但这些研究大多集中在英文模型上，对于中文模型的研究相对较少。 今天来看一篇来自贝壳的研究团队在2023年的一篇工作——《Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation》。 这篇工作的核心目标是提升中文指令跟随语言模型的性能。
4/3/2025 7:00:00 AM
Goldma
AI算法 | 如何训练自己的大模型？

AI算法 | 如何训练自己的大模型？
1、第一阶段：二次预训练模型选择与转换在开始训练之前，需要选择一个合适的基础模型。 本文以LLaMA-7B为例，简单介绍下。 为了方便后续的操作，将LLaMA-7B模型转换为Hugging Face格式。
4/1/2025 9:54:09 AM
Goldma
AI算法 | SFT数据篇

AI算法 | SFT数据篇
1、SFT需要多少条数据SFT所需数据量一般任务：对于大多数常见的自然语言处理任务（如文本分类、情感分析、简单对话等），SFT的数据量通常在2k-10k之间。 这个范围的数据量既能保证模型学习到足够的领域知识，又不会因为数据量过大而导致训练成本过高。 复杂任务：对于复杂的任务，如数学推理、代码生成、多轮对话等，可能需要更多的数据来训练。
3/28/2025 11:10:44 AM
Goldma
AI算法 | 领域模型Continue PreTrain数据篇

AI算法 | 领域模型Continue PreTrain数据篇
在当今人工智能的浪潮中，领域模型的构建与发展正成为推动行业进步的关键力量。 从医疗诊断到金融风险预测，从自然语言处理到图像识别，领域模型以其精准的适应性和强大的性能，为各个专业领域带来了前所未有的机遇。 而在这背后，Continue Pretrain（持续预训练）技术更是为领域模型的成长提供了源源不断的动力。
3/28/2025 9:46:05 AM
Goldma
关于LLMs 复读机问题

关于LLMs 复读机问题
今天来看一个关于LLMs复读机问题的详细介绍，主要从定义、出现复读机问题的原因和怎么解决三个方面来介绍：1、什么是 LLMs 复读机问题？ LLMs 复读机问题：字符级别重复：指大模型针对一个字或一个词重复不断生成。 例如在电商翻译场景上，会出现“steckdose steckdose steckdose steckdose steckdose steckdose steckdose steckdose...”；语句级别重复：大模型针对一句话重复不断生成。
3/24/2025 11:01:41 AM
Goldma
LLM核心损失函数深度剖析——KL散度与交叉熵损失

LLM核心损失函数深度剖析——KL散度与交叉熵损失
在深度学习和机器学习领域，损失函数是模型优化的核心工具之一。 它不仅决定了模型的训练方向，还直接影响模型的性能和泛化能力。 随着大语言模型（LLM）的兴起，对损失函数的理解和应用变得更加重要。
3/18/2025 10:28:32 AM
Goldma
  • 1