AI算法
AI算法 | 如何训练自己的大模型？
1、第一阶段：二次预训练模型选择与转换在开始训练之前，需要选择一个合适的基础模型。 本文以LLaMA-7B为例，简单介绍下。 为了方便后续的操作，将LLaMA-7B模型转换为Hugging Face格式。
AI算法 | SFT数据篇
1、SFT需要多少条数据SFT所需数据量一般任务：对于大多数常见的自然语言处理任务（如文本分类、情感分析、简单对话等），SFT的数据量通常在2k-10k之间。 这个范围的数据量既能保证模型学习到足够的领域知识，又不会因为数据量过大而导致训练成本过高。 复杂任务：对于复杂的任务，如数学推理、代码生成、多轮对话等，可能需要更多的数据来训练。
AI算法 | 领域模型Continue PreTrain数据篇
在当今人工智能的浪潮中，领域模型的构建与发展正成为推动行业进步的关键力量。 从医疗诊断到金融风险预测，从自然语言处理到图像识别，领域模型以其精准的适应性和强大的性能，为各个专业领域带来了前所未有的机遇。 而在这背后，Continue Pretrain（持续预训练）技术更是为领域模型的成长提供了源源不断的动力。
关于LLMs 复读机问题
今天来看一个关于LLMs复读机问题的详细介绍，主要从定义、出现复读机问题的原因和怎么解决三个方面来介绍：1、什么是 LLMs 复读机问题？ LLMs 复读机问题：字符级别重复：指大模型针对一个字或一个词重复不断生成。 例如在电商翻译场景上，会出现“steckdose steckdose steckdose steckdose steckdose steckdose steckdose steckdose...”；语句级别重复：大模型针对一句话重复不断生成。
LLM核心损失函数深度剖析——KL散度与交叉熵损失
在深度学习和机器学习领域，损失函数是模型优化的核心工具之一。 它不仅决定了模型的训练方向，还直接影响模型的性能和泛化能力。 随着大语言模型（LLM）的兴起，对损失函数的理解和应用变得更加重要。
- 1