模型训练
如何避免交叉验证中的数据泄露？
大家好，我是小寒在机器学习中，交叉验证（Cross-Validation）是一种常用的模型评估技术，目的是通过将数据集分割为多个子集，反复训练和验证模型，以便更好地估计模型的性能。 然而，在交叉验证过程中，数据泄露（Data Leakage） 是一个非常严重的问题，它会导致模型的评估结果过于乐观，进而使得模型在实际应用中表现不佳。 什么是数据泄露数据泄露是指在模型训练过程中，模型不恰当地接触到了与验证集或测试集相关的信息，导致模型的训练过程中“提前知道”了本应该不在训练数据中的信息。
将偏好学习引入模型训练，北大李戈团队新框架，可显著提升代码准确性与执行效率
代码模型SFT对齐后，缺少进一步偏好学习的问题有解了。 北大李戈教授团队与字节合作，在模型训练过程中引入偏好学习，提出了一个全新的代码生成优化框架——CodeDPO。 在部分模型上，相比于单独使用SFT，CodeDPO能够将模型的HumanEval得分再多提升10个百分点，最高增幅接近1/3。
超详细！写给设计师的LoRa模型训练SOP
写在前面：
在推进 AIGC 技术在我们业务中的应用过程中，我发现许多同事，特别是设计师和跨部门协作的团队，对 LoRA 模型在图像生成中的真正价值理解还不够深入。我们似乎更多地停留在"别人在做,我也要做"的从众心态，而没有真正认识到 LoRA 模型的战略意义和变革潜力。
这种认知差距可能会导致我们在实践中走一些弯路，无法充分发挥 LoRA 模型的优势，也难以实现 AIGC 技术在业务中的最大化赋能。因此，我针对 LoRA 模型训练流程进行了系统梳理和优化，希望能给大家一些启发，帮助我们更好地理解和应用这一强大的工
- 1