S3FT - AI在线

S3FT选择性自监督微调：通过智能选择训练样本提升大模型整体表现

选择性自我监督微调（Selective Self-to-Supervised Fine-Tuning，S3FT）是一种创新的大语言模型微调方法，该方法通过部署专门的语义等价性判断器来识别训练集中模型自身生成的正确响应。在微调过程中，S3FT策略性地结合这些正确响应与剩余样本的标准答案（或其释义版本）来优化模型。与传统监督微调（SFT）相比，S3FT不仅在特定任务上表现出更优的性能，还显著提升了模型的跨域泛化能力。