数据构建

大语言模型的指令遵循能力需要模型能够准确识别指令中的细微要求，并在输出中精确体现这些要求。 现有方法通常采用偏好学习进行优化，在创建偏好对时直接从模型中采样多个独立响应。 但是这种方法可能会引入与指令精确遵循无关的内容变化（例如，同一语义的不同表达方式），这干扰了模型学习识别能够改进指令遵循的关键差异。