LEMA - AI在线

GPT-4 做「世界模型」，让LLM从「错题」中学习，推理能力显著提升

从错误中学习，不只是人类可以做到。近日有研究发现，大模型其实也可以借鉴这种思路。这段时间，大语言模型在各种 NLP 任务中取得了重大进展，尤其是在需要复杂的思维链（CoT）推理的数学问题方面。比如在 GSM8K、MATH 这样的高难度数学任务的数据集中，包括 GPT-4 和 PaLM-2 在内的专有模型已取得显著成果。在这方面，开源大模型还有相当的提升空间。为了进一步提高开源大模型处理数学任务的 CoT 推理能力，一种常见的方法是使用注释 / 生成的问题 - 推理数据对（ CoT 数据）对这些模型进行微调，这些数据