Self-Play Fine-Tuning

本文旨在了解两种微调大型语言模型方法之间的差异：完全微调和低秩自适应 (LoRA)。 这两种方法都用于将预训练模型适应特定的下游任务，但它们却有所不同。 微调（Fine-tuning）是将经过预训练的大语言模型应用于下游任务的关键范例。

金庸武侠小说中有一门武学绝技：左右互搏；乃是周伯通在桃花岛的地洞里苦练十余年所创武功，初期想法在于左手与右手打架，以自娱自乐。而这种想法不仅能用来练武功，也能用来训练机器进修模型，比如前些年风靡一时的生成对抗网络（GAN）。进入现今的大模型 (LLM) 时代，又有钻研者发现了左右互搏的精妙用法！近日，加利福尼亚大学洛杉矶分校的保全全团队提出了一种新步骤 SPIN（Self-Play Fine-Tu…