Self-Play Fine-Tuning
LoRA、完全微调到底有何不同？MIT 21页论文讲明白了
本文旨在了解两种微调大型语言模型方法之间的差异：完全微调和低秩自适应 (LoRA)。 这两种方法都用于将预训练模型适应特定的下游任务，但它们却有所不同。 微调（Fine-tuning）是将经过预训练的大语言模型应用于下游任务的关键范例。
当LLM学会左右互搏，基础模型或将迎来集体进化
金庸武侠小说中有一门武学绝技：左右互搏；乃是周伯通在桃花岛的地洞里苦练十余年所创武功，初期想法在于左手与右手打架，以自娱自乐。而这种想法不仅能用来练武功，也能用来训练机器学习模型，比如前些年风靡一时的生成对抗网络（GAN）。进入现今的大模型 (LLM) 时代，又有研究者发现了左右互搏的精妙用法！近日，加利福尼亚大学洛杉矶分校的顾全全团队提出了一种新方法 SPIN（Self-Play Fine-Tuning），可不使用额外微调数据，仅靠自我博弈就能大幅提升 LLM 的能力。顾全全教授表示：「授之以鱼不如授之以渔：通过
- 1