AI在线 AI在线

LM-Cocktail

像调鸡尾酒一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略

像调鸡尾酒一样调制多技能大模型，智源等机构发布LM-Cocktail模型治理策略
随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务以外的一般任务的性能明显下降，损害 LLM 原本具备的通用能力。另一方面，开源社区的模型逐渐增多，大模型开发者也可能在多次训练中累计了越来越多的模型，每个模型都具有各自的优势，如何选择合适的模型执行任务或进一步微调反而成为一个问题。近日，智源研究院信息检索与知识计算组
12/11/2023 3:47:00 PM
机器之心
  • 1