LM-Cocktail

随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。一方面，为了高其在标的义务的功能表现，研究者会收集和构建标的义务数据集并对大说话模型（LLM）举行微调，但这种方式通常会导致除标的义务以外的一般义务的功能明显下降，损害 LLM 原本具备的通用威力。另一方面，开源社区的模型逐渐增多，大模型开发者也可能在多次训练中累计了越来越多的模型…