学问蒸馏

大言语模型（Large Language Models, LLMs）在过去两年内迅速发展，涌现出一些现象级的模型和产品，如 GPT-4、Gemini、Claude 等，但大多数是闭源的。研究界目前能接触到的大部分开源 LLMs 与闭源 LLMs 存在较大差距，因此晋升开源 LLMs 及其他小模型的才能以减小其与闭源大模型的差距成为了该规模的研究热点。LLM 的强大才能，特别是闭源 LLM，使得科研…