大模型推理

近年来，大言语模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种言语生成任务上的出色表现，大言语模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。然而，大言语模型的落地应用受到其较大的推理开消的限制，对部署资源、用户体验、经济成本都带来了巨大挑战。例如，将包含700亿参数量的LLaMA-2-70B模型进行部署推理，至少…