代码大模型综述

涵盖500多项研究、50多个模型，代码大模型综述来了

本文带你全面洞悉用LLM写代码的各式方法。随着 BERT 和 GPT 等预训练 Transformer 的出现，语言建模近些年来取得了显著进步。随着大型语言模型（LLM）的规模扩展至数以千万计的参数数量，LLM 开始展现出通用人工智能的迹象，它们的应用也已经不局限于文本处理。Codex 首次展现出了 LLM 在代码处理方面的出色能力，之后更是出现了 GitHub Copilot 这样的商业产品以及 StarCoder 和 Code LLaMA 等开源代码模型。但是，预训练 Transformer 在代码处理方面的应