E2STR

我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中进修，这种方式被称为「上下文进修」（In-context Learning）。这种上下文进修现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的本能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。那么，惯例大小的模型是否具备这种才能呢？为了探索小模型的上下文进修才…