LM

大型言语模型能否捕捉到它们所处理和生成的文本中的语义信息？这一问题在计算机科学和自然言语处理领域一直存在争议。然而，MIT的一项新研讨标明，仅基于文本形式训练、用于猜测下一个token的言语模型确实能学习和表示文本的意思。

进入正文之前，先考虑一下像 ChatGPT 这样的 Transformer 语言模型（LM）的 prompt：