teacher

自香农在《通信的数学原理》一书中提出「下一个 token 展望恣意」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 展望的讨论日趋激烈。然而，越来越多的人以为，以下一个 token 的展望为宗旨只能得到一个优秀的「即兴表演艺术家」，并不能真正模拟人类思维。人类会在执行计划之前在头脑中从事细致的想象、策划和回溯。遗憾的是，这类策略并没有明确地构建在当今语言模型的框架中。对…