“恶化咒骂”

我们是否正在掉入中等智能陷阱？一个关于大言语模型 “恶化咒骂” 的分析与缓解方法。来自中国人民大学的钻研者将 Llama 等因果言语模型所遭遇的 “恶化咒骂” 归咎于 next-token prediction causal language model 的本质缺陷，并发现 GLM 选择的自回归填空的训练方法对这种 “恶化咒骂” 显示出更强的鲁棒性。通过将双向注意力机制引入 Llama 模型进行微…