AI 对齐
人类自身都对不齐，怎么对齐AI？新研究全面审视偏好在AI对齐中的作用
让 AI 与人类价值观对齐一直都是 AI 领域的一大重要且热门的研究课题，甚至很可能是 OpenAI 高层分裂的一大重要原因 ——CEO 萨姆・奥特曼似乎更倾向于更快实现 AI 商业化，而以伊尔亚・苏茨克维（Ilya Sutskever）为代表的一些研究者则更倾向于先保证 AI 安全。但人类真的能让 AI 与自己对齐吗？近日，来自麻省理工学院、加州大学伯克利分校、伦敦大学学院、剑桥大学的一个四人团队研究发现，人类尚且难以对齐，也就更难以让 AI 与自己对齐了。
在对齐 AI 时，为什么在线方法总是优于离线方法？
在线和离线对齐算法的性能差距根源何在？DeepMind实证剖析出炉在 AI 对齐问题上，在线方法似乎总是优于离线方法，但为什么会这样呢？近日，Google DeepMind 一篇论文试图通过基于假设验证的实证研究给出解答。论文标题：Understanding the performance gap between online and offline alignment algorithms论文地址：（RLHF）随着大型语言模型（LLM）发展而日渐成为一种用于 AI 对齐的常用框架。不过近段时间，直接偏好优化（DP
- 1