AI 对齐

人类自身都对不齐,怎么对齐AI?新研究全面审视偏好在AI对齐中的作用

让 AI 与人类价值观对齐一直都是 AI 领域的一大重要且热门的研究课题,甚至很可能是 OpenAI 高层分裂的一大重要原因 ——CEO 萨姆・奥特曼似乎更倾向于更快实现 AI 商业化,而以伊尔亚・苏茨克维(Ilya Sutskever)为代表的一些研究者则更倾向于先保证 AI 安全。但人类真的能让 AI 与自己对齐吗?近日,来自麻省理工学院、加州大学伯克利分校、伦敦大学学院、剑桥大学的一个四人团队研究发现,人类尚且难以对齐,也就更难以让 AI 与自己对齐了。

在对齐 AI 时,为什么在线方法总是优于离线方法?

在线和离线对齐算法的性能差距根源何在?DeepMind实证剖析出炉在 AI 对齐问题上,在线方法似乎总是优于离线方法,但为什么会这样呢?近日,Google DeepMind 一篇论文试图通过基于假设验证的实证研究给出解答。论文标题:Understanding the performance gap between online and offline alignment algorithms论文地址:(RLHF)随着大型语言模型(LLM)发展而日渐成为一种用于 AI 对齐的常用框架。不过近段时间,直接偏好优化(DP
  • 1