奖励错误规约

当奖励成为漏洞：从对齐本质出发自动「越狱」大语言模型

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文第一作者为香港大学博士研究生谢知晖，主要研究兴趣为大模型对齐与强化学习。还记得 ChatGPT 著名的「奶奶漏洞」吗？让 ChatGPT 扮演奶奶，就能诱导它生成盗版软件序列号。除此之