RLHF模型

RLHF模型普遍存在「阿谀奉承」,从Claude到GPT-4无一幸免

AI 助手经过训练,可以给出人类喜欢的回答,该研究表明,这些 AI 系统通常会产生奉承人类的响应,但这些响应并不完全准确。通过分析表明,人类的反馈有助于这种行为。不管你是身处 AI 圈还是其他领域,或多或少的都用过大语言模型(LLM),当大家都在赞叹 LLM 带来的各种变革时,大模型的一些短板逐渐暴露出来。例如,前段时间,Google DeepMind 发现 LLM 普遍存在「奉承( sycophantic )」人类的行为,即有时人类用户的观点客观上不正确,模型也会调整自己的响应来遵循用户的观点。就像下图所展示的,
  • 1