AI在线 AI在线

RLHF模型

RLHF模型普遍存在「阿谀奉承」，从Claude到GPT-4无一幸免

RLHF模型普遍存在「阿谀奉承」，从Claude到GPT-4无一幸免
AI 助手经过训练，可以给出人类喜欢的回答，该研究表明，这些 AI 系统通常会产生奉承人类的响应，但这些响应并不完全准确。通过分析表明，人类的反馈有助于这种行为。不管你是身处 AI 圈还是其他领域，或多或少的都用过大语言模型（LLM），当大家都在赞叹 LLM 带来的各种变革时，大模型的一些短板逐渐暴露出来。例如，前段时间，Google DeepMind 发现 LLM 普遍存在「奉承（ sycophantic ）」人类的行为，即有时人类用户的观点客观上不正确，模型也会调整自己的响应来遵循用户的观点。就像下图所展示的，
10/25/2023 11:49:00 AM
机器之心
  • 1