AI在线 AI在线

偏好

什么样的偏好，才叫好的偏好？——揭秘偏好对齐数据的「三驾马车」

什么样的偏好，才叫好的偏好？——揭秘偏好对齐数据的「三驾马车」
论文有两位共同一作。 何秉翔，清华大学博士一年级，研究方向为大语言模型对齐、强化学习。 张文斌，哈尔滨工业大学博士一年级，研究方向为自然语言处理。
4/15/2025 10:51:00 AM
机器之心
英伟达开源模型 Nemotron-70B 超越 GPT-4o 和 Claude 3.5，仅次于 OpenAI o1

英伟达开源模型 Nemotron-70B 超越 GPT-4o 和 Claude 3.5，仅次于 OpenAI o1
刚刚，英伟达开源了超强模型 Nemotron-70B，后者一经发布就超越了 GPT-4o 和 Claude 3.5 Sonnet，仅次于 OpenAI o1！AI 社区惊呼：新的开源王者又来了？业内直呼：用 Llama 3.1 训出小模型吊打 GPT-4o，简直是神来之笔！
10/17/2024 10:48:31 PM
问舟
模型偏好只与大小有关？上交大全面解析人类与32种大模型偏好的定量组分

模型偏好只与大小有关？上交大全面解析人类与32种大模型偏好的定量组分
在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务的复杂性且通常没有标准答案，则通常直接以人类标注者或高性能大模型（LLM-as-a-Judge）的偏好标注作为评判标准。尽管上述对偏好数据的应用已经取得了广泛的成效，但对偏好本身则缺乏充足的研究，这很大程度上阻碍了对更可信 AI 系统的构建。为此，上海交通大学生成式
3/4/2024 11:13:00 AM
机器之心
AAAI 2021 | 投票的平滑复杂度

AAAI 2021 | 投票的平滑复杂度
本文是第三十五届人工智能大会（AAAI 2021）入选论文《The Smoothed Complexity of Computing Kemeny and Slater Rankings》的解读。
7/18/2022 5:02:00 PM
北京大学前沿计算研究中心
  • 1