张俊林:OpenAI o1的价值意义及强化学习的Scaling Law
蹭下热度谈谈 OpenAI o1 的价值意义及 RL 的 Scaling law。一、OpenAI o1 是大模型的巨大进步我觉得 OpenAI o1 是自 GPT 4 发布以来,基座大模型最大的进展,逻辑推理能力提升的效果和方法比预想的要好,GPT 4o 和 o1 是发展大模型不同的方向,但是 o1 这个方向更根本,重要性也比 GPT 4o 这种方向要重要得多,原因下面会分析。为什么说 o1 …- 5
- 0
电力、芯片制造、数据和延迟成四大限制因素,Scaling Law能续到2030年吗?
近年来,人工智能模型的能力显著提高。其中,计算资源的增长占了人工智能性能提升的很大一部分。规模化带来的持续且可预测的提升促使人工智能实验室积极扩大训练规模,训练计算以每年约 4 倍的速度增长。从这个角度来看,人工智能训练计算的增长速度甚至超过了近代史上一些最快的技术扩张。它超过了移动电话采用率(1980-1987 年,每年 2 倍)、太阳能装机容量(2001-2010 年,每年 1.5 倍)和人类…- 3
- 0
分歧数据集有分歧的Scaling law?而你可用一个紧缩算法来预计它
一般而言,训练神经网络耗费的盘算量越大,其性能就越好。在扩大盘算规模时,必须要做个决定:是增多模型参数目还是提升数据集巨细 —— 必须在固定的盘算预算下权衡此两项因素。Scaling law 告诉我们:只要能适当地分配参数和数据,就能在固定盘算预算下实现性能最大化。之前已有不少研究探索过神经说话模型的 Scaling law,而这些研究通常得出的结论是参数和训练 token 数应当一比一地扩展。但…- 5
- 0
大模型Scaling Law同样适用于上游工作机能?斯坦福、谷歌最新研究揭秘
大模型的成功很大程度上要归因于 Scaling Law 的存在,这一定律量化了模型机能与训练数据规模、模型架构等设计要素之间的关系,为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。以往的大量研究集中于上游复杂度或穿插熵受益的 Scaling law(即在预训练数据上举行评估),但在实际应用中,模型通常要经历一个迁徙学习的过程:首先在无监督数据上举行预训练,然后针对特定的上游工作(如编码或…- 5
- 0
Scaling Law
❯
个人中心
今日签到
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
- ¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!