AI在线 AI在线

OpenAI 新动态:改善微调 API,扩展定制模型计划

作者:故渊
2024-04-05 09:33
感谢OpenAI 公司近日发布新闻稿,宣布改善微调(fine-tuning)API,并进一步扩展定制模型计划。IT之家翻译新闻稿中关于微调 API 的相关改进内容如下基于 Epoch 的 Checkpoint Creation在每次训练 epoch(将训练数据集中的所有样本都过一遍(且仅过一遍)的训练过程)过程中,都自动生成一个完整的微调模型检查点,便于减少后续重新训练的需要,尤其是在过拟合(overfitting,指过于紧密或精确地匹配特定数据集,以至于无法良好地拟合其他数据或预测未来的观察结果的现象)的情况下。
感谢OpenAI 公司近日发布新闻稿,宣布改善微调(fine-tuning)API,并进一步扩展定制模型计划。

OpenAI 新动态:改善微调 API,扩展定制模型计划

IT之家翻译新闻稿中关于微调 API 的相关改进内容如下

基于 Epoch 的 Checkpoint Creation

在每次训练 epoch(将训练数据集中的所有样本都过一遍(且仅过一遍)的训练过程)过程中,都自动生成一个完整的微调模型检查点,便于减少后续重新训练的需要,尤其是在过拟合(overfitting,指过于紧密或精确地匹配特定数据集,以至于无法良好地拟合其他数据或预测未来的观察结果的现象)的情况下。

Comparative Playground

用于比较模型质量和性能的全新并排游乐场用户界面,允许对多个模型的输出进行人工评估,或根据单个提示词微调 snapshots。

第三方集成:

支持与第三方平台的集成(本周开始与 Weights and Biases 集成),让开发人员能够将详细的微调数据共享给堆栈的其他部分。

更全面的验证指标:

能够计算整个验证数据集(而不是抽样批次)的损失和准确性等指标,从而更好地了解模型质量。

Hyperparameter 配置

从仪表板配置可用超参数的功能(而非仅通过应用程序接口或 SDK)

改善微调控制面板

可以配置超参数、查看更详细的训练指标以及从以前的配置重新运行作业的功能。

扩展定制模型计划

OpenAI 为进一步扩展定制模型计划,还推出了辅助微调服务。开发者可以寻求 OpenAI 专业团队成员的帮助,针对特定领域训练和优化模型,附加 Hyperparameter 和各种参数高效微调 (PEFT) 方法。

相关标签:

相关资讯

Marvell 美满电子获得新 AI 芯片订单,到 2026 财年相关业务收入将达 25 亿美元

Marvell 美满电子在上周举办的一场有关 AI 基础设施领域的投资者活动上表示其新近获得了一份来自大型科技公司的 AI 芯片订单。Marvell 宣称,包括这份订单在内,其已从“四家美国超大型企业”中的三家拿下定制芯片订单,包括为客户 A 定制 AI 训练加速器和 AI 推理加速器,为客户 B 定制 Arm 架构 CPU 和近日的为客户 C 定制 AI 加速器。▲ 图源 Marvell 美满电子官方,下同Marvell 表示,客户 A 的 AI 训练加速器和客户 B 的 Arm 架构 CPU 已处于产能爬坡阶段
4/15/2024 11:24:18 AM
溯波(实习)

坚持做行业大模型,竹间智能给大模型造了一座「模型工厂」

企业被放在了开往大模型时代列车的驾驶座上。
7/3/2023 2:27:00 PM
机器之心

谷歌内部文件泄漏:谷歌、OpenAI都没有护城河,大模型门槛正被开源踏破

「我们没有护城河,OpenAI 也没有。」在最近泄露的一份文件中,一位谷歌内部的研究人员表达了这样的观点。
5/5/2023 2:47:00 PM
机器之心