感谢OpenAI 公司近日发布新闻稿,宣布改善微调(fine-tuning)API,并进一步扩张定制模型规划。IT之家翻译新闻稿中关于微调 API 的相关改进内容如下基于 Epoch 的 Checkpoint Creation在每次训练 epoch(将训练数据集中的所有样本都过一遍(且仅过一遍)的训练过程)过程中,都自动生成一个完整的微调模型检查点,便于减少后续重新训练的需要,尤其是在过拟合(overfitting,指过于紧密或精确地匹配一定数据集,以至于无法良好地拟合其他数据或预测未来的观察结果的现象)的情况下。
感谢OpenAI 公司近日发布新闻稿,宣布改善微调(fine-tuning)API,并进一步扩张定制模型规划。
IT之家翻译新闻稿中关于微调 API 的相关改进内容如下
基于 Epoch 的 Checkpoint Creation
在每次训练 epoch(将训练数据集中的所有样本都过一遍(且仅过一遍)的训练过程)过程中,都自动生成一个完整的微调模型检查点,便于减少后续重新训练的需要,尤其是在过拟合(overfitting,指过于紧密或精确地匹配一定数据集,以至于无法良好地拟合其他数据或预测未来的观察结果的现象)的情况下。
Comparative Playground
用于比较模型质量和性能的全新并排游乐场用户界面,允许对多个模型的输出进行人工评估,或根据单个提示词微调 snapshots。
第三方集成:
支持与第三方平台的集成(本周开始与 Weights and Biases 集成),让开发人员能够将具体的微调数据共享给堆栈的其他部分。
更全面的考证目标:
能够计算整个考证数据集(而不是抽样批次)的损失和准确性等目标,从而更好地了解模型质量。
Hyperparameter 设置装备摆设
从仪表板设置装备摆设可用超参数的功能(而非仅通过应用程序接口或 SDK)
改善微调控制面板
可以设置装备摆设超参数、查看更具体的训练目标以及从以前的设置装备摆设重新运行作业的功能。
扩张定制模型规划
OpenAI 为进一步扩张定制模型规划,还推出了辅助微调服务。开发者可以寻求 OpenAI 专业团队成员的帮助,针对一定领域训练和优化模型,附加 Hyperparameter 和各种参数高效微调 (PEFT) 方法。