GPT-4o 新版本突然上线,更强更便宜。能力全方位提升,ZeroEval 基准测试直接跃居第一。
输入和输出分别节省 50%、33%。四舍五入就是 API 降价啊。
token 输出扩展到 16k,此前支持 4k。
9.11 和 9.9 谁大这个问题,也能丝滑解决。
这是因为 OpenAI 给 API 中引入了结构化输出。通过 JSON 模式确保模型输出符合开发者定义的结构,能让模型变得更可靠安全。
最新版模型“GPT-4o-2024-08-06”在 JSON 模式评估中,得分 100%。相比之下,去年 6 月的版本得分还低于 40%。
在代码编辑方面,最新版本的基准得分和此前版本相同,但是现在成本只有原来的一半。
还有人发现,这个新版本是 OpenAI 在图像输入上最便宜的型号。
API 支持结构化输出
去年 OpenAI DevDay 上,官方正式给 GPT-4 引入了 JSON 模式,可以帮助开发者构建应用程序。
尽管 JSON 模式能提高模型可靠性,但是它并不能保证模型生成结果符合特定模式。
因此在这次更新中,OpenAI 在 API 中引入结构化输出,可以确保模型生成内容和开发者提供的 JSON 模式完全匹配。
主要形式有两种:
1、函数调用:通过在函数定义中设置 strict:true 来调用结构化输出。
此功能适用于所有模型型号,包括 gpt-4-0613 和 gpt-3.5-turbo-0613 等。当结构化输出被启用时,模型输出将匹配提供的工具定义。
2、response_format 参数新选项。
开发者可以通过 json_schema (response_format 参数的新选项) 提供 JSON 模式。
当模型不是调用工具,而是以结构化的方式响应用户时,这是有用的。该功能适用于 gpt-4o-2024-08-06 和 gpt- 4o-mini-2024-07-18。当 response_format 使用 strict: true 提供时,模型输出将与提供的模式匹配。
OpenAI 更新了 Python 和 Node SDK,支持本地的结构化输出功能。
此外,还强调了安全输出。新模式将遵循现有的安全规则,并引入了 refusal 字符串值来帮助开发者识别模型拒绝 unsafe 请求的情况。
结构化输出还可以用于动态生成用户界面、分离最终答案与推理过程、从非结构化数据中提取结构化数据等多种用例。
最后在价格方面,输入价格为 2.5 美元 / 100 万 token,输出价格为 10 美元 / 100 万 token。
由于新模型在输入和输出上能更节省,四舍五入也是降价了。
有人发现,这个新模型的输出没有上一版本那么冗长,成本上更可控。