SWE-Lancer
OpenAI 最新研究揭示：最先进的 AI 仍难以解决编码问题
近日，OpenAI 的研究人员在一篇新发布的论文中坦言，尽管目前的 AI 技术已经相当先进，但这些模型依然无法与人类程序员相媲美。 OpenAI 首席执行官山姆・阿尔特曼曾表示，预计到今年底，AI 将能够战胜 “低级” 软件工程师，但研究结果却显示，这些 AI 模型仍然面临重大挑战。 图源备注：图片由AI生成，图片授权服务商Midjourney在研究中，OpenAI 团队使用了一种名为 SWE-Lancer 的新基准测试，评估了从自由职业网站 Upwork 上提取的1400多项软件工程任务的表现。
OpenAI最新基准测试:AI编程能力达人类四分之一，显现局限性
OpenAI近日发布了一项重要的AI编程能力评估报告，通过价值100万美元的实际开发项目揭示了AI在软件开发领域的现状。 这项名为SWE-Lancer的基准测试涵盖了1，400个来自Upwork的真实项目，全面评估AI在直接开发和项目管理两大领域的表现。 测试结果显示，表现最佳的AI模型Claude3.5Sonnet在编码任务中的成功率为26.2%，在项目管理决策方面达到44.9%。
Claude挣钱强于o1！OpenAI开源百万美元编码基准，检验大模型钞能力
昨天，AI 圈可以说非常热闹。 中午，马斯克 xAI 发布了地表最强旗舰大模型 Grok-3；下午，DeepSeek 梁文锋亲自挂名的论文公开了全新注意力架构 NSA。 这下子，OpenAI 坐不住了，推出并开源了一个真实的、用于评估 AI 大模型编码性能的全新基准 SWE-Lancer。
OpenAI 推出 SWE-Lancer 基准测试:评估真实世界自由软件工程工作的模型性能
在软件工程领域，随着挑战的不断演变，传统的基准测试方法显得力不从心。 自由职业的软件工程工作复杂多变，远不止是孤立的编码任务。 自由职业工程师需要处理整个代码库，集成多种系统，并满足复杂的客户需求。
- 1