AI在线 AI在线

基准测试

​OpenAI 推出 SWE-Lancer 基准测试:评估真实世界自由软件工程工作的模型性能

​OpenAI 推出 SWE-Lancer 基准测试:评估真实世界自由软件工程工作的模型性能
在软件工程领域，随着挑战的不断演变，传统的基准测试方法显得力不从心。 自由职业的软件工程工作复杂多变，远不止是孤立的编码任务。 自由职业工程师需要处理整个代码库，集成多种系统，并满足复杂的客户需求。
2/18/2025 4:55:00 PM
AI在线
“人类终极考试”基准测试发布：顶级 AI 系统表现惨淡，回答准确率均未超 10%

“人类终极考试”基准测试发布：顶级 AI 系统表现惨淡，回答准确率均未超 10%
非营利组织“人工智能安全中心”（CAIS）与提供数据标注和 AI 开发服务的公司 Scale AI 联合推出了一个名为“人类终极考试”（Humanity's Last Exam）的新型基准测试，旨在评估前沿 AI 系统的综合能力。这一测试因其极高的难度引起关注。
1/24/2025 4:27:49 PM
远洋
MLCommons 发布 PC AI 基准测试 MLPerf Client 首个公开版本 0.5

MLCommons 发布 PC AI 基准测试 MLPerf Client 首个公开版本 0.5
MLPerf Client 基准测试的诞生是 AMD、英特尔、微软、英伟达、高通和顶级 PC OEM 等利益相关方的合作成果。
12/12/2024 3:12:14 PM
溯波（实习）
UL Solutions 推出 AI 文本生成基准测试，支持英伟达、AMD、英特尔三家显卡

UL Solutions 推出 AI 文本生成基准测试，支持英伟达、AMD、英特尔三家显卡
该基准测试目前包括 4 种参数规模不一的模型，分别为 Phi-3.5-mini、Mistral-7B、Llama-3.1-8B 和 Llama-2-13B。
12/11/2024 2:17:40 PM
溯波（实习）
14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？

14 项任务测下来，GPT4V、Gemini等多模态大模型竟都没什么视觉感知能力？
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]年，以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型（Multimodal LLMs）已经在文本和图像等多模态内容处理方面表现出了空前的能力
5/11/2024 10:45:00 AM
机器之心
  • 1