MLCommons 发布 PC AI 基准测试 MLPerf Client 首个公开版本 0.5

MLPerf Client 基准测试的诞生是 AMD、英特尔、微软、英伟达、高通和顶级 PC OEM 等利益相关方的合作成果。

开放式机器学习工程联盟 MLCommons 美国加州当地时间昨日宣布推出适用于衡量消费类 PC 的 AI 性能的 MLPerf Client 基准测试的 0.5 版本,这也是该测试的首个公开版本

MLCommons 发布 PC AI 基准测试 MLPerf Client 首个公开版本 0.5

MLCommons 表示 MLPerf Client 基准测试的诞生是 AMD、英特尔、微软、英伟达、高通和顶级 PC OEM 等利益相关方的合作成果,各方为该测试贡献了丰富的专业知识和资源。

MLPerf Client 基准测试 0.5 版本基于 Meta 的 Llama 2 7B 开源 LLM,包含四项 AI 任务(内容生成、创意写作、对两份不同长度文本的摘要),目前支持 DirectML ONNX 和 OpenVINO(仅限英特尔 GPU)两种加速路径。

该基准测试初期仅支持 Windows x86-64 设备,可在以下设备上运行:

  • AMD Radeon RX 7900 系列独立显卡;

  • 最低 8GB 显存的英特尔锐炫独显;

  • 最低 12GB 显存的英伟达 GeForce RTX 40 系独显;

  • 锐龙 AI 9 系列处理器(最低 32GB 内存);

  • 搭载英特尔锐炫核显的酷睿 Ultra 200 系处理器(最低 16GB 内存)。

MLCommons 表示 MLPerf Client 未来将支持 macOS 和 Windows on Arm 设备,同时还将支持额外的硬件加速路径并引入包含一系列 AI 模型的更广泛测试场景。

AI在线附 MLPerf Client v0.5 官网页面链接如下:

  • https://mlcommons.org/benchmarks/client/

相关资讯

内含超 100 万小时多语种录音,MLCommons 推出大型音频数据集

这一名为 the Unsupervised People's Speech 的数据集资源来自 Archive.org,整体规模超 48 TB,大部分内容属于美式英语。

UL Solutions 推出 AI 文本生成基准测试,支持英伟达、AMD、英特尔三家显卡

该基准测试目前包括 4 种参数规模不一的模型,分别为 Phi-3.5-mini、Mistral-7B、Llama-3.1-8B 和 Llama-2-13B。

“人类终极考试”基准测试发布:顶级 AI 系统表现惨淡,回答准确率均未超 10%

非营利组织“人工智能安全中心”(CAIS)与提供数据标注和 AI 开发服务的公司 Scale AI 联合推出了一个名为“人类终极考试”(Humanity's Last Exam)的新型基准测试,旨在评估前沿 AI 系统的综合能力。这一测试因其极高的难度引起关注。