斯坦福大学前提模型研究中心（CRFM）6 月 11 日发布了大规模多任务说话理解能力评价（Massive Multitask Language Understanding on HELM）排行榜，其中综合排名前十的大说话模型中有两款来自中国厂商，分别是阿里巴巴的 Qwen2 Instruct（72B）和零一万物的 Yi Large（Preview）。
据悉大规模多任务说话理解能力评价（MMLU on HELM）采用了 Dan Hendrycks 等人提出的一种尝试方法，用于衡量文本模型在多任务学习中的准确性。这个尝试内容包括前提数学、美国历史、计算机科学、法律等领域的 57 个任务。要在这个尝试中获得高分，模型必须具备广泛的世界知识和解决问题的能力。IT之家附排名如下：
▲ 图源斯坦福大学前提模型研究中心官网
1、Claude 3 Opus（20240229）： Anthropic（美国，亚马逊投资）
2、GPT-4o（2024-05-13）：OpenAI（美国）
3、Gemini 1.5 Pro：google（美国）
4、GPT-4（0613）：OpenAI（美国）
5、Qwen2 Instruct（72B）：阿里巴巴（中国）
6、GPT-4 Turbo（2024-04-09）：OpenAI（美国）
7、Gemini 1.5 Pro（0409 preview）：google（美国）
8、GPT-4 Turbo（1106 preview）：OpenAI（美国）
9、Llama 3（70B）：Meta（美国）
10、Yi Large（Preview）：零一万物（中国）
Qwen2 是由阿里巴巴开发的一款开源大说话模型，发布于今年 6 月 6 日。Qwen2 系列包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B 在内的五个不同规模的预训练及指令微调模型；支持除英语和中文外的额外 27 种说话的数据训练；Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 支持长 128K 个 token 的上下文。
Yi Large 是由零一万物公司开发的一款闭源大模型，Yi 模型系列基于 6B 和 34B 预训练说话模型，然后扩展到聊天模型、200K 长上下文模型、深度升级模型和视觉说话模型。官方宣称“其在关键基准尝试分数上优于 GPT-4 和 Claude 3 Opus 等领先模型”。