感谢Hugging Face 联合创始人兼首席执行 Clem Delangue 于 6 月 26 日在 X 平台发布推文,表示阿里云开源的通义千问(Qwen)指令微调模型 Qwen2-72B 在开源模型排行榜上荣登榜首。
Hugging Face 公布了崭新的开源大谈话模型排行榜,通过 300 片英伟达 H100 GPU,重新运行 MMLU-pro 等标准评价目前支流的大谈话模型,并在其要点介绍中称 Qwen2-72B 为“王者”,并表示中国的诸多开源模型在榜单上有一席之位。
他表示,为了提供崭新的开源大模型排行榜,使用了 300 块 H100 对目前全球 100 多个支流开源大模型,例如,Qwen2、Llama-3、mixtral、Phi-3 等,在 BBH、MUSR、MMLU-PRO、GPQA 等基准测试集上进行了崭新评价。
阿里巴巴开源的 Qwen-2 72B 模型在激烈竞争中脱颖而出,不仅逾越了科技巨头 Meta 的 Llama-3,还逾越了法国知名大模型平台 Mistralai 的 Mixtral,成为了新的行业领军者。IT之家援引官方博文附上榜单排行如下:
排名新的榜单排名⭐Qwen/Qwen2-72B-Instruct2meta-llama/Meta-Llama-3-70B-Instruct3microsoft/Phi-3-medium-4k-instruct401-ai/Yi-1.5-34B-Chat5CohereForAI/c4ai-command-r-plus6abacusai/Smaug-72B-v0.17Qwen/Qwen1.5-110B8Qwen/Qwen1.5-110B-Chat9microsoft/Phi-3-small-128k-instruct1001-ai/Yi-1.5-9B-Chat