作者:SuperCLUE团队 2024/07
自2023年以来,AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。进入2024年,全球大模型竞争态势日益加剧,随着GPT-4o、Claude3.5、Gemini1.5-pro和Llama3的发布,国内大模型同样在2024年上半年内进行了波澜壮阔的大模型追逐赛。中文大模型测评基准SuperCLUE持续对国内外大模型的发展趋势和综合效果进行了实时跟踪。
基于此,我们发布了《中文大模型基准测评2024上半年报告》,在AI大模型发展的巨大浪潮中,通过多维度综合性测评,对国内外大模型发展现状进行观察与思考。
在线完整报告地址(可下载):www.cluebenchmarks.com/superclue_24h1
报告核心内容摘要
摘要1:国内外大模型差距进一步缩小
国内外大模型差距进一步缩小:OpenAI最新模型GPT-4o依然是全球表现最好的模型,但国内大模型已将差距缩小至5%以内。
摘要2:国内开源模型崛起
本次登顶SuperCLUE的国内大模型为开源模型Qwen2-72B-Instruct,并且超过了众多国内外闭源模型。
摘要3:各任务表现
在文科、理科和Hard任务中,GPT-4o综合最佳,Claude-3.5在Hard任务表现突出,Qwen2-72B在文科任务表现优异。
摘要4:端侧小模型表现惊艳
端侧小模型进展迅速,部分小尺寸模型表现要好于上一代的稍大尺寸模型,极大提升了落地的可行性。
一、国内大模型关键进展
1. 2023年大模型关键进展与中文大模型全景图
国内学术和产业界在过去一年半也有了实质性的突破。大致可以分为三个阶段,即准备期(ChatGPT发布后国内产学研迅速形成大模型共识)、成长期(国内大模型数量和质量开始逐渐增长)、爆发期(各行各业开源闭源大模型层出不穷,形成百模大战的竞争态势)。
2. 2024年值得关注的中文大模型全景图
截止目前为止,国内已发布开源、闭源通用大模型及行业大模型已有上百个,SuperCLUE梳理了2024年值得关注的大模型全景图。
3. 2023-2024年度国内外大模型技术发展趋势
2023年5月至今,国内外大模型能力持续发展。其中GPT系列模型为代表的海外最好模型经过了从GPT3.5、GPT4、GPT4-Turbo、GPT4o的多个版本的迭代升级。国内模型也经历了波澜壮阔的14个月的迭代周期,其中Top1的模型经历了8次易主,不断提升国内模型的最强战力。
总体趋势上,国内外第一梯队大模型在中文领域的通用能力差距在持续缩小,从2023年5月的30.12%的差距,缩小至2024年6月的4.94%。
二、SuperCLUE通用能力测评
1. 中文大模型基准SuperCLUE介绍
中文语言理解测评基准CLUE(The Chinese Language Understanding Evaluation)是致力于科学、客观、中立的语言模型评测基准,发起于2019年。陆续推出CLUE、FewCLUE、KgCLUE、DataCLUE等广为引用的测评基准。
SuperCLUE是大模型时代CLUE基准的发展和延续。聚焦于通用大模型的综合性测评。SuperCLUE根据多年的测评经验,基于通用大模型在学术、产业与用户侧的广泛应用,构建了多层次、多维度的综合性测评基准。
传统测评与SuperCLUE的区别
SuperCLUE三大特征
1) 独立第三方测评,非大模型方主导
随着国内外大模型的竞争日益激烈,模型开发方主导的评测可能存在偏向自家产品的风险。与之形成鲜明对比的是,SuperCLUE作为一个完全独立的第三方评测机构,承诺提供无偏倚的客观评测结果。SuperCLUE采用先进的自动化评测技术,有效消除人为因素带来的不确定性,确保每一项评测都公正无私。
2) 测评方式与真实用户体验目标一致
不同于传统测评通过选择题形式的测评,SuperCLUE目标是与真实用户体验目标保持一致,所以纳入了开放主观问题的测评。通过多维度多视角多层次的评测体系以及对话的形式,模拟大模型的应用场景,真实有效的考察模型生成能力。
3) “Live”更新,测评体系/方法与时俱进
不同于传统学术领域的评测,SuperCLUE根据全球的大模型技术发展趋势,不断升级迭代测评体系、测评维度和方法,以保证尽可能精准量化大模型的技术演进程度。
2. SuperCLUE测评体系及数据集说明
为进一步真实反应大模型能力,本次半年度测评采用多维度、多层次的综合性测评方案,由理科、文科和Hard三大维度构成。
【理科任务】分为计算、逻辑推理、代码测评集;
【文科任务】分为知识百科、语言理解、长文本、角色扮演、生成与创作、安全和工具使用七大测评集;
【Hard任务】本次测评首次纳入精确指令遵循测评集,另外复杂多步推理和高难度问题解决Hard测评集后续陆续推出。
3. 测评模型列表
本次测评数据选取了SuperCLUE-6月测评结果,模型选取了国内外有代表性的33个大模型在6月份的版本。
4.SuperCLUE通用能力测评:一级总分
1)GPT-4o领跑,国内大模型进展迅速
- GPT-4o以81分的绝对优势领跑 SuperCLUE基准测试,是全球模型中唯一超过80分的大模型。展现出强大的语言、数理和指令遵循能力。
- 国内大模型上半年发展非常迅速,其中有6个国内大模型超过GPT-4-Turbo-0409。绝大部分闭源模型已超过GPT-3.5-Turbo-0125。
2)国内大模型形成三大梯队,头部企业引领发展
- 国内大模型市场形成多梯队格局,头部企业凭借快速迭代、技术积累或资源优势,引领国内大模型发展。例如大厂模型以阿里的Qwen2-72B、商汤的SenseChat5.0等均以 75+的分数位居国内大模型第一梯队。
- 大模型创业公司的代表如GLM-4、Baichuan4、Kimi、MiniMax-abab6.5均有超过70分的表现,位列国内大模型第一梯队。
3)开源模型极大发展,有超出闭源模型趋势
- 开源模型Qwen2-72B在SuperCLUE基准中表现非常出色,超过众多国内外闭源模型,与Claude-3.5持平,与GPT-4o仅差4分。
- 零一万物推出的Yi-1.5-34B在开源领域表现不俗,有超过60分的表现,较为接近部分闭源模型。
随着技术进步和应用场景拓展,2024年下半年国内外大模型市场竞争将持续加剧,推动技术创新和产业升级。
5.SuperCLUE通用能力测评:二级维度分数
6.SuperCLUE通用能力测评:三级细粒度分数
1)理科细粒度分数
2)文科细粒度分数
3)SuperCLUE细粒度全局分数
7.SuperCLUE模型象限
SuperCLUE评测任务可划分为基础能力和应用能力两个维度。
基础能力,包含:计算、代码、传统安全等能力。
应用能力,包括:工具使用、角色扮演等能力。
基于此,SuperCLUE构建了大模型四个象限,它们代表大模型所处的不同阶段与定位,其中【潜力探索者】代表模型正在技术探索阶段拥有较大潜力;【技术领跑者】代表模型聚焦基础技术研究;【实用主义者】代表模型在场景应用上处于领先定位;【卓越领导者】代表模型在基础和场景应用上处于领先位置,引领国内大模型发展。
8. 国内大模型SuperCLUE历届Top3
过去十一个月国内模型在SuperCLUE基准上的前三名。
9. SuperCLUE理科测评
1)测评数据集及方法说明
2)SuperCLUE理科成绩
a. GPT-4o领先,国内外有一定差距
- GPT-4o以81分的绝对优势领跑SuperCLUE基准理科测试,是全球模型中唯一超过80分的大模型。GPT-4-Turbo-0409得分77分,紧随其后。
- 国内大模型理科表现优异的模型,如Qwen2-72B、AndesGPT和山海大模型4.0稍落后于GPT-4-Turbo-0409,均取得76分的高分。但与GPT-4o还有较大差距。
b. 理科任务具有较高的挑战难度,区分度明显
- 理科任务有较高难度,我们可以发现,GPT-4o和GPT3.5-Turbo有17分的差距,Llama-3-70B比Llama-2-13B有34分的差距。
- 在国内闭源模型中,表现最高的模型(76分)和表现最差模型(58分)有18分的区分度。可见在理科任务上较能反应大模型之间的能力差距。
c. 小参数量模型在理科能力上表现不足
- 参数量较小的模型在SuperCLUE理科测评中,基本均为达到60分及格线,可见在难度较高任务上,参数量依然是影响较大的因素。
理科任务上主要包括计算、逻辑推理和代码任务,这几项将是国内外大模型在下半年重点突破的方向。
10. SuperCLUE文科测评
1)测评数据集及方法说明
2)SuperCLUE文科成绩
a. 国内外头部模型处于同一水平,均未达到80分良好线
- GPT-4o在文科任务上取得76分,并未超过80分,说明文科任务上实现高质量处理依然有较大提升空间。国内擅长文科的模型如Qwen2-72B、AndesGPT、通义千问2.5和 DeepSeek-V2同样取得76分,与GPT-4o处于同一水平。
- 另外国内大模型如SenseChat5.0、山海大模型4.0和360gpt2-pro取得75分,表现不俗。与GPT-4-Turbo-0409表现相当。
b. 文科任务模型间的区分度不明显,表现“中规中矩”
- 本次测评所有国内模型得分分布较为集中,没有较大的区分性,均处于及格线(60分)-良好线(80分)之间。
- 国内外闭源模型得分均处于70-80分,表现“中规中矩”,处理能力较为相似。
- 国内开源模型得分大部分处于60-70分,表现“基本可用”,但在质量上还有较大提升空间。
c. 模型参数量在文科能力上不是模型的决定性因素
- 本次测评中参数量最小的模型qwen2-1.5b(15亿参数量),依然有超过60分的表现,而qwen2-7b有超过70分的表现,与文心一言4.0表现接近。
文科任务上如何提高语言处理质量,增加内容生成和理解的优秀水平,是国内外大模型需要进一步优化的方向。
11. SuperCLUE-Hard测评
1)测评数据集及方法说明
2)SuperCLUE-Hard成绩
a. 国内外模型在精确指令遵循能力上有一定差距
- GPT-4o在Hard任务(精确指令遵循)任务上取得85分,领跑全球大模型。Claude-3.5-Sonnet-200k仅随其后取得84分,表现同样不俗。是国内外模型中唯二超过80分的大模型。
- 国内表现最好的模型是GLM-4-0520和Qwen2-72B,取得79分,较GPT-4o低6分,还有一定的提升空间。
b. 精确指令遵循有较大区分度
- 本次测评所有模型得分的差异性较大,超出80分只有2个模型,且与排名第三的模型有5分差距。
- 国内仅有4个模型超过了75分,分别为GLM-4-0520、Qwen2-72B、SenseChat5.0和DeepSeek-V2。在国内大模型中较为领先。
- 国内闭源模型中得分最低的仅有60分,这说明高难度任务可以进一步区分模型之间的能力差距。
c. 小模型普遍不擅长精确指令遵循
- 本次测评中参数量最小的开源模型qwen2-1.5b在精确指令遵循任务上仅有18分,并且小于10B的模型均为达到60分及格线,是端侧小模型后续需要重点提升的能力。
Hard任务如精确指令遵循,可以很好的考察大模型的极限能力,后续将陆续增加复杂任务高阶推理和高难度问题解决等Hard任务,会进一步发现大模型的优化方向。
12. SuperCLUE开源榜单
a. 中文场景国内开源模型具备较强竞争力
- Qwen2-72B领跑全球开源模型,较Llama-3-70B在中文能力上有较大领先性。
- Yi-1.5系列模型同样有不俗的表现,其中34B版本有超过60分的表现。
- 小参数量的模型发展迅速,如qwen2-1.5b与gemma-7b表现相当。
b. 在高难度任务上,不同的开源模型区分度较大。
- 在Hard任务中,Qwen2-72B和Llama-3-70B领先幅度很大,均有超出70分的表现。其他开源模型均未达到及格线。
Hard任务如精确指令遵循,可以很好的考察大模型的极限能力,后续将陆续增加复杂任务高阶推理和高难度问题解决等Hard任务,会进一步发现大模型的优化方向。
13. SuperCLUE端侧小模型榜单
2024年上半年小模型快速发展,可在设备端侧(非云)上本地运行,落地在不需要大量推理或需要快速响应的场景。
国内以qwen和Yi系列开源模型为代表,上半年进行了多次迭代。其中qwen2-7b(70亿参数)取得62分,打败了上一代版本的qwen1.5-32b(320亿参数),qwen2-1.5b(15亿参数)打败了Llama-2-13B-Instruct(130亿参数),展现了更小尺寸的模型的极致性能。
14. 大模型对战胜率分布图
我们统计了所有大模型在测评中与GPT4-Turbo-0409的对战胜率。模型在每道题上的得分与GPT4-Turbo-0409相比计算差值,得到胜(差值大于0.5分)、平(差值在-0.5~+0.5分之间)、负(差值低于-0.5)。
1)整体胜率表现
从整体对战来看,国外领先模型GPT-4o以20.47%的胜率,66.81%的和率占据第一位,显示出其强大的整体能力。紧随其后的是Qwen2-72B-Instruct,胜率为18.86%,和率为65.06%,也展现出优于GPT4-Turbo-0409的实力。同样有着较强实力的模型还有AndesGPT、通义千问2.5、DeepSeek-V2、山海大模型4.0和SenseChat5.0等模型。
2)小模型胜率情况
在200亿以内参数的模型中qwen-2-7b的胜率排在首位,展现出不俗能力。排在2至3位的是Baichuan2-13B-Chat-v2、Yi-1.5-6B-Chat,同样有50%以上的胜和率,表现可圈可点。
3)在基础题目上与GPT-4-Turbo-0409差距有限
从胜率分布数据可以发现,大部分模型的和率都在50%以上。这说明国内外大部分模型在基础题目上与GPT-4-Turbo-0409的水平相近,随着任务难度的提升,不同模型的表现会有一定区分度。
15. SuperCLUE成熟度指数
SuperCLUE成熟度指数用以衡量国内大模型在SuperCLUE能力上是否成熟。
1)高成熟度能力
- 高成熟度指大部分大模型普遍擅长的能力,SC成熟度指数在0.8至1.0之间。
- 当前国内大模型成熟度较高的能力是【生成创作】和 【语言理解】,也是目前产业和用户侧大模型的重点应用场景。
2)中成熟度能力
- 中成熟度指的是不同大模型能力上有一定区分度,但不会特别大。SC成熟度指数在0.6至0.8之间。
- 当前国内大模型中成熟度的能力是【角色扮演】、【传统安全】、【知识百科】、【工具使用】、【长文本】,还有一定优化空间。
3)低成熟度能力
- 低成熟度指的是少量大模型较为擅长,很多模型无法胜任。SC成熟度指数在0.6以下。
- 当前国内大模型低成熟度的能力是【计算】、【逻辑推理】、【代码】、【精确指令遵循】。尤其在Hard任务的精确指令遵循的成熟度仅有0.23,是非常有挑战性的大模型应用能力。
16. 评测与人类一致性验证
1) SuperCLUE VS Chatbot Arena
Chatbot Arena是当前英文领域较为权威的大模型排行榜,由LMSYS Org开放组织构建, 它以公众匿名投票的方式,对各种大型语言模型进行对抗评测。其中,皮尔逊相关系数:0.90,P值:1.22e-5;斯皮尔曼相关系数:0.85,P值:1.12e-4 ;说明SuperCLUE基准测评的成绩,与人类对模型的评估(以大众匿名投票的Chatbot Arena为典型代表),具有高度一致性。
2) 评测与人类一致性验证2:自动化评价可靠性的人工评估
为验证自动化评价的可靠性,SuperCLUE团队在进行正式测评之前,从2000+道题目中针对4个模型,每个模型随机抽取了100道题目进行人工复审。
审核内容及标准包括:
评价质量分为:优秀,良好 ,及格,不及格
完全不符合自己的判断:不及格(60以下)
基本符合自己的判断:及格(60或以上)或良好(75或以上)
特别符合自己的判断:评价的特别好:优秀(85或以上)
最后统计可靠性指标,将基本符合、特别符合的结果认定为是可靠性较高的评价。
最终各模型可靠性指标结果如下:
通过4个模型的可靠性分析验证,我们发现可靠性数据分别为91%、90%、99%、90%,其中可靠性最低有90%,最高为模型的99.00%。平均有92.5%的可靠性。
所以,经过验证,SuperCLUE自动化评价有较高的可靠性。
在线完整报告地址(可下载):
www.cluebenchmarks.com/superclue_24h1