史上最难的大模型测试集来了！
包括o1在内，没有任何一个模型得分超过10%。
题目来自500多家机构的1000多名学者，最终入围的题目有3000多道，全部都是研究生及以上难度。
入选的问题涵盖了数理化、生物医药、工程和社会科学等多种学科，按细分学科来算则多达100余个。
官方更是将它称为“人类最后的考试”，AI安全中心主任Dan Hendrycks也用了这样的说法。
还有世界首位提示词工程师Riley Goodside表示，这才是考验顶尖模型的数据集该有的难度。
o1得分不到10%
如果按照大学科来算，入选的题目可以分为八大类，其中占比最多的是数学（42%），然后是物理和生物医药（均为11%）。
而且命题难度要求严格，必须要达到研究生难度，而且还要确保不能被检索到。
当然题目还应当有明确的答案和评判方式，证明等开放式问题不会入选。
具体难度，可以看几道例题来感受下（翻译由GPT-4o生成）。
其中有些题目，还会考察模型的视觉能力，比如解读这种上古文字。
有些题目还需要结合视觉信息和文本共同理解，比如在化学，特别是有机化学当中，需要用图来表示相关物质的结构。
还有数学题计算机科学的题目，对推理的要求很高：
除了这些需要一定推理的任务之外，也有题目单纯考察知识储备，当然并不代表难度低。
就算是对于领域内人士，这些题目也达到了研究生难度，对于一般人而言，可能连题都读不懂。
o1这样的强推理模型准确率只有9.1%，DeepSeek-R1也跻身到了英雄榜之中，不过不支持多模态，因此成绩是在纯文本子集上得到的。
但如果只比较纯文本任务，DeepSeek-R1依然位列第一，并且相比于o1的优势变得更明显了。
而在非推理模型当中，Gemini 1.5 Pro表现最好，然后是Claude 3.5 Sonnet和Grok 2，GPT-4哦排名垫底。
有模型答错，题目才能入选
这些题目不仅难度要求高，筛选的过程也十分严格。
这个项目由AI安全中心和Scale AI发起，命题者来自全世界500多家机构的，人数多达上千人。
涉及的机构包括高校、研究所和企业，还有来自医疗机构的学者，以及一些独立研究者等。
OpenAI、Anthropic、谷歌DeepMind以及微软研究院都包括在其中。
团队收集到的题目需要经历大模型和人工的双重审查。
第一轮筛选在大模型上进行，如果其中有大模型答错非选择题，或者选择题平均准确率低于随机猜测，则题目可以通过初筛。
在进行过7万多次尝试之后，有1.3万道题目进入了人工审核环节。
人工审核一共分两轮，第一轮是各个领域的专业人士（研究生以上学历），第二轮审核则由组织方以及第一轮中表现出色的审核员共同进行。
最终有三千多道题目入围，形成了一个较大的公共数据集和一个较小的私有数据集，这些题目来自500多家机构中的300余家，人数为600余人。
另外据介绍，每道入选题目根据评估情况，会给予命题人500-5000美元不等的奖励，也从侧面反应出了命题工作的复杂。（目前团队仍在接受新题目投稿，但不再发放奖金）
这样的一套超难测试集，如果让前两天深陷作弊传闻的o3挑战一下，说不定就能看出真实水平了。
项目主页：https://lastexam.ai/数据集：https://huggingface.co/datasets/cais/hle论文：https://lastexam.ai/paper
