评估 - AI在线

Anthropic新研究：用统计思维评估大模型

目前，评估大模型的方法就是比在基准测试中的数值，在于突出SOTA结果，并未充分考虑统计显著性。例如，在对不同模型进行评估时，若仅依据表面的得分高低判断优劣，而不考虑数据的不确定性和变异性，可能会得出不准确的结论。所以，Anthropic提出了将严谨的统计思维引入大模型评估领域。

智能体模拟《西部世界》一样的社会，复旦大学等出了篇系统综述

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。

上交大o1复现新突破：蒸馏超越原版，警示AI研发"捷径陷阱"

中国科大、科大讯飞团队开发ChemEval：化学大模型多层次多维度能力评估的新基准

编辑｜ ScienceAI近日，认知智能全国重点实验室、中国科学技术大学陈恩红教授团队，科大讯飞研究院 AI for Science 团队发布了论文《ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models》，介绍了新研发的一个面向化学领域大模型能力的多层次多维度评估框架 ChemEval。论文链接: : （NLP）的领域中，大语言模型（LLMs）已经成为推动语言理解与生成能力不断进步的强大引擎。随着这些

OpenAI 发布 MMMLU 数据集：更广、更深评估 AI 模型，支持简体中文

科技媒体 marktechpost 昨日（9 月 23 日）发布博文，报道称 OpenAI 在 Hugging Face 上发布了多语言大规模多任务语言理解（MMMLU）数据集。背景随着语言模型日益强大，评估其在不同语言、认知和文化背景下的能力已成为当务之急。OpenAI 决定推出 MMMLU 数据集，通过提供强大的多语言和多任务数据集，来评估大型语言模型（LLMs）在各种任务中的性能，从而应对这一挑战。MMMLU 数据集简介MMMLU 数据集包含一系列问题，涵盖各种主题、学科领域和语言。其结构旨在评估模型在不同研

IDC 首次发布移动端 AI 大模型应用报告：百度文心一言发展较全面、抖音豆包用户活跃度表现出色

市场调查机构 IDC 昨日（9 月 2 日）首次发布了移动端大模型应用市场竞争力分析研究报告，评估了市场上 8 款热门 Chatbot 聊天机器人模型，并分析、洞察了相关 AI 模型的性能和特征。AI在线附上本次评估的 8 款 Chatbot App 如下（按照公司拼音首字母顺序排列）：kimi 智能助手豆包海螺 AI天工通义文心一言讯飞星火智谱清言评估方案该评估模型初版主要聚焦于利用现有 App 相关的数据来剖析市场现状，揭示 Chatbot 在实际应用场景中的表现与局限。具体指标包括：市场影响力、用户活跃度、用

OpenAI 推出 SWE-bench Verified 基准，更准确评估 AI 模型代码生成表现

感谢OpenAI 公司于 8 月 13 日发布新闻稿，宣布推出 SWE-bench Verified 代码生成评估基准，解决了此前的局限性问题，能够更准确地评估人工智能模型在软件工程任务中的表现。SWE-benchAI在线注：SWE-Bench 是一个用于评估 LLM 解决 GitHub 上真实软件问题能力的基准测试数据集。它收集了来自 12 个流行的 Python 仓库的 2294 个 Issue-Pull Request 对。在测试时，LLM 会拿到一个代码库和 issue 描述，然后生成一个补丁来解决 iss

OpenAI 发布 GPT-4o 模型卡：概述 AI 安全和风险缓解措施

OpenAI 公司于 8 月 8 日发布报告，概述了 GPT-4o 模型的系统卡（System Card），介绍了包括外部红队（模拟敌人攻击）、准备框架（Preparedness Framework）在内的诸多细节。OpenAI 表示 GPT-4o 模型的核心就是准备框架（Preparedness Framework），这是一种评估和降低人工智能系统相关风险的系统方法。AI在线从报道中获悉，该框架主要用于识别网络安全、生物威胁、说服和模型自主性等领域的潜在危险。除了针对 GPT-4 和 GPT-4V 进行的安全评估

Meta 推出“自学评估器”：无需人工注释改善评估，性能超 GPT-4 等常用 AI 大语言模型评审

Meta 公司为了缓解自然语言处理（NLP）技术依赖人类注释评估 AI 模型的问题，最新推出了“自学评估器”（Self-Taught Evaluator），利用合成数据训练 AI。NPU 技术挑战NPU 技术的发展，推动大型语言模型（LLMs）高精度地执行复杂的语言相关任务，实现更自然的人机交互。不过当前 NPU 技术面临的一个重要挑战，就是评估模型严重依赖人工注释。人工生成的数据对于训练和验证模型至关重要，但收集这些数据既费钱又费时。而且随着模型的改进，以前收集的注释可能需要更新，从而降低了它们在评估新模型时的效

研究：AI 测谎能力比人类更强，但会对社会交往造成影响

德国维尔茨堡大学当地时间 12 日公布的最新研究显示，在假新闻、政治家的可疑言论和被操纵的视频日益泛滥的时代，人工智能在测谎方面的表现比人类更佳。图源 Pixabay来自维尔茨堡、杜伊斯堡、柏林和图卢兹的研究人员探讨了 AI 在检测谎言方面的有效性及其对人类行为的影响。这项研究的主要发现可以总结如下：在基于文本的谎言检测中，AI 的准确性优于人类。没有 AI 的支持，人们不愿指责他人撒谎。在 AI 的支持下，人们更有可能表达对遇到谎言的怀疑。只有大约三分之一的研究参与者会利用向 AI 询问评估的机会。然而，大多数人

代码大模型安全规范正式定稿：百度阿里小米 vivo 等参与，中国信通院启动首轮评估

近年来，代码大模型已成为企业研发人员辅助编程必备助手，能够生成、翻译、补全代码，帮助定位和修复错误。然而，代码大模型背后隐藏的风险挑战还有待讨论。中国信息通信研究院（以下简称“中国信通院”）依托中国人工智能产业发展联盟（AIIA），联合业内近 30 家单位共同编制了《代码大模型安全风险防范能力要求及评估方法》规范（简称“规范”），聚焦代码大模型的安全能力，从基础功能出发，评估代码大模型的基础能力和安全风险防范能力。2024 年 6 月 18 日，规范第三次研讨会成功举办，对规范内容做出进一步的完善和修订，现已完成定

CoT提出者Jason Wei：大模型评估基准的「七宗罪」

Jason Wei 是思维链提出者，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 进行工作。在 CV 领域，研究者一直把李飞飞等人创建的 ImageNet 奉为模型在下游视觉任务中能力的试金石。在大模型时代，我们该如何评估 LLM 性能？现阶段，研究者已经提出了诸如 MMLU、GSM8K 等一些评估基准，不断有 LLM 在其上刷新得分。但这些评估基准真的完美吗？思维链提出者 Jason Wei 在一篇博客中进行了深入的研究。Jason Wei 首先列举了几种成

每年节省 2000 多万美元，美国得州率先利用 AI 阅卷给学生评分

感谢得克萨斯州成为美国首个公开采用人工智能阅卷评分的州。得州近日宣布学术准备评估（STAAR）考试中笔试部分将使用“自动评分引擎”给学生打分。IT之家注：STAAR 是在每学年结束时，美国得州针对 3 至 12 年级公立学校学生，评估其能力的考试。STAAR 考试基于得州课程标准，涵盖包括阅读，写作，数学，科学和社会学在内的核心科目。美国得州于 2023 年开始推进 STAAR 考试改革，修订后的考试减少了选择题，开放式问题数量是此前的 7 倍。TEA 学生评估主管 Jose Rios 表示未来的考试尽可能推行开放

大模型增速远超摩尔定律！MIT 最新研究：人类快要喂不饱 AI 了

【新智元导读】近日，来自 MIT （麻省理工学院）的研究人员发表了关于大模型能力增速的研究，结果表明，LLM 的能力大约每 8 个月就会翻一倍，速度远超摩尔定律！硬件马上就要跟不上啦！我们人类可能要养不起 AI 了！近日，来自 MIT FutureTech 的研究人员发表了一项关于大模型能力增长速度的研究，结果表明：LLM 的能力大约每 8 个月就会翻一倍，速度远超摩尔定律！论文地址：的能力提升大部分来自于算力，而摩尔定律代表着硬件算力的发展，—— 也就是说，随着时间的推移，终有一天我们将无法满足 LLM 所需要