中国移动、电子标准院及 16 家重点央企发布《通用大模型评测标准》

感谢AI在线从中国移动官方获悉,在今天召开的 2024 中国移动全球合作伙伴大会期间,中国移动联合电子标准院及 16 家重点央企共同开展大模型评测体系建设工作,并发布《通用大模型评测标准》。据介绍,该标准是大模型评测体系建设的重要成果,为产业界遴选优质大模型提供重要参考依据。第一阶段将围绕通用领域和 4 个重点行业领域,从评测标准制定、评测基地建设、评测试点应用等方面开展工作。
感谢AI在线从中国移动官方获悉,在今天召开的 2024 中国移动全球合作伙伴大会期间,中国移动联合电子标准院及 16 家重点央企共同开展大模型评测体系建设工作,并发布《通用大模型评测标准》。

中国移动、电子标准院及 16 家重点央企发布《通用大模型评测标准》

据介绍,该标准是大模型评测体系建设的重要成果,为产业界遴选优质大模型提供重要参考依据。第一阶段将围绕通用领域和 4 个重点行业领域,从评测标准制定、评测基地建设、评测试点应用等方面开展工作。

通用大模型评测标准基于“2-4-6”框架如下:

  • “2”:两类评测视角,以重点行业实际使用需求为导向,与国标对模型能力要求拉齐,将评测任务划分为理解和生成两类视角。

  • “4”:四类评测要素,从评测全生命周期中提取出评测工具、评测数据、评测方式和评测指标四类关键要素,确保评测工作可实施性。

  • “6”:六大评测维度,综合考虑大模型应用过程中的核心能力,设定功能性、准确性、可靠性、安全性、交互性和应用性六大维度。

相关资讯

工信部等四部门印发《国家人工智能产业综合标准化体系建设指南(2024 版)》

感谢工业和信息化部等四部门印发《国家人工智能产业综合标准化体系建设指南(2024 版)》(下称《指南》)。《指南》提出,到 2026 年,标准与产业科技创新的联动水平持续提升,新制定国家标准和行业标准 50 项以上,引领人工智能产业高质量发展的标准体系加快形成。开展标准宣贯和实施推广的企业超过 1000 家,标准服务企业创新发展的成效更加凸显。参与制定国际标准 20 项以上,促进人工智能产业全球化发展。IT之家附官方一图读懂内容如下:

工信部拟筹建人工智能、脑机接口标准化技术委员会

感谢工业和信息化部 7 月 1 日公示了人工智能标准化技术委员会筹建方案、脑机接口标准化技术委员会筹建方案,旨在满足产业发展和行业管理需要,进一步听取社会各界意见,公示时间为 2024 年 7 月 1 日~2024 年 7 月 30 日。人工智能标准化技术委员会筹建方案人工智能标准化技术委员会筹建方案拟定业务范围涵盖基础通用、基础支撑、算法模型、运维管理、安全治理等 5 方面:在基础通用方面,制定人工智能术语定义、评估测试、参考架构、运营运维等标准。在基础支撑方面,制定人工智能数据集、基础硬件、软件平台等标准。在算

国内首家人工智能标准化研究机构,北京人工智能标准化研究院揭牌成立

感谢AI在线从“北京亦庄”公众号获悉,在 8 月 25(昨)日的 2024 世界机器人大会人工智能赋能未来产业与组织发展论坛上,国内首家人工智能标准化研究机构 —— 北京人工智能标准化研究院揭牌成立,落地北京经济技术开发区。据介绍,北京人工智能标准化研究院将围绕人工智能前沿关键技术、行业场景应用、风险防范治理等领域开展全链条标准化研究。聚焦基础支撑和关键技术,开展包括算力、算法、数据等方面的标准研究;聚焦人工智能技术发展带来的潜在社会治理风险、伦理、准入等内容开展标准研究,确保人工智能安全、可靠、可控;聚焦标杆应用