中文互联网语料 AI 资源平台发布:27 个数据集、总量 2.7T

中国网络空间安全协会于 1 月 9 日发布公告,面向社会发布中文互联网语料资源平台,支持行业领域、内容模态、体量规模等多种标签分类,便于用户下载与使用。

中国网络空间安全协会于 1 月 9 日发布公告,面向社会发布中文互联网语料资源平台,支持行业领域、内容模态、体量规模等多种标签分类,便于用户下载与使用。

该协会表示在中央网信办指导下,会同国家互联网应急中心,在前期发布中文互联网基础语料 1.0 的基础上,依托专委会建立的语料共建共享机制,汇聚一批新的高质量可信数据,经过信源筛选、内容过滤、数据去重等一系列严格细致的数据加工处理措施,形成并对社会发布中文互联网基础语料 2.0,规模 120GB,数据 3800 万条。

中文互联网语料 AI 资源平台发布:27 个数据集、总量 2.7T

AI在线注:目前平台共入驻 27 个语料数据集,数据总量约 2.7T,主要分三类:

  • 一是中国网络空间安全协会会同国家互联网应急中心等建设的中文互联网基础语料;

  • 二是人民网、北京智源研究院、上海人工智能实验室等单位共享的互联网语料;

  • 三是中国网络空间研究院、中国国家版本馆、中国大百科全书出版社、中国社会科学院图书馆等单位贡献的优质中文基础语料样本。

用户登录中国网络空间安全协会网站(https://www.cybersac.cn/ newhome),点击“中文互联网语料资源平台”链接,通过注册、认证等程序,即可下载相关语料。

网安协会人工智能安全治理专委会负责人表示,数据是发展人工智能的基础关键资源,中文互联网基础语料 2.0 是各界协同共建高质量中文语料的又一重要成果,专委会将持续加强中文互联网基础语料建设,为人工智能技术创新和产业发展提供有力支撑和保障。

相关资讯

探索大语言模型垂直化训练技术和应用-陈运文

内容来源:ChatGPT 及大模型专题研讨会 分享嘉宾:达观数据董事长兼CEO 陈运文博士分享主题:《探索大语言模型垂直化训练技术和应用》 转载自CSDN稿件本文整理自 3月11日 《ChatGPT 及大规模专题研讨会》上,达观数据董事长兼CEO 陈运文博士关于《探索大语言模型垂直化训练技术和应用》的分享,将介绍达观数据在大语言模型应用中的探索与思考。此次分享的主要内容分为 6 块,分别是:参数规模和数据规模的探索垂直领域适应预训练微调技术探索提示工程和垂直优化模型训练加速思路模型功能的垂直效能增强在探索大语言模型

B站开源轻量级 Index-1.9B 系列模型:2.8T 训练数据,支持角色扮演

B站昨日开源了轻量级 Index-1.9B 系列模型,包含基座模型、对照组、对话模型、角色扮演模型等多个版本。IT之家附官方简介:Index-1.9B base : 基座模型,具有 19 亿非词嵌入参数量,在 2.8T 中英文为主的语料上预训练,多个评测基准上与同级别模型比处于领先。Index-1.9B pure : 基座模型的对照组,与 base 具有相同的参数和训练策略,不同之处在于严格过滤了该版本语料中所有指令相关的数据,以此来验证指令对 benchmark 的影响。Index-1.9B chat :基于 i

上海AI实验室开源发布高质量语料“万卷CC”

近日,上海人工智能实验室(上海AI实验室)发布新一代高质量大模型预训练语料“万卷CC”(WanJuan-CC),首批开源的语料覆盖过去十年互联网上的公开内容,包含1千亿字符(100B token),约400GB的高质量英文数据。 作为“大模型语料数据联盟”今年首发的开源语料,WanJuan-CC将为学界和业界提供大规模、高质量的数据支撑,助力构建更智能可靠的AI大模型。 预训练数据的质量对大模型整体性能至关重要。