「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。
作为大数据规模超过十年的创业者，「星环科技」创始人及CEO孙元浩并不认同「大模型已经将人类互联网数据穷尽」的说法。
根据他的观察，如今在各行各业企业外部的数据还远远未被足够利用，人类在互联网上的存量数据远远大过目前大模型不妨利用的量级。拥有了这些来自各行各业外部高质量的数据，大模型可以在如今的基础上，大大提升准确性。
而关键问题就在于，怎样可以高效地开发这些数据？
大模型时代，语料的开发遇到了新的挑拨。孙元浩分享称，目前企业外部的数据往往多是非结构化的、海量的、不同形式的、以小文件居多的，同时标注和校正这些业余数据还有较高的门槛。这对文件系统、常识库系统、语料开发系统等都提出了新的要求。
比如，面对数据量巨大的问题，对企业外部各种文档、PPT的处置惩罚，意味着存储和计算资源有更高的要求；在数据多样性方面，对于企业外部不同类型的文档，如媒体文章、政府公文、设计文档等，都需要用训练模型举行识别和剖析，这就要求数据处置惩罚东西具备强大的多模态数据处置惩罚能力。
对于数据安全和隐私问题，在训练和推理的过程中，如何保证企业外部信息的保密与安全性，这对东西的安全把控也提出了新要求；业余数据标注人才问题方面，由于企业外部数据的处置惩罚往往是业余规模的标注，比如生物分子式或者业余金融术语，需要更业余的数据标注专家举行处置惩罚。
为了应对这些挑拨，孙元浩分享了星环科技的一些尝试：
1、升级大数据平台：对 Transwarp Data Hub 数据平台举行升级，使其不妨处置惩罚更多元化的数据，包括大量的文档和小文件。通过重构源数据管理节点和增加 POSIX 接口，提升了文件系统的支持能力和数据存储作用。
2、增加 Python 接口：在 Data hub 上增加 Python 接口，并将 Python 语言和库举行分布式化，以便在处置惩罚语料时使用 Python 语言举行清洗。这有助于提升语料处置惩罚的作用和灵活性。
3、推出分布式 Python 引擎：针对语料量通常为几十 T、上百 T 的情况，推出分布式 Python 引擎，提升了处置惩罚海量语料的能力和作用。
4、优化向量数据库：对向量数据库举行升级，提升召回准确度和分布式性能，使其不妨更好地支持大规模数据的处置惩罚和检索。
5、建立常识图谱：提供Transwarp Knowledge Studio for LLM常识东西来建立常识图谱，弥补向量召回的准确度不足。例如在设备维修场景中，将设备的故障数、归零报告等导入常识图谱，大模型在回答问题时可以在常识图谱上举行推理，从而提供更准确的答案。
6、开发语料开发东西：推出语料开发东西，包括语料的剖析、分类、清洗、标注、增强等功能，以及从语料中构造问答对和安全测试集。用于自动化或半自动化地处置惩罚各种文档类型、语音视频，将其转化为可用于大模型训练的高质量语料。
7、提供大模型东西链：提供大模型整套东西链，包括从语料生成到模型训练、常识库建立、应用开发、智能体建立的一系列过程，以及调度算力的东西。这有助于提升大模型应用的建立作用和管理能力。
8、建立 AI 原生应用：推出无涯·问知和无涯·问数等 AI 原生应用，实现企业外部信息检索和数据分析，提升数据处置惩罚的作用和便捷性。
9、支持多种模型和数据源：支持第三方模型，无论是开源还是商用，以及多种数据源，包括个人常识库、企业常识库、财经类数据库、法律法规数据库等，提升数据处置惩罚的灵活性和适应性。
基于这些，企业可以直接上传多种类型的资料，产品将快速剖析，形成企业自己的常识库。不过，将更多企业外部的数据开发释放并不是终点，孙元浩认为，提升语料质量是目前大模型在提升准确性上最大的挑拨。
「现在模型结构大家都不是秘密了，训练方法也不是秘密了，只是没有语料。语料存在于各种地方，因为工作非常巨大，都是巨大的体力活，这是目前最大的挑拨，不是之一，这是最大的挑拨。」
除此之外，在大模型落地实践中，孙元浩认为现阶段提升模型准确率的方法主要包括以下几种：
1、建立外挂常识库：将企业的资料、文章等剖析出来放到常识库中，让大模型参考常识库的内容举行写作或分析，这是一种快速提升模型准确率的方法。
2、微调模型：通过对大模型举行微调，使其不妨学习特定规模的常识和语言习惯，从而提升模型在该规模的准确率。
3、持续训练：对于金融等规模，需要持续地将大量的语料喂给大模型，以提升模型的精准度和回答金融问题的能力。
4、提供语料开发东西：开发语料开发东西，帮助企业整理和清洗语料，将其转化为适合大模型训练的格式，从而提升模型的准确率。
5、结合多种方法：可以将以上几种方法结合起来使用，如建立外挂常识库的同时，对模型举行微调或持续训练，以进一步提升模型的准确率。
孙元浩比喻道，过去一年一直讲大模型是个“文科生”，因为它能写作、生成；星环的目标是把大模型训练成一个理科生，希望它能做数学分析，不妨懂自然科学的各个规模、各个学科。通过星环科技AI Infra东西，企业不妨准确、高效地将拥有的多种来源的多模语料转换为高质量的业余规模常识，让企业构筑常识壁垒。