腾讯申请“大语言模型训练方法”专利,提升模型泛化能力与准确性

天眼查App显示,腾讯科技(深圳)有限公司近日申请了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。 这项专利的摘要揭示了该方法通过引入第一摘要文本和第二摘要文本,在大语言模型的训练过程中为模型提供更多可学习的信息。 根据专利描述,第一摘要文本和第二摘要文本所包含的信息量不同,其中第一摘要文本中还包含了正确语句和错误语句。

天眼查App显示,腾讯科技(深圳)有限公司近日申请了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。这项专利的摘要揭示了该方法通过引入第一摘要文本和第二摘要文本,在大语言模型的训练过程中为模型提供更多可学习的信息。

QQ20250210-103054.png

根据专利描述,第一摘要文本和第二摘要文本所包含的信息量不同,其中第一摘要文本中还包含了正确语句和错误语句。通过对同一文本的这两个不同摘要进行对比学习,并区分学习其中的正确语句与错误语句,能够有效避免摘要文本单一可能导致的模型过拟合和生成不准确等问题。

腾讯 (2)

该方法的创新之处在于提升了模型的泛化性能,并有效提高了模型的准确性。通过引入多样化的摘要文本内容,腾讯的这一训练方法为大语言模型的训练过程带来了更高效、更精准的提升。

相关资讯

腾讯发布大语言模型训练新专利,提升模型泛化与准确性

近日,腾讯科技(深圳)有限公司在天眼查 App 上公布了一项关于大语言模型的训练方法及相关设备的专利。 这项专利的名称为 “大语言模型的训练方法、装置、计算机设备及存储介质”,旨在通过创新的训练方式,提升大语言模型的学习能力和准确性。 在大语言模型的训练过程中,传统方法往往依赖于单一的文本摘要,可能导致模型过拟合,生成内容的准确性和多样性受到影响。

UC 伯克利等最新研究:大语言模型就是比人类啰嗦,“提问的艺术”仍难参透

不过由大模型给出的考题,和人类出的题目究竟有没有差别,以及有哪些差别?

英伟达免费推出 19 门 AI 课程,助力技术爱好者掌握前沿科技

在全球人工智能技术迅猛发展的背景下,英伟达近日宣布将免费向公众开放19门自定进度的 AI 技术课程,旨在帮助开发者和技术爱好者提升在 AI 与数据科学领域的技能。 这项举措不仅为学习者提供了珍贵的学习机会,同时也彰显了英伟达在推动 AI 教育方面的决心。 此次开放的课程覆盖五大领域:生成式 AI 与大语言模型(LLMs)、图形与仿真、加速计算、数据科学以及深度学习。