腾讯发布大语言模型训练新专利,提升模型泛化与准确性

近日,腾讯科技(深圳)有限公司在天眼查 App 上公布了一项关于大语言模型的训练方法及相关设备的专利。 这项专利的名称为 “大语言模型的训练方法、装置、计算机设备及存储介质”,旨在通过创新的训练方式,提升大语言模型的学习能力和准确性。 在大语言模型的训练过程中,传统方法往往依赖于单一的文本摘要,可能导致模型过拟合,生成内容的准确性和多样性受到影响。

近日,腾讯科技(深圳)有限公司在天眼查 App 上公布了一项关于大语言模型的训练方法及相关设备的专利。这项专利的名称为 “大语言模型的训练方法、装置、计算机设备及存储介质”,旨在通过创新的训练方式,提升大语言模型的学习能力和准确性。

在大语言模型的训练过程中,传统方法往往依赖于单一的文本摘要,可能导致模型过拟合,生成内容的准确性和多样性受到影响。然而,腾讯的新方法引入了两种不同的信息来源 —— 第一摘要文本和第二摘要文本。这两个摘要文本的信息量不同,且第一摘要文本中包含了正确与错误的语句,形成了对比学习的基础。

专利

这种对比学习方式使得模型可以在同一文本的不同摘要中进行学习,通过区分第一摘要文本中的正确与错误语句,有效地避免了因为摘要单一而带来的学习误差。这种创新方法不仅提升了模型的泛化能力,使其在面对未知数据时能够表现得更加出色,同时也增强了模型的准确性,减少了生成错误内容的概率。

随着人工智能技术的不断进步,大语言模型的应用范围愈加广泛,从自然语言处理到智能客服,再到内容创作等领域,均显现出巨大的潜力。腾讯这一专利的公布,标志着在大语言模型训练领域的又一次技术突破,有望为未来的相关研究与应用提供新的方向。

可以预见,这项技术的进一步发展将推动智能化应用的持续进步,助力各行各业在数字化转型中更好地利用人工智能带来的便利。

相关资讯

腾讯申请“大语言模型训练方法”专利,提升模型泛化能力与准确性

天眼查App显示,腾讯科技(深圳)有限公司近日申请了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。 这项专利的摘要揭示了该方法通过引入第一摘要文本和第二摘要文本,在大语言模型的训练过程中为模型提供更多可学习的信息。 根据专利描述,第一摘要文本和第二摘要文本所包含的信息量不同,其中第一摘要文本中还包含了正确语句和错误语句。

UC 伯克利等最新研究:大语言模型就是比人类啰嗦,“提问的艺术”仍难参透

不过由大模型给出的考题,和人类出的题目究竟有没有差别,以及有哪些差别?

英伟达免费推出 19 门 AI 课程,助力技术爱好者掌握前沿科技

在全球人工智能技术迅猛发展的背景下,英伟达近日宣布将免费向公众开放19门自定进度的 AI 技术课程,旨在帮助开发者和技术爱好者提升在 AI 与数据科学领域的技能。 这项举措不仅为学习者提供了珍贵的学习机会,同时也彰显了英伟达在推动 AI 教育方面的决心。 此次开放的课程覆盖五大领域:生成式 AI 与大语言模型(LLMs)、图形与仿真、加速计算、数据科学以及深度学习。