腾讯发布大语言模型训练新专利,提升模型泛化与准确性

近日,腾讯科技(深圳)有限公司在天眼查 App 上公布了一项关于大语言模型的训练方法及相关设备的专利。 这项专利的名称为 “大语言模型的训练方法、装置、计算机设备及存储介质”,旨在通过创新的训练方式,提升大语言模型的学习能力和准确性。 在大语言模型的训练过程中,传统方法往往依赖于单一的文本摘要,可能导致模型过拟合,生成内容的准确性和多样性受到影响。

近日,腾讯科技(深圳)有限公司在天眼查 App 上公布了一项关于大语言模型的训练方法及相关设备的专利。这项专利的名称为 “大语言模型的训练方法、装置、计算机设备及存储介质”,旨在通过创新的训练方式,提升大语言模型的学习能力和准确性。

在大语言模型的训练过程中,传统方法往往依赖于单一的文本摘要,可能导致模型过拟合,生成内容的准确性和多样性受到影响。然而,腾讯的新方法引入了两种不同的信息来源 —— 第一摘要文本和第二摘要文本。这两个摘要文本的信息量不同,且第一摘要文本中包含了正确与错误的语句,形成了对比学习的基础。

专利

这种对比学习方式使得模型可以在同一文本的不同摘要中进行学习,通过区分第一摘要文本中的正确与错误语句,有效地避免了因为摘要单一而带来的学习误差。这种创新方法不仅提升了模型的泛化能力,使其在面对未知数据时能够表现得更加出色,同时也增强了模型的准确性,减少了生成错误内容的概率。

随着人工智能技术的不断进步,大语言模型的应用范围愈加广泛,从自然语言处理到智能客服,再到内容创作等领域,均显现出巨大的潜力。腾讯这一专利的公布,标志着在大语言模型训练领域的又一次技术突破,有望为未来的相关研究与应用提供新的方向。

可以预见,这项技术的进一步发展将推动智能化应用的持续进步,助力各行各业在数字化转型中更好地利用人工智能带来的便利。

相关资讯

腾讯申请“大语言模型训练方法”专利,提升模型泛化能力与准确性

天眼查App显示,腾讯科技(深圳)有限公司近日申请了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。 这项专利的摘要揭示了该方法通过引入第一摘要文本和第二摘要文本,在大语言模型的训练过程中为模型提供更多可学习的信息。 根据专利描述,第一摘要文本和第二摘要文本所包含的信息量不同,其中第一摘要文本中还包含了正确语句和错误语句。

视觉语言AI新突破!伯克利发布TULIP模型,性能大幅超越现有技术

加州大学伯克利分校研究团队近日发布了其最新的研究成果——TULIP (Towards Unified Language-Image Pretraining) 模型。 该模型旨在提升视觉语言预训练的性能,特别是在需要高保真理解的视觉中心任务中,克服了现有对比学习模型(如CLIP)的局限性。 TULIP通过集成生成式数据增强、增强的对比学习以及重构正则化等创新技术,显著提升了视觉和语言之间的对齐能力。