自然语言处理

Transformers基本原理—Decoder如何进行解码？

一、Transformers整体架构概述Transformers 是一种基于自注意力机制的架构，最初在2017年由Vaswani等人在论文《Attention Is All You Need》中提出。这种架构彻底改变了自然语言处理（NLP）领域，因为它能够有效地处理序列数据，并且能够捕捉长距离依赖关系。 Transformers整体架构如下：主要架构由左侧的编码器（Encoder）和右侧的解码器（Decoder）构成。

当AI更加理解人类语言可能预示提示工程终结

多年来，大型语言模型（LLM）的兴起要求用户学习一种新技能：提示工程。为了得到人工智能有用的回应，人们不得不精心设计他们的查询问题，学习人工智能如何理解语言的细微差别。但这种情况可能正在发生变化。

Meta 创新推出 “连续概念混合” 框架，推动 Transformer 预训练新革命

近年来，随着大型语言模型（LLMs）的快速发展，自然语言处理领域经历了前所未有的变革。这些技术如今广泛应用于代码助手、搜索引擎和个人 AI 助手等场景，展现了强大的能力。然而，传统的 “下一个 token 预测” 范式存在一定局限性，尤其是在处理复杂推理和长期任务时，模型需要经历大量训练才能掌握深层次的概念理解。

南方电网全面引入 DeepSeek 大模型，助力电力行业智能化升级

南方电网公司近日宣布，成功完成人工智能创新平台 DeepSeek 的本地部署，并将 DeepSeek 系列模型引入其电力大模型体系。这一创新标志着南方电网在人工智能领域的又一次突破，特别是在自然语言处理技术的应用上。此次升级使得自然语言基础模型的参数规模提升至千亿级别，这将极大地增强电网在各项业务领域中的智能应用效果。

面向语音控制前端应用程序的自然语言处理（NLP）：架构、进展与未来方向

译者 | 李睿审校 | 重楼由于智能设备、虚拟助手和免提界面的日益普及，语音控制前端应用程序获得了更多的关注。自然语言处理（NLP）是这些系统的核心，能够实现类似人类的理解和语音生成。本白皮书介绍了语音控制前端应用程序的NLP方法的深入研究，阐述了语音识别、自然语言理解和生成技术的最新技术，以及它们在现代Web前端中的架构集成。

多模态RAG技术：从语义抽取到VLM应用与规模化挑战

一、基于语义抽取的多模态 RAG多模态 RAG 的发展方向旨在构建一个高度集成的系统，能够无缝融合文本、图像和其它多媒体元素，为用户提供更丰富的信息交互体验。实现多模态 RAG 系统的三种主要技术路径如下：传统对象识别与解析（雕花路线）传统的多模态文档处理首先会运用图像识别技术，如 OCR（Optical Character Recognition，光学字符识别），从图像中抽取出文字、表格和图片等元素。之后，这些独立的对象会被进一步解析，转换成文本格式，以便于后续的信息检索与分析。

用有限的预算构建AI应用程序

译者 | 布加迪审校 | 重楼人工智能（AI）已经成为现代软件应用程序不可或缺的一部分，因为它可以为传统应用程序添加更强大的功能。本教程将指导你使用一种简单的方法来构建AI应用程序。人工智能（AI）已经成为现代软件应用程序不可或缺的一部分，因为它可以为传统应用程序添加前所未有的更强大功能，比如语音识别、图像检测/分类以及自然语言处理（NLP）等等。

提高深度学习模型效率的三种模型压缩方法

译者 | 李睿审校 | 重楼近年来，深度学习模型在自然语言处理（NLP）和计算机视觉基准测试中的性能稳步提高。虽然这些收益的一部分来自架构和学习算法的改进，但数据集大小和模型参数的增长是重要的驱动因素。下图显示了top-1 ImageNet分类精度作为GFLOPS的函数，GFLOPS可以用作模型复杂性的指标。

基于PyTorch的大语言模型微调指南：Torchtune完整教程与代码示例

近年来,大型语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了显著进展。这些模型通过在大规模文本数据上进行预训练,能够习得语言的基本特征和语义,从而在各种NLP任务上取得了突破性的表现。为了将预训练的LLM应用于特定领域或任务,通常需要在领域特定的数据集上对模型进行微调(Fine-tuning)。

百川智能发布超千亿大模型Baichuan 3，中文评测水平超GPT-4

1 月 29 日，百川智能正式发布千亿参数的大语言模型 Baichuan 3。在多个权威通用能力评测如 CMMLU、GAOKAO 和 AGI-Eval 中，Baichuan 3 都展现了出色的能力，尤其在中文任务上更是超越了 GPT-4。而在数学和代码专项评测如 MATH、HumanEval 和 MBPP 中同样表现出色，证明了 Baichuan 3 在自然语言处理和代码生成领域的强大实力。不仅如此，其在对逻辑推理能力及专业性要求极高的 MCMLE、MedExam、CMExam 等权威医疗评测上的中文效果同样超过了