大语言模型
腾讯申请“大语言模型训练方法”专利，提升模型泛化能力与准确性
天眼查App显示，腾讯科技（深圳）有限公司近日申请了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。 这项专利的摘要揭示了该方法通过引入第一摘要文本和第二摘要文本，在大语言模型的训练过程中为模型提供更多可学习的信息。 根据专利描述，第一摘要文本和第二摘要文本所包含的信息量不同，其中第一摘要文本中还包含了正确语句和错误语句。
腾讯发布大语言模型训练新专利，提升模型泛化与准确性
近日，腾讯科技（深圳）有限公司在天眼查 App 上公布了一项关于大语言模型的训练方法及相关设备的专利。 这项专利的名称为 “大语言模型的训练方法、装置、计算机设备及存储介质”，旨在通过创新的训练方式，提升大语言模型的学习能力和准确性。 在大语言模型的训练过程中，传统方法往往依赖于单一的文本摘要，可能导致模型过拟合，生成内容的准确性和多样性受到影响。
EvalPlanner：基于“计划-执行”双阶段的大语言模型评估框架
大语言模型(LLM)评估系统在生成思维链(Chain-of-Thought, CoT)序列时，需要系统地捕捉评估过程中的推理步骤。 但是由于缺乏人工标注的CoT训练数据，以及预定义评估提示在复杂任务中的局限性，构建高质量的LLM评估模型面临重大挑战。 另外手动调整评估指令的方法在面对多样化和复杂任务时表现出明显的局限性。
突破“数据再生产陷阱”：从“语言游戏”迈向超人智能
人类文明的演进始终离不开对信息流通方式的改造：从印刷术到电报，再到互联网，每一次交互门槛的下降都可能催生出新的社会与技术浪潮。 在当前的人工智能（AI）领域，这种“门槛降低”也正在发生：近期，开源大语言模型 DeepSeek R1 借助强化学习技术，在多个关键指标上接近了商用顶尖模型 OpenAI O1，引发行业热议。 为什么这一进展值得关注？
英伟达免费推出 19 门 AI 课程，助力技术爱好者掌握前沿科技
在全球人工智能技术迅猛发展的背景下，英伟达近日宣布将免费向公众开放19门自定进度的 AI 技术课程，旨在帮助开发者和技术爱好者提升在 AI 与数据科学领域的技能。 这项举措不仅为学习者提供了珍贵的学习机会，同时也彰显了英伟达在推动 AI 教育方面的决心。 此次开放的课程覆盖五大领域:生成式 AI 与大语言模型（LLMs）、图形与仿真、加速计算、数据科学以及深度学习。
UC 伯克利等最新研究：大语言模型就是比人类啰嗦，“提问的艺术”仍难参透
不过由大模型给出的考题，和人类出的题目究竟有没有差别，以及有哪些差别？
用Ray观测和监控大语言模型工作负载
译者 | 布加迪审校 | 重楼前言GPT-4、PHI2、BERT和T5等大语言模型（LLM）的出现已彻底改变了自然语言处理，这些模型支持高端应用程序，包括聊天机器人、推荐系统和分析。 然而，LLM中工作负载的规模和复杂性使得保证性能和可靠性成了一大挑战。 在这种情况下，在使用Ray等框架部署工作负载的同时进行监控和观测显得非常必要。
AI 运维的新时代：从 MLOps 到 LLMOps深度解析
作者 | 崔皓审校 | 重楼摘要文章围绕 LLMOps（大语言模型运维）展开，详细解析了企业如何使用大语言模型（LLMs），以及 LLMOps 在优化 LLM 开发、部署和管理中的核心作用。 文章首先介绍了提示词工程（Prompt Engineering）、检索增强生成（RAG）和微调（Fine-tuning）等常见 LLM 应用场景，并深入探讨了这些方法的挑战和局限性。 随后，通过对比 MLOps 和 LLMOps，突出了后者在管理复杂模型生命周期中的独特价值。
AMD把o1炼成了实验室助手，自动科研经费节省84%
芯片强者AMD最新推出科研AI，o1-preview竟成天选打工人？ 注意看，只需将科研idea和相关笔记一股脑丢给AI，研究报告甚至是代码就能立马出炉了。 这个AI系统代号“Agent Laboratory”，全程由LLM（大语言模型）驱动完成文献综述、实验，以及报告，一站式搞定科学研究。
一文看懂推理并行的定义及其工作原理
译者 | 布加迪审校 | 重楼近年来，我们见证了两个反复出现的趋势：发布的GPU功能越来越强大，以及拥有数十亿、乃至数万亿个参数和加长型上下文窗口的大语言模型（LLM）层出不穷。 许多企业正在利用这些LLM，或进行微调，或使用RAG构建具有特定领域知识的应用程序，并将其部署在专用GPU服务器上。 现在说到在GPU上部署这些模型，需要注意的一点是模型大小，即相比GPU上的可用内存，将模型加载到GPU内存中所需的空间（用于存储参数和上下文token）实在太大了。
SafeDrive：大语言模型实现知识驱动和数据驱动的风险-敏感决策
24年12月来自USC、U Wisconsin、U Michigan、清华大学和香港大学的论文“SafeDrive: Knowledge- and Data-Driven Risk-Sensitive Decision-Making for Autonomous Vehicles with Large Language Models”。 自动驾驶汽车 (AV) 的最新进展利用大语言模型 (LLM) 在正常驾驶场景中表现良好。 然而，确保动态、高风险环境中的安全并管理，对安全至关重要的长尾事件仍然是一项重大挑战。
多模态大语言模型空间智能新探索：仅需单张图片或一句话，就可以精准生成3D建模代码啦！
计算机辅助设计（CAD）已经成为许多行业设计、绘图和建模的标准方法。 如今，几乎每一个制造出来的物体都是从参数化 CAD 建模开始的。 CAD 构造序列是 CAD 模型表示的一种类型，不同于 Mesh 类型的三角网格、B-rep 格式的点、线、面表示，它被描述为一系列建模操作，包括确定草图 3D 起点和 3D 草图平面方向、绘制 2D 草图、将草图拉伸成 3D 实体形状的完整参数和过程，以 JSON 代码格式储存和表示。
别再将LLM当成数据库了
译者 | 布加迪审校 | 重楼想象一下，你戴着耳机驾驶一辆汽车，每五分钟才更新一次路况信息，而不是持续不断地提供当前位置情况的视频流。 过不了多久，你就会撞车。 虽然这种类型的批处理在现实世界中并不适用，却是当今许多系统运行的方式。
上交大揭露大模型审稿风险：一句话就能让论文评分飞升
大语言模型（LLMs）正以前所未有的方式，深刻影响着学术同行评审的格局。 同行评审作为科学研究的基石，其重要性毋庸置疑。 然而，随着大语言模型逐渐渗透到这一核心过程，我们是否已经准备好面对它可能带来的深远影响？
SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架
Key-Value (KV)缓存已成为大语言模型(LLM)长文本处理的关键性能瓶颈。 当前研究尚未充分关注解码阶段的优化，这一阶段具有同等重要性，因为：1、对需要完整上下文的场景，预填充阶段的过度压缩会显著降低模型的推理理解能力2、在长输出推理任务中存在重要特征的显著偏移现象这篇论文提出SCOPE框架，通过分离预填充与解码阶段的KV缓存优化策略，实现高效的缓存管理。 该框架保留预填充阶段的关键KV缓存信息，同时引入基于滑动窗口的新型策略，用于解码阶段重要特征的高效选取。
26 年前的古董 Win98 电脑成功运行大语言模型：搭载奔腾 II 处理器、128MB 内存
一个名为 EXO Labs 的组织今日在社交媒体上发布了一段视频，展示了一台运行 Windows 98 系统的 26 年高龄的奔腾 II 电脑（128MB 内存）成功运行大型语言模型（LLM）的情形。随后，EXO Labs 在其博客上发表了一篇详细文章，进一步阐述了这个项目的细节，以及其“普及人工智能”的愿景。
SPAR：融合自对弈与树搜索的高性能指令优化框架
大语言模型的指令遵循能力需要模型能够准确识别指令中的细微要求，并在输出中精确体现这些要求。 现有方法通常采用偏好学习进行优化，在创建偏好对时直接从模型中采样多个独立响应。 但是这种方法可能会引入与指令精确遵循无关的内容变化（例如，同一语义的不同表达方式），这干扰了模型学习识别能够改进指令遵循的关键差异。
人工智能中的智能体内存：持久内存是如何重新定义大语言模型应用程序的
译者 | 张哲刚审校 | 重楼人工智能（AI） 从根本上改变了我们的生活、工作以及通信方式。 GPT-4、BERT、Llama 等大语言模型 （LLM） 在对话式人工智能方面取得了显著进步，不但响应迅速，而且做到了拟人化。 即便如此，这些系统仍然普遍存在一个致命缺陷，那就是无法在单个会话之外保留上下文信息。