LLM
还在忙NSFC申报？试试DeepSeek R1结合牛津的推理Agent用变分推理生成国家自然科学基金申请书
又到了一年一度的国家自然科学基金申报季，众多科研工作者正在为申报书的撰写绞尽脑汁。 如何在有限的时间内，产出一份既专业严谨又富有创新性的申报材料，成为了许多研究者面临的挑战。 本文介绍了一种基于DeepSeek R1大模型与牛津大学最新推理Agent框架相结合的智能辅助方案。
DeepSeek671B提到的MOE是什么？图解MOE（混合专家模型）
本文仅做记录，图挺形象的。 原文：，你可能会在标题中看到“MoE”这个词。 那么，这个“MoE”到底代表什么？
DeepSeek数学大翻车？普林斯顿谷歌锤爆LLM：做题不会推理，全靠死记硬背
破案了！ 就在刚刚，来自普林斯顿和谷歌的研究者发现——大模型做数学题，不是靠推理，而是靠从训练集里记下的解题技巧！ 论文地址：「未解之谜」一直困扰着不少业内人士：在数学上，LLM到底是学会了举一反三，还是只是学会了背题？
本地轻松使用Gemini 2.0 Pro
译者 | 布加迪审校 | 重楼谷歌加大了角逐人工智能领域的筹码，发布了最新的实验模型。 继DeepSeek和OpenAI之后，谷歌宣布推出Gemini 2.0 Flash以及两个新的实验模型：Gemini 2.0 Pro和Gemini 2.0 Flash-Lite。 据谷歌DeepMind团队声称，Gemini 2.0 Pro是其迄今为止最先进的模型，在编程性能和处理复杂提示方面表现出色。
一文带你看懂开源大模型基石LLaMA核心技术点，DeepSeek/千问等LLM的模型结构基础
LLaMA是目前很多SOTA开源大模型的基础，包括DeepSeek、千问等在内的很多大模型的模型机构大体上都沿用了LLaMA。 因此，LLaMA在模型结构的设计上可以说是目前大模型的一种最佳实践。 这篇文章就给大家汇总一下LLaMA的核心模型结构。
DeepSeek 系列模型详解之——DeepSeek LLM
DeepSeek LLM发布于2024年1月，收集了2万亿个词元用于预训练，在模型层面沿用了LLaMA的架构，并将余弦退火学习率调度器替换为多阶段学习率调度器，便于持续训练。 并从多种来源收集了超过100万个实例进行监督微调(SFT)。 此外，利用直接偏好优化（DPO）技术进一步提升模型的对话能力。
近端策略优化(PPO)算法的理论基础与PyTorch代码详解
近端策略优化(Proximal Policy Optimization, PPO)算法作为一种高效的策略优化方法，在深度强化学习领域获得了广泛应用。 特别是在大语言模型(LLM)的人类反馈强化学习(RLHF)过程中，PPO扮演着核心角色。 本文将深入探讨PPO的基本原理和实现细节。
推荐一个企业级知识图谱增强的检索增强生成(RAG)的项目
介绍Microsoft GraphRAG 是一个开源项目，旨在利用 Microsoft Graph 的强大功能构建企业级的知识图谱增强的检索增强生成（RAG）方案。 简单来说，它将企业内部的各种数据源（如邮件、文档、日历、联系人等）通过 Microsoft Graph 连接起来，形成一个结构化的知识图谱，然后利用这个知识图谱来增强 RAG 系统的检索能力，从而提升大语言模型（LLM）在企业应用中的问答和生成效果。 项目架构GraphRAG 的架构设计清晰且模块化，主要包含以下几个核心组件：(1) 数据连接器（Data Connectors）：负责从各种企业数据源（如 Microsoft 365 服务，包括 Exchange Online、SharePoint Online、OneDrive、Teams 等）提取数据。
AI已学会自我复制！复旦新研究：开源LLM克隆成功率最高90%
AI已跨越关键「红线」，实现了自我复制。 复旦大学的研究人员在一项新研究中，展示了两种开源的LLM具备自我克隆的能力。 在没有人类帮助的情况下，AI成功实现自我复制，这不仅是它超越人类的关键一步，也是「流氓AI」出现的早期信号。
Grok-3意外「走光」，不是推理模型！马斯克：xAI新模型比DeepSeek更好
当OpenAI和谷歌密集发布新AI模型时，马斯克的xAI怎么还没动静？ 就在最近，马斯克公开表示称，xAI的新模型很快就要发布了，而且是比DeepSeek更好的那种！ 根据公开消息，网友汇总了马斯克、Greg Yang等关于xAI下一代新模型Grok-3的消息。
人大刘勇团队「慢思考」机理分析：从雪球误差到正确推理概率
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
Andrej Karpathy 最新视频盛赞 DeepSeek：R1 正在发现人类思考的逻辑并进行复现
继近日斯坦福李飞飞、Percy Liang 等人推出 S1 后，李飞飞的学生、OpenAI 早期成员与前特斯拉 AI 总监也录制了一期最新长达 3 小时的长视频上传到 YouTube，深入浅出地从神经网络的起源、GPT-2、ChatGPT 到最近 DeepSeek-R1 介绍了 AI 大模型的系列进化：视频链接：，视频讲解十分通俗易懂，即使没有技术背景的观众也能轻松理解！ 尤其是在视频的第 2 个小时开始，他对最近爆火的 DeepSeek-R1 论文进行了深入介绍，并直言 DeepSeek R1 在性能方面与 OpenAI 的模型不相上下，它的出现推动了 RL 技术的发展。 除了盛赞 DeepSeek-R1 的技术创新外，Andrej Karpathy 还对纯 RL 的学习能力给予了高度评价，但又指出 RL 非常非常擅长发现一种方法来“欺骗”模型，阻碍了 RLHF 成为专业技术的步伐。
未来教室的变革：大语言模型LLM会取代老师吗？揭秘教育新纪元
大语言模型（LLM）的发展是近年来人工智能领域的重要突破，其背后是深度学习、自然语言处理等技术的快速进步。 从早期的简单问答系统到现在能够理解和生成复杂文本的智能模型，大语言模型已经广泛应用于各个领域，包括客服机器人、智能搜索引擎、自动化写作等。 随着技术的进步，人们开始探讨这样一个问题：大语言模型是否将在未来取代老师的角色？
LLM自主发现发表在Nature上的科学假设？ICLR 2025 论文MOOSE-Chem深度解析
编辑 | ScienceAI人工智能的下一个前沿，不仅是语言、图像，而是科学发现本身。 近年来，人工智能（AI）已经在自然语言处理（NLP）、计算机视觉（CV）等领域取得巨大成功。 但 AI 是否能够帮助科学家发现新的科学理论？
原来，这些顶级大模型都是蒸馏的
「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。 」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。 前段时间，一位海外技术分析师在一篇博客中提出了一个猜想：一些顶级的 AI 科技公司可能已经构建出了非常智能的模型，比如 OpenAI 可能构建出了 GPT-5，Claude 构建出了 Opus 3.5。
用Ray观测和监控大语言模型工作负载
译者 | 布加迪审校 | 重楼前言GPT-4、PHI2、BERT和T5等大语言模型（LLM）的出现已彻底改变了自然语言处理，这些模型支持高端应用程序，包括聊天机器人、推荐系统和分析。 然而，LLM中工作负载的规模和复杂性使得保证性能和可靠性成了一大挑战。 在这种情况下，在使用Ray等框架部署工作负载的同时进行监控和观测显得非常必要。