AI在线 AI在线

LLM

L²M条件，MIT团队为长文本建模建立新理论框架

L²M条件，MIT团队为长文本建模建立新理论框架
编辑 | ScienceAI在追求更强大 AI 系统的道路上，大语言模型处理长上下文的能力始终是制约其发展的关键瓶颈。 尽管 DeepSeek、GPT-4、LLaMA-3 等顶尖模型已能处理数万 token 的文本，但学界对「模型究竟需要何种能力才能有效理解长文本」这一根本问题仍缺乏理论指导。 近日，麻省理工学院 Zhuo Chen、Oriol Mayn ́e i Comas 、Zhuotao Jin 、Di Luo 、Marin Soljači 领衔的研究团队提出自然语言中隐藏的互信息缩放定律（Mutual Information Scaling Law），并由此提出长上下文语言建模的 L²M 条件（Long-context Language Modeling condition），为理解大语言模型的长文本处理能力建立了首个系统化理论框架。
3/11/2025 12:17:00 PM
ScienceAI
DeepSeek级AI？训练自己的推理模型仅需七个步骤

DeepSeek级AI？训练自己的推理模型仅需七个步骤
译者 | 布加迪审校 | 重楼谁需要超级计算机？ 仅用15GB VRAM就可以训练你自己的功能强大的AI推理模型！ DeepSeek的R1模型在不需要人类反馈的情况下就能进行更深思熟虑的推理，已颠覆了大语言模型（LLM）领域。
3/11/2025 8:37:42 AM
布加迪
六种LLM定制开发基本策略：提示工程、解码策略、RAG、代理、微调和RLHF

六种LLM定制开发基本策略：提示工程、解码策略、RAG、代理、微调和RLHF
译者 | 朱先忠审校 | 重楼为什么要定制LLM？ 大型语言模型是基于自监督学习预训练的深度学习模型，需要大量的训练数据资源、训练时间并保存大量参数。 尤其是在过去2年里，LLM彻底改变了自然语言处理，在理解和生成类似人类的文本方面表现出色。
3/11/2025 8:00:00 AM
朱先忠
软件行业的颠覆性革命：AI不仅吞噬一切，它就是一切

软件行业的颠覆性革命：AI不仅吞噬一切，它就是一切
从前，软件吞噬了世界。 如今，AI来了，要消化剩下的部分。 曾经由应用程序主导、市场控制访问、平台抽取分成的计算模式正在瓦解。
3/10/2025 1:11:00 PM
Justin Westcott
手搓RAG新增功能：递归检索与迭代查询+重回成熟框架API

手搓RAG新增功能：递归检索与迭代查询+重回成熟框架API
在上那篇提到的我手搓的那个 RAG 项目新增功能中，漏掉了递归检索与迭代查询，这篇补上（源码见知识星球）。 经过初步调试对召回效果有明显提升，这种方法解决了传统 RAG 的几个关键问题：处理复杂多步骤问题：通过多次迭代，分解复杂问题信息不足的补充：当初始检索结果不足以回答问题时，自动生成补充查询多角度信息收集：能够从不同角度收集相关信息1、递归检索具体实现递归检索函数（recursive_retrieval）（支持最多三次迭代查询）每次迭代使用混合检索（向量检索 BM25）获取信息使用 LLM 分析当前检索结果，判断是否需要进一步查询如果需要，LLM 会生成新的查询问题，用于下一轮检索换句话说，递归检索的工作原理可以理解为"先检索-后思考-再检索"的过程，模拟了人解决问题的方式：先获取一些信息，思考下是否足够，如果不够则继续查找更多相关信息。 总之，好的结果不是一蹴而就的。
3/10/2025 9:20:00 AM
韦东东
如何理解模型的蒸馏和量化

如何理解模型的蒸馏和量化
在LLM领域内，经常会听到两个名词：蒸馏和量化。 这代表了LLM两种不同的技术，它们之间有什么区别呢？ 本次我们就来详细聊一下。
3/7/2025 8:00:00 AM
智谱携Agentic LLM参加巴塞罗那通信展

智谱携Agentic LLM参加巴塞罗那通信展
在3月3日，由华为举办的“移动AI产业峰会”上，智谱副总裁林超婷受邀发表题为《LLM – Transformative Revolution in Technology and Industry》的演讲。 林超婷指出，Agentic LLM正在改变整个手机产业，借助AI能力重新定义下一代互联网入口。 将来，Agentic AI助手，可以像人一样可以收集和总结信息，听说读写和思考，记住个人偏好等等。
3/5/2025 2:53:00 PM
新闻助手
全面增强LLM推理/规划/执行力！北航提出全新「内置CoT」思考方法

全面增强LLM推理/规划/执行力！北航提出全新「内置CoT」思考方法
用户已经习惯于将大模型如ChatGPT、Llama-3-chat等当作聊天对象，然而在用户和聊天助手的会话中，有的用户提示（例如一些命令或请求）不能在一轮会话中结束，需要大语言模型和用户进行多轮会话。 这种跨越多轮的会话目前仍然存在一些问题：大语言模型的回答容易出错，不能帮助用户达到目标，且随着会话轮数增加出错概率会增大。 对同一个命令或问题，大语言模型比较难以根据实际需求产生不同流程的响应，在需要大语言模型与环境交互时，目前比较流行的做法是使用函数调用或工具调用，但不够优雅和高效，而且由于上下文窗口的限制，能支持的工具调用数量有限。
3/5/2025 4:00:00 AM
新智元
DeepSeek搭建个人知识库教程，你学会了吗？

DeepSeek搭建个人知识库教程，你学会了吗？
各位朋友，是不是经常被 AI 气得火冒三丈，恨不得把键盘给砸了？ 你让它查公司去年的财务数据，它却开始背诵经济学原理；你让它分析竞品的策略，它却大谈特谈马斯洛需求理论。 我太能理解这种感受了，这就好比你花钱雇了个助理，结果这助理啥都不会，只会照搬百度百科的内容！
3/4/2025 9:26:37 AM
派大星
LLM 大语言模型定义以及关键技术术语认知

LLM 大语言模型定义以及关键技术术语认知
大语言模型定义LLM（Large Language Models）是基于 Transformer 架构(可以理解为不同寻常的大脑)的深度神经网络，通过海量文本数据训练获得语言理解和生成能力。 其核心特征包括：参数规模达数十亿级别（GPT-3 175B参数）知识储备惊人，可以理解为脑细胞数量是普通人的千亿倍（1750亿参数），相当于把整个图书馆的书都装进大脑自回归生成机制（逐词预测）说话方式像接龙,当它写作文时，就像我们玩词语接龙：先写"今天"，然后根据"今天"想"天气"，接着根据"今天天气"想"晴朗"，逐字逐句生成内容。 注意力机制实现长程依赖建模特别会抓重点就像我们读小说时，会自动记住关键人物关系（比如注意到"陈平安喜欢宁姚"），它能自动捕捉文字间的深层联系。
3/4/2025 1:00:00 AM
山河已无恙
RAG（一）RAG开山之作：知识密集型NLP任务的“新范式”

RAG（一）RAG开山之作：知识密集型NLP任务的“新范式”
在AI应用爆发的时代，RAG（Retrieval-Augmented Generation，检索增强生成）技术正逐渐成为AI 2.0时代的“杀手级”应用。 它通过将信息检索与文本生成相结合，突破了传统生成模型在知识覆盖和回答准确性上的瓶颈。 不仅提升了模型的性能和可靠性，还降低了成本，增强了可解释性。
3/3/2025 11:41:11 AM
Glodma
2025年的五大AI趋势：智能体、开源和多模型

2025年的五大AI趋势：智能体、开源和多模型
随着AI技术的飞速发展，2025年的AI领域将迎来前所未有的变革。 从开源AI的崛起，到多模态AI的普及，再到本地AI的蓬勃发展，以及AI成本的显著降低和智能体的广泛应用，这五大趋势将深刻影响企业和个人的未来发展。 2025年，AI领域不再仅仅局限于大型语言模型（LLM），而是聚焦于更智能、更廉价、更专业和更本地的AI解决方案，这些方案能够处理多种数据类型，并实现自主行动。
3/3/2025 11:16:18 AM
Sol Rashidi
LLM表现出类似人类的“认知”下降迹象

LLM表现出类似人类的“认知”下降迹象
GenAI问世不到两年，就在各个行业带来了众多创新，包括科学突破和前所未有的自动化和数据处理效率。 大型语言模型（LLM）经常被比作人类智能。 一些人工智能系统甚至在某些任务中表现优于人类。
3/3/2025 10:18:46 AM
AI情报室
探索跳跃式思维链：DeepSeek创造力垫底，Qwen系列接近人类顶尖水平

探索跳跃式思维链：DeepSeek创造力垫底，Qwen系列接近人类顶尖水平
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
2/28/2025 6:10:00 PM
机器之心
AI驱动的模拟科学家，涉及生理学、生物物理学、物理化学和量子力学多个领域，登Nature子刊

AI驱动的模拟科学家，涉及生理学、生物物理学、物理化学和量子力学多个领域，登Nature子刊
编辑 | 萝卜皮大型语言模型（LLM）是一种人工智能系统，以自然语言的形式封装大量知识。 这些系统擅长许多复杂任务，包括创意写作、讲故事、翻译、问答、总结和计算机代码生成。 尽管 LLM 已在自然科学领域得到初步应用，但其推动科学发现的潜力仍未得到充分开发。
2/26/2025 3:53:00 PM
ScienceAI
大语言模型：表面的推理能力背后是出色的规划技巧

大语言模型：表面的推理能力背后是出色的规划技巧
译者 | 刘汪洋审校 | 重楼大语言模型(LLMs)在技术发展上取得了显著突破。 OpenAI 的 o3、Google 的 Gemini 2.0和 DeepSeek 的R1展现出了卓越的能力：它们能处理复杂问题、生成自然的对话内容，甚至精确编写代码。 业界常把这些先进的LLMs 称为"推理模型"，因为它们在分析和解决复杂问题时表现非凡。
2/25/2025 9:49:12 AM
刘汪洋
DeepSeek 入门指导手册——从入门到精通

DeepSeek 入门指导手册——从入门到精通
DeepSeek 是由杭州深度求索人工智能基础技术研究有限公司精心打造的一款大型语言模型（LLM）。 该模型集自然语言处理（NLP）、计算机视觉（CV）、强化学习（RL）以及多模态融合技术等核心功能于一体。 DeepSeek 在国际上获得了高度关注：下载量：DeepSeek 应用在美国苹果应用商店的免费下载排行榜中超越了 ChatGPT，攀升至榜首位置。
2/24/2025 10:07:10 AM
派大星
​OpenAI 最新研究揭示：最先进的 AI 仍难以解决编码问题

​OpenAI 最新研究揭示：最先进的 AI 仍难以解决编码问题
近日，OpenAI 的研究人员在一篇新发布的论文中坦言，尽管目前的 AI 技术已经相当先进，但这些模型依然无法与人类程序员相媲美。 OpenAI 首席执行官山姆・阿尔特曼曾表示，预计到今年底，AI 将能够战胜 “低级” 软件工程师，但研究结果却显示，这些 AI 模型仍然面临重大挑战。 图源备注：图片由AI生成，图片授权服务商Midjourney在研究中，OpenAI 团队使用了一种名为 SWE-Lancer 的新基准测试，评估了从自由职业网站 Upwork 上提取的1400多项软件工程任务的表现。
2/24/2025 9:09:00 AM
AI在线