理论

Transformer自问世后就大放异彩，但有个小毛病一直没解决：总爱把注意力放在不相关的内容上，也就是信噪比低。 现在微软亚研院、清华团队出手，提出全新改进版Differential Transformer，专治这个老毛病，引起热议。 论文中介绍，整体思路类似差分放大电路或降噪耳机，用两个信号的差值来滤除共模噪声。

世界首个「AI智能体文明」，终于揭秘了！ 2个月前，1000 多个智能体在虚拟世界中，一同协作构建起自己的经济、文化、宗教和政府......网友纷纷惊呼，堪称现实版「西部世界」。 如今，这个文明再次进化了，1000亿AI智能体文明的世界又是怎样的？

一群大模型玩你画我猜，人类一旁围观超起劲儿。 就像下面这张图展示的，由Grok画长颈鹿，一堆大模型根据生成内容猜答案。 参赛选手包括GPT-4o、Claude、Llama、Gemini、Grok等。

改进KV缓存压缩，大模型推理显存瓶颈迎来新突破——中科大研究团队提出Ada-KV，通过自适应预算分配算法来优化KV缓存的驱逐过程，以提高推理效率。 打破KV Cache压缩将所有注意力头分配相同压缩预算的常规做法，针对不同的注意力头进行适配性压缩预算分配展开来说，由于大模型在自回归生成过程中，每生成一个新token都需要将对应的KV矩阵存储下来，这导致缓存随着生成序列长度的增加而急剧膨胀，引发内存…

译者 | 朱先忠审校 | 重楼本文将探讨直接在关系数据库上执行机器学习的新方法——关系型深度学习。 本文示例项目数据集的关系模式（作者提供图片）在本文中，我们将深入探讨一种有趣的深度学习（DL）新方法，称为关系型深度学习（RDL）。 我们还将通过在一家电子商务公司的真实数据库（不是数据集！

只要一个3B参数的大模型，就能控制机器人，帮你搞定各种家务。 叠衣服冲咖啡都能轻松拿捏，而且全都是由模型自主控制，不需要遥控。 关键是，这还是个通用型的机器人控制模型，不同种类的机器人都能“通吃”。

把一块2mm大小的芯片植入视网膜，搭配一幅带摄像头的眼镜，就能成功让盲人恢复视力！ 不仅重拾阅读能力，甚至还能打牌。 这是来自美国加州的脑机接口公司Science的最新进展。

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]

子曾经曰过：「见贤思齐焉，见不贤而内自省也。 」自省可以帮助我们更好地认识自身和反思世界，对 AI 来说也同样如此吗？ 近日，一个多机构联合团队证实了这一点。

现代数学，开始对你的直觉开刀了。 数学的很大一部分是由直觉驱动的，但有时想当然会让人误入歧途。 早期的证据可能并不代表大局，一个陈述可能看起来很明显，但一些隐藏的微妙之处会自行显露出来。

编辑 | 萝卜皮了解转录对化学扰动的反应是药物发现的核心，但对疾病化合物组合进行详尽的实验筛选是不可行的。 为了克服这一限制，中国科学院、四川大学华西医院的研究人员提出了 PRnet，这是一种扰动条件下的深度生成模型，可预测转录对从未在体细胞和单细胞水平上进行实验扰动的新化学扰动的反应。 评估表明，PRnet 在预测新化合物、新途径和新细胞系的反应方面优于已有方法。

编辑 | 萝卜皮深度神经网络模型的快速进步显著增强了从微生物序列数据中提取特征的能力，这对于解决生物学挑战至关重要。 然而，标记微生物数据的稀缺性和复杂性给监督学习方法带来了巨大的困难。 为了解决这些问题，山东大学的研究人员提出了 DNASimCLR，这是一个专为高效基因序列数据特征提取而设计的无监督框架。

编辑 | 萝卜皮近年来，基因编辑技术以及各种基因治疗方法使科学家能够改变活细胞内的基因。 然而，只影响特定细胞类型或组织中的基因，而不是影响整个生物体的基因，一直很困难。 部分原因是人们对控制基因表达和抑制的 DNA 开关 [即顺式调控元件 (CRE）] 的理解仍面临挑战。

手机还是更适合小模型大模型虽然好，但我的笔记本和手机都跑不动呀。 就算勉强能跑起来，也是奇慢无比。 而与此同时，对适合移动和边缘设备的小模型的需求却在不断增长，因为这些模型似乎才能真正满足人们的日常需求。

编辑 | KX分子对接是一种预测配体结合姿势的技术，在基于结构的药物设计中对于理解蛋白质-配体相互作用至关重要。 最近，几何深度学习 (GDL) 对接方法，比传统采样方法具有更高的效率和准确性。 然而，当前的方法通常是针对特定的对接设置量身定制的，并且会忽略蛋白质侧链结构，难以处理大型结合口袋，难以预测物理有效结构。

论文已上期刊，数学家表示赞叹。 几千年过去了，勾股定理还能有新发现？ 而且还是被两个高中生发现的？

编辑 | ScienceAI3D 医学图像分割方法已经取得了成功，但它们对大量体素级标注数据的依赖是一个需要解决的缺点，因为获取这些标注的成本很高。 半监督学习（SSL）通过使用大量未标注数据和少量标注数据进行模型训练，解决了这一问题。 最成功的 SSL 方法基于一致性学习，即通过最小化从扰动视图中获得的模型响应之间的距离来实现的。

编辑 | KX「机器人有可望将我们日常的科学实验室变成加速科学发现的自动化工厂。 」实验室即将迎来一场全面而彻底的变革。 自动化机器人和 AI 技术可以使科学实验更快、更安全、更准确、可重复性更高，从而使科学家能够在更短的时间内开发新分子、材料和化学系统。

地球上最早的生命证据至少可以追溯到 35 亿年前，而直到大约 25 万到 40 万年前，智人才出现地球上。 在这漫长的岁月中，生物不断地兴盛又覆灭，但整体趋势总是越来越复杂，其中最复杂的生物组件莫过于我们智人的大脑。 这样的复杂性是我们的意识和智慧的来源。

作者 | 「深度原理」陆婕妤编辑 | ScienceAI现代科学研究中，化学空间的探索是化学发现和材料科学的核心挑战之一。 过渡金属配合物（TMCs）的设计中，由金属和配体组成的庞大化学空间为多目标优化的搜索带来了难度。 为了解决这一问题，来自「深度原理」 (Deep Principle) 和康奈尔大学的研究者们开发了一种名为 LLM-EO（Large Language Model for Evo…

编辑 | ScienceAI伟大科学家的研究，往往开始于一个小的灵感、小的创意。 长久以来，科学创新与研究能力被视为人类在人工智能时代中坚守的一片独特领地。 然而，一篇来自西湖大学深度学习实验室的论文在科学界掀起了波澜。

棉花产量与纤维品质如何受到DNA甲基化调控？ 在AI的帮助下，中国棉花育种专家成功破译这一“密码本”，并从中找出有望改良棉花品种的关键基因位点。 近日，由浙江大学棉花精准育种团队、中国农科院生物技术所和湖畔实验室（阿里巴巴达摩院）智慧育种团队组成的联合科研团队，综合运用遗传学、生物大数据和AI技术，构建了涵盖207个品种的棉花全基因组DNA甲基化图谱，鉴定2.87亿个单甲基化多态性（SMP）位点，…

编辑 | 萝卜皮优化候选分子的物理化学和功能特性一直是药物和材料设计中的一项关键任务。 虽然人工智能很适合处理平衡多个（可能相互冲突的）优化目标的任务，但是例如多属性标记训练数据的稀疏性等技术挑战，长期以来阻碍了解决方案的开发。 在最新的研究中，浙江大学侯廷军团队、中南大学曹东升团队以及碳硅智慧团队联合开发了一种分子优化工具 Prompt-MolOpt。