理论

上海交大&上海AI Lab发布开源多模态调理大模型RadFM

编辑 | XX 射线叠层干系衍射成像（X-ray ptychography）是一种理论上能够实现衍射极限分辨率的干系衍射成像手艺，已广泛应用于材料、生命、半导体、能源等多种迷信范畴研讨。新一代同步辐射光源可提供高干系度和高亮度的X射线，推动干系成像手艺向高通量多维度方向发展，使得 ptychography 在大体积样本的精细结构研讨和功能表征方面具有极佳的应用前景。然而，新的尝试模式与应用场景带来…

编纂 | 紫罗逆向蛋白质折叠（Inverse Protein Folding，IPF）是蛋白质计划的一项重要使命，其目的是计划与给定主链构造兼容的序列。尽管该使命的算法发展迅速，但现有方式在生成序列时往往依赖于位于局部邻域的噪声预测残基。为了解决这个限制，来自香港中文大学、之江实验室、华为诺亚方舟实验室和南京医科大学的研讨团队，提出了一种基于熵的残差选择方式来消除输入残差上下文中的噪声。此外，研讨…

编辑 | 白菜叶许多自然和人造零碎都容易发生症结改变——静态方面的突然且可能具有破坏性的变化。深度进修分类器可以通过从大型模拟训练数据集中进修分叉的通用特征，为症结改变供给预警信号。到目前为止，分类器仅被训练来预测连续光阴分岔，忽略了凝结光阴分岔所特有的丰富静态。在这里，麦吉尔大学（McGill University）Thomas M. Bury 的研讨团队训练一个深度进修分类器，为余维一的五个局…

编辑 | XAlphaFold2 (AF2) 通过准确展望卵白质的单一构造彻底改变了构造生物学。然而，卵白质的生物学功能通常取决于多种构象亚状况，而致病的点渐变往往会导致这些亚状况内的种群变化。来自布兰迪斯大学和霍华德·休斯医学研讨所（Brandeis University and Howard Hughes Medical Institute）、哈佛大学和剑桥大学的研讨团队，研讨证明通过序列相似…

编辑 | 绿萝在数据可用性和估计方面，大规模使得自然言语处理和估计机视觉等深度进修关键应用范畴取得了重要突破。越来越多的证据表明，规模可能是迷信深度进修的关键因素，但物理先验在迷信范畴的重要性使得规模化的策略和收益变得不确定。近日，来自 MIT 的钻研团队通过将模型和数据集巨细改变多个数量级来钻研庞大化学模型中的神经标准（neural-scaling）行为，钻研具有超过 10 亿个参数的模型，并在…

AGI 该如何分别，谷歌 DeepMind 给出了标准。我们到底该如何界说 AGI（通用人工智能）？如果你要求 100 位 AI 专家进行解答，你可能会得到 100 个相关但不同的界说。现阶段，AGI 是 AI 研究中一个重要且存在争议的概念，有研究者认为 AGI 已经出现在最新一代大语言模型（LLM）中；还有一些人预测人工智能将在大约十年内超越人类，甚至断言当前的 LLM 就是 AGI。深入理解…

聚焦大模型 机器人。自 2017 年首次举办以来，CoRL 已经成为了机器人学与机器进修交叉领域的全球顶级学术会议之一。CoRL 是面向机器人进修钻研的 single-track 会议，涵盖机器人学、机器进修和控制等多个主题，包括理论与应用。2023 年的 CoRL 大会于 11 月 6 日至 9 日在美国亚特兰大举行。据官方数据透露，今年来自 25 个国家的 199 篇论文入选 CoRL，热门主…

编译 | 绿萝2023 年 11 月 7 日，Google Research 高级研讨科学家，Google 团队衔接组学负责人 Viren Jain，在《Nature》发表了题为《人工智能如何更好地理解大脑》（How AI could lead to a better understanding of the brain）的评论文章。论文链接：？这是数学家、理论家和实验学家长期以来一直在问的一个问…

编辑 | 白菜叶精良的泛化才能是自然语言处理（NLP）模型的主要需求之一，但「精良的泛化」意味着什么以及如何评价它还没有得到很好的明白。FAIR、阿姆斯特丹大学（University of Amsterdam）、爱丁堡大学（University of Edinburgh）的钻研职员提出了一种用于表征和明白 NLP 泛化钻研的分类法。该分类法基于宽泛的文献综述，包含五个轴，泛化钻研可能沿这些轴有所差…

编辑 | 萝卜皮卵白质-卵白质相互作用（PPI）对于生物过程至关重要，展望这些相互作用的位点对于计算和实验应用都很重要。杜克大学（Duke University）和康奈尔大学（Cornell University）的研讨职员提出了一种与构造无关的谈话Transformer和肽优先级（Structure-agnostic Language Transformer and Peptide Priori…

难道 Transformer 注定无法解决「训练数据」之外的新成绩？说起大语言模型所展示的令人印象深刻的才智，其中之一就是通过提供上下文中的样本，要求模型根据最终提供的输入生成一个响应，从而实现少样本进修的才智。这一点依靠的是底层机器进修技术「Transformer 模型」，并且它们也能在语言以外的领域执行上下文进修任务。以往的经验注解，对于在预训练混合体中得到充分体现的任务族或函数类，挑选适当函…

编辑 | 萝卜皮在药物开发过程中，收集有关药物（对象）由于与另一种药物（积淀剂）的药代动力学（PK）药物相互作用（DDI）而导致的临床裸露变化的信息至关重要。虽然已经发布了许多用于 DDI 的自然语言处理 (NLP) 步骤，但大多数步骤旨在评价文本中是否存在（以及何种）DDI 干系，而不辨认 DDI 的方向（对象与积淀药物）。在这里，美国食品药品监督管理局（Food and Drug Admini…

编辑 | 萝卜皮在药物开发过程中，收集有关药物（对象）由于与另一种药物（积淀剂）的药代动力学（PK）药物相互作用（DDI）而导致的临床隐蔽变化的信息至关重要。虽然已经发布了许多用于 DDI 的自然语言处理 (NLP) 要领，但大多数要领旨在评价文本中是否存在（以及何种）DDI 联系，而不辨认 DDI 的方向（对象与积淀药物）。在这里，美国食品药品监督管理局（Food and Drug Admini…

没有「懂得」，「创造」也就无从谈起。从 ChatGPT 到 GPT4，从 DALL・E 2/3 到 Midjourney，生成式 AI 引发了前所未有的全球关注。强大的潜力让人们对 AI 产生了许多期待，但是强大的智能也会引发人们的恐惧和担忧。近期大牛们针对该题目还上演了一场激烈的论战。先是图灵得奖主们「混战」，后有吴恩达下场加入。在言语和视觉领域，目前的生成模型只需要几秒钟就可输入，甚至能够挑战…

从失误中进修，不只是人类可以做到。近日有研究发现，大模型其实也可以借鉴这种思路。这段时间，大语言模型在各种 NLP 恣意中取得了重大进展，尤其是在需要复杂的思维链（CoT）推理的数学题目方面。比如在 GSM8K、MATH 这样的高难度数学恣意的数据集中，包括 GPT-4 和 PaLM-2 在内的专有模型已取得显著成果。在这方面，开源大模型还有相当的提升空间。为了进一步提高开源大模型处理数学恣意的 …

纯文本对话，安能辩我是 AI？在尝试 AI 时，图灵尝试是一个饱受争议但也久负盛名的评估方法，因此总会有研究者不畏繁琐，对新兴的说话模型进行图灵尝试。近日，对 GPT-4 的图灵尝试结果新鲜出炉了。                                 此图由AI生成「机器能够思考吗？」为了解答这个问题，图灵安排了一个能间接提供答案的模仿游玩。该游玩的最初安排涉及到两位见证者（witne…

现在双方 2:2 了。关于「AI灭尽论」引发的一系列争论，各路大佬们又吵起来了。这次加入争吵的是著名人工智能学者、斯坦福大学计算机科学系教授吴恩达。在此之前，深度学习三巨子 Geoffrey Hinton、Yoshua Bengio、Yann LeCun 的辩论已经开始。Hinton 和 Bengio 的见解基本一致，他们觉得需要加强对 AI 技术的禁锢，例如，就在前几日， Hinton 和 Be…

通用模型时代下，当今和未来的前沿 AI 体系如何与人类意图对齐？通往 AGI 的道路上，AI Alignment (AI 对齐) 是安全打开 “潘多拉魔盒” 的黄金密钥。论文（持续更新）：arxiv.org/abs/2310.19852AI Alignment 纵览网站（持续更新）：www.alignmentsurvey.comGitHub：github.com/PKU-Alignment/Ali…

编辑 | 萝卜皮细胞间相互作用（CCIs）在细胞分化、组织稳态和免疫反应等许多生物过程中发挥着关键作用。随着高通量单细胞RNA测序（scRNA-seq）技术的快速发展，从不断增加的 scRNA-seq 数据中辨别CCIs变得非常重要。然而，受算法限制，当前鉴于统计策略的计算办法忽略了高度稀疏性和异质性的 scRNA-seq 数据中包含的一些关键潜伏信息。哈尔滨工业大学和南方医科大学的钻研团队开发了…

即便大言语模型的参数规模日渐增长，其模型中的参数到底是如何发挥作用的还是让人难以琢磨，直接对大模型进行分析又费钱费力。针对这种情况，微软的两位研讨员想到了一个绝佳的切入点，用生成简练但是又涵盖各种常见逻辑和语法的童话小说来作为模型的生成任务，这样做能在减少模型的进修负担的同时，保留模型对逻辑和语法的进修能力，进而用小模型来分析参数发挥的作用。这种法子可能会开创一条新的研讨道路。人们都知道，学英语不…

中山大学和华为等机构的研究者提出了 LEGO-Prover，实现了数学定理的生成、整理、储存、检索和复用的全流程闭环。背景作为长链条严格推理的典范，数学推理被认为是衡量谈话模型推理能力的重要基准，GSM8K 和 MATH 等数学文字课题（math word problem）数据集被广泛应用于谈话模型的测评和比较中。事实上，数学作为一项科学研究并不仅仅包括计算具体实例，还包括推演一般性的定理。不同于…

注明题目难以办理究竟有多难？元复杂性（meta-complexity）实践研讨者数十年来一直探究这个题目。近期的一系列研讨成果开始给出这个题目的答案。复杂性实践研讨者正直面着最让人困惑的题目：复杂性实践本身。一、起源2007 年秋季学期的第一周，Marco Carmosino 拖着自己去上了一堂数学课，这是马萨诸塞大学阿默斯特分校估计机科学专业学生的必修课。Carmosino 是一位大二学生，他当…

编辑 | 紫罗用有机溶剂溶解聚合物是高份子材料钻研和开发中必不可少的过程，包括塑料回收、聚合物合成、精制、涂漆和涂层等。然而，展望和理解聚合物-溶剂二元体系的相平衡或相分离是聚合物化学中尚未解决的基本问题。日本统计数理钻研所（The Institute of Statistical Mathematics）的钻研职员利用三菱化学集团 (MCG) 的量子化学较量争论数据库，开发了一种新型呆板进修体系…