让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述
AIxiv专栏是机器之心发布学术、技巧内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]。近期,大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形…- 7
- 0
吴恩达:多智能体合作是新关键,软件开发等义务将更高效
招很多智能体来帮我干活。前不久,斯坦福大学教授吴恩达在演讲中提到了智能体的巨大后劲,这也引起了众多讨论。其中,吴恩达谈到基于 GPT-3.5 构建的智能体工作流在应用中展现比 GPT-4 要好。这表明,将目光局限于大模型不一定可取,智能体或许会比其所用的基础模型更加优秀。在软件开发领域,这些智能体展示了其独特的能力,能够高效合作,处理编程中的繁复问题,甚至进行代码自动生成。最新的技术动态显示,AI…- 4
- 0
登Nature子刊,「呆板人+AI+MD模拟」减速质料创造和安排,创造全天然塑料替代品
编辑 | X塑料垃圾严重影响生态平衡和人类健康。近年来,质料科学家一直在努力追寻可用于包装、产品制造的塑料全天然替代品。然而,创造满足一定机能的全天然替代品仍具挑战性。当前的方式仍然依赖于迭代优化实验。近日,马里兰大学帕克分校(University of Maryland,College Park)的研讨职员,提出了一个集成的工作流程,将呆板人技术和呆板进修相结合,减速环保塑料替代品的创造和安排。…- 17
- 0
探索基本粒子集,人工智能筛选弦实践近乎无限的大概性
编辑 | 白菜叶几十年前,弦实践因其美丽的简单性而俘获了许多物理学家的心。该实践称,将一块空间放大得足够远,你将看不到大量的粒子或不稳定的量子场。只会有相同的能量股,振动、合并和分离。到 20 世纪 80 年代末,物理学家发现这些「弦」只能以几种方式跳动,这增加了物理学家追踪从跳舞的弦到我们天下的基本粒子的路径的诱人大概性。弦最深处的「隆隆声」会产生引力子,这是一种假设的粒子,被认为形成了时空的引…- 4
- 0
AI可以改写人类基因组吗?首次由AI从头设计的基因编写器成功编写人类细胞中DNA
编写 | 凯霞生成式 AI 可以对话、写诗、画图、做视频、作曲、写代码......那么,AI 可以改写人类基因组吗?现在,新的 AI 手艺正在为可编写 DNA 的微观生物机制绘制蓝图,这预示着未来科学家将以更高的精度和速度对抗疾病。近日,美国 AI 卵白质设计初创公司 Profluence 推出了 OpenCRISPRTM 计划,发布了世界上第一个开源的 AI 生成的基因编写器。Profluenc…- 7
- 0
体外命中率提高75%,Model Medicines&加州大学开发AI驱动的药物发明框架
编辑 | 萝卜皮在不断发展的药物发明领域,保守方法由于作用低和资源需求高而面临重大寻衅。AI 药物公司 Model Medicines 和加州大学圣地亚哥分校的研究人员开发了 GALILEO AI 药物发明平台及其核心模型 ChemPrint,旨在提高药物发明的作用。为了解决命中率低和试探新化学空间困难的寻衅,该平台采用自适应份子嵌入和严格的模型训练环境来增强展望能力并导航未知的份子领域。在针对 …- 30
- 0
鉴于Transformer的高效单阶段短时RGB-T单方向追踪格式
引言如图 1所示,现有的三阶段 RGB-T 单方向追踪收集通常采用两个独立的特色提取分支,分别负责提取两个模态的特色。然而,相互独立的特色提取分支会导致两个模态在特色提取阶段缺乏有效的信息交互。因此,一旦收集完成离线训练,其仅能从每个模态图象中提取固定的特色,无法根据实际的模态状态动态调整,以提取更具针对性的动态特色。这一局限性制约了收集对多样的方向双模态外表,以及模态外表间动态对应关系的适应能力…- 4
- 0
Transformer本可以急功近利,但就是不做
说话模型是否会规划将来 token?这篇论文给你答案。「别让 Yann LeCun 看见了。」Yann LeCun 表示太迟了,他已经看到了。今天要介绍的这篇 「LeCun 非要看」的论文探讨的问题是:Transformer 是急功近利的说话模型吗?当它在某个位子执行推理时,它会事先考虑后面的位子吗?这项研究得出的结论是:Transformer 有能力这样做,但在实践中不会这样做。 我们都知道,…- 10
- 0
4000万蛋白布局训练,西湖大学开发基于布局词表的蛋白质通用大模型,已开源
编辑 | ScienceAI蛋白质布局相比于序列往往被认为更加具有信息量,因为其直接决定了蛋白质的功能。而随着AlphaFold2带来的巨大突破,大量的猜测布局被发布出来供人研究应用。如何利用这些蛋白质布局来训练强大且通用的表征模型是一个值得研究的方向。西湖大学的研究人员利用Foldseek来处理蛋白质布局,将其编码成一维的离散token,并与传统的氨基酸举行结合,形成了布局感知词表(Struct…- 31
- 0
AI助力脑机接口钻研,纽约大学突破性神经语音解码技术,登Nature子刊
作者 | 陈旭鹏 编辑 | ScienceAI由于神经系统的缺陷导致的失语会导致严重的生活障碍,它可能会限制人们的职业和社交生活。近年来,深度学习和脑机接口(BCI)技术的飞速发展为开发能够帮助失语者沟通的神经语音假肢提供了可行性。然而,神经旌旗灯号的语音解码面临挑战。近日,纽约大学 VideoLab 和 Flinker Lab 的钻研者开发了一个新型的可微分语音合成器,可以利用一个轻型的卷积神经…- 5
- 0
药物份子安排新策略,微软前提散布模型DiffLinker登Nature子刊
编辑 | 紫罗药理学领域的化学空间高达 10^60,在广阔的化学空间中进行搜索,给药物安排带来了巨大的挑战。鉴于片断的药物发现一直是早期药物开发的有用范例。然而,该领域面临的一个挑战是,如何安排断开的感兴趣份子片断之间的接连子(linker),生成化学上合理的候选药物份子。在此,来自微软钻研院科学智能中心(AI4Science)、洛桑联邦理工学院、牛津大学和 MIT 的钻研团队,提出了一种用于份子…- 9
- 0
登Science,药物亲和力<5纳摩尔,加州大学开发特异性药物连系卵白的从头计算要领
编辑 | 萝卜皮随着抗癌钻研的不断深入,科学家们一直在寻找新的要领来提高治疗效果并减少副作用。小份子连系卵白的从头计划技术是解决这一问题的关键。然而,高亲和力连系和可调特异性,通常需要在计算计划后进行复杂的筛选和优化,这为钻研造成了重大阻碍。加州大学旧金山分校的钻研职员开发了一种名为 COMBS 的从头卵白质计划计算要领,并计划了能与新兴抗癌药物紧密连系的卵白质。实行考证表明,所计划的卵白质与药物…- 5
- 0
对25,000多个原子进行纳秒级MD摹拟,DeepMind开发基于ML的大规模份子摹拟通用方法
编辑 | 萝卜皮份子动力学 (MD) 摹拟可以深入了解复杂的过程,但准确的 MD 摹拟需要昂贵的量子力学估计。对于较大的零碎,利用高效但不太可靠的经验力场。机器进修力场(MLFF)提供与重新估计方法相当的精度,速度更快更高效,但难以摹拟大份子中的长程相互作用。Google DeepMind、柏林工业大学(Technische Universität Berlin)和卢森堡大学(University…- 7
- 0
比手动快13倍多,「机器人+AI」发现电池最佳电解质,加速质料研讨
编辑 | 紫罗传统的质料研发模式主要依赖「试错」的试验要领或偶然性的发现,其研发过程一般长达 10-20 年。虽然基于机器进修 (ML) 的数据驱动要领可以加速清洁能源技术新质料的设计,但由于缺乏大型高保真试验数据库,其在质料研讨中的实际利用仍然受到限制。近日,美国西北太平洋国家试验室和阿贡国家试验室的研讨团队,设计了一个高度自动化的职业过程,将高通量试验平台与最先进的主动进修算法相结合,可有效挑…- 3
- 0
Nat. Mach. Intell.|设想超高效疫苗,普林斯顿团队开发首个解码mRNA序列大模型
图来自网络编辑 | ScienceAI普林斯顿王梦迪团队迎来了一项具有划时代意义的突破,该团队开发了世界首个解码mRNA非翻译地区序列的大模型,用于准确猜测从mRNA到蛋白质的转录功能,及设想新序列用于mRNA疫苗。该研讨论文的题目是「A 5’ UTR Language Model for Decoding Untranslated Regions of mRNA and Function Pre…- 18
- 0
3倍灵敏度,搜刮百万卵白对只需几秒,复旦、山大、上海交大开发新的卵白质说话模型
编辑 | 萝卜皮同源卵白质搜刮是卵白质注释和分析最常用的格式之一。与布局搜刮相比,仅从序列中检测近程进化关系仍然具有挑战性。复旦大学、山东大学以及上海交通大学的钻研团队提出了 PLMSearch(Protein Language Model),一种仅以序列作为输出的同源卵白质搜刮格式,能够捕获隐藏在序列后面的近程同源信息。PLMSearch 可以像 MMseqs2 一样在几秒钟内搜刮数百万个查问宗…- 14
- 0
化学威力超GPT-4,首个化学范畴百亿级大模型,思必驰、上交大、苏州实验室联合发布
编辑 | ScienceAI2024年3月12日,思必驰-上海交大智能人机交互联合实验室、苏州实验室共同发布了首个针对化学科学的百亿级业余化大模型ChemDFM。模型参数现已完全开源以帮助和促进大模型帮助化学科研范畴的相干钻研()。此外,ChemDFM的钻研论文也已作为相干范畴的第一篇钻研论文于arXiv预印本网站上公开发表。论文链接:,引入了海量的化学基础与前沿常识,充分学习并掌握化学科学的专有…- 35
- 0
攻陷短视频后,Sora将须要72万块H100 GPU
在被大规模采用后,Sora 的推理成本将很快超过训练成本。OpenAI 推出的 Sora 模型能够在各种场景下生成极其逼真的视频,吸引了全世界的目光。近日,投资机构 factorial funds 发表了一篇博文,深入探讨了 Sora 背后的一些手艺细节,并对这些视频模型可能产生影响从事了探讨。最后,文中还讨论了对用于训练 Sora 等模型的算力的看法,并对训练估计与推理估计的算力比较从事了预测,…- 4
- 0
吴恩达:别光盯着GPT-5,用GPT-4做个智能体能够提前达到GPT-5的成果
智能体的潜力被低估了?AI 智能体是去年很火的一个话题,但是 AI 智能体到底有多大的潜力,得多人能够没有概念。最近,斯坦福大学教授吴恩达在演讲中提到,他们发现,基于 GPT-3.5 建立的智能体任务流在应用中表现比 GPT-4 要好。当然,基于 GPT-4 建立的智能体任务流成果更好。由此看来,AI 智能体任务流将在今年推动人工智能取得巨大进步,甚至能够超过下一代基础模型。这是一个值得所有人关注…- 7
- 0
优于SOTA,腾讯AI Lab开发双重聚集模型,实现靶标配体3D份子生成和开始化合物优化
编辑 | 萝卜皮基于结构的生成化学,通过探索广阔的化学空间来设计对靶标具备高结合亲和力的配体,在计算机辅助药物发现中至关重要。然而,传统的计算机格式受到计算效率低下的限制,机器学习格式则因自回归采样而面临瓶颈。为了解决这些问题,腾讯 AI lab、香港城市大学、锐格医药(Regor Therapeutics Group)的研讨职员开发了一种条件深度生成模型 PMDM,用于生成适合一定靶标的 3D …- 5
- 0
优于人类大师,GPT-4 准确解释单细胞类别,成本低且稳健
编辑 | 萝卜皮GPT-4 是一种专为语音理解和生成而设计的大型语言模型。哥伦比亚大学梅尔曼公共卫生学院(Columbia University Mailman School of Public Health)的 Wenpin Hou 和杜克大学医学院(Duke University School of Medicine)的 Zhicheng Ji 证实,大语言模型 GPT-4 可以在单细胞 RN…- 5
- 0
促进癌症医治,之江实验室团队开发端到端深度进修模型 DeepAEG
编辑 | 白菜叶由于药物疗效的不确定性和患者的异质性,癌症药物反应的预计是现代个性化癌症医治中的一个具有挑战性的课题。而且,药物本身的特性和患者的基因组特性可以极大地影响癌症药物反应的结果。因此,准确、高效、全面的药物特性提炼和基因组学调整办法对于提高预计精度至关重要。之江实验室的钻研团队提出了一种名为 DeepAEG 的端到端深度进修模型,它鉴于完整图更新模式来预计 IC50 值。并且,钻研职员…- 3
- 0
Nature|呆板进修和物理模型的「双向奔赴」,3种AI天气建模方法
编辑 | ScienceAI天气科学家 Tapio Schneider 很高兴,因为呆板进修让他摆脱了日常工作中繁琐乏味的任务。十多年前,当他第一次开始摹拟云的形成时,这主要涉及到煞费苦心地调整描述水滴、气流和温度如何相互作用的方程。但自 2017 年以来,呆板进修和人工智能 (AI) 改变了他的工作方式。「呆板进修让这门科学变得更加有趣,」在加州理工学院工作的 Schneider 说。「它速度更…- 5
- 0
准确率 >98%,基于电子密度的 GPT 用于化学钻研,登 Nature 子刊
编辑 | 紫罗可合成的份子化学空间是巨大的。要想有效地驾驭这一领域,需要基于计算的筛选技术,如深度学习技术,以快速跟踪感兴趣的化合物发觉。然而,利用算法从事化学发觉需要将份子结构变换为计算机可用的数字透露表现形式,并开发基于这些透露表现形式的算法来生成新的份子结构。近日,来自英国格拉斯哥大学(University of Glasgow)的钻研人员,提出了一种基于电子密度训练的机器学习模型,用于生产…- 4
- 0
理论
❯
个人中心
今日签到
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
- ¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!