世界是变化的,份子是运动的,从展望固态单一布局走向动态构象分散是揭示蛋白质等生物份子功能的重要一步。探索蛋白质的构象分散,能帮助理解蛋白质与其他份子相互作用的生物过程;识别蛋白质表面下的潜在药物位点,描绘各个亚稳态之间的过渡路径,有助于研究人员计划出具有更强特异性和效力的目标抑制剂和治疗药物。但传统的份子动力学模拟法子昂贵且耗时,难以跨越长的时间尺度,从而观察到重要的生物过程。
近年来的深度学习蛋白质布局展望模型在这个问题上也同样碰壁,往往只能展望固态单一布局,包括最近再次登上 Nature 的 AlphaFold 3,Deepmind 的研究者也承认其仍然专注于份子布局的固态展望,对动力学行为的刻画还不够。另一方面,蛋白质构象并非随机分散,而是玻尔兹曼分散,其出现的概率与其自由能量成指数级的反比。一些研究使用启发性采样或模型加噪去噪的法子,但均不能保证采样的布局是目标蛋白质的低能态,也不能保证采样的分散服从确实的玻尔兹曼分散。
图片来源: 《Accurate structure prediction of biomolecular interactions》AlphaFold3:构象覆盖度有限。AlphaFold3对蛋白质Cereblon在有/无配体结合条件下的展望显示出局限的构象变化。灰色:确实布局;蓝色:AlphaFold3展望布局。
造成现有模型难以展望动态构象分散的主要原因是,蛋白质布局数据集仅有实验剖析的单一固态布局或结合态布局,布局数据集的偏置导致了模型难于展望确实的分散。另一方面,物理知识的缺失导致模型无法模拟份子动力学行为,从而与确实世界对齐。
在此,来自字节跳动 ByteDance Research 的研究人员提出了一种物理信息导致的蛋白质构象生成集中模型 CONFDIFF,通过模型来展望中间时刻的力场与能量来导致模型生成高质量构象。论文已被 ICML 2024 录用。
论文链接:http://arxiv.org/abs/2403.14088
该模型充分利用了物理知识来导致模型与确实世界对齐,同时又规避了实时的力场和能量的计算,相比传统法子有巨大的加速。多项实验表明,力场和能量能够有效导致模型采样低能量的构象,进而产生更加多样化的样本,这些样本分散上也更符合确实的玻尔兹曼分散。
局部蛋白质动态
蛋白质反折叠
能量与力场导致下的蛋白质构象生成集中模型
CONFDIFF 首先在 SE (3) 空间上构建了一个非条件的生成集中模型,通过展望主链原子坐标和主链朝向来构建蛋白质构象。为了充分利用先验布局和序列信息,CONFDIFF 使用目标序列的预训练表示训练了一个基于序列的条件生成模型来导致上述的非条件模型,使生成构象拥有多样性的同时又能符合相应的布局与序列约束。
图 1:COFFDIFF 算法示意图
在此基础上,为使分散符合能量玻尔兹曼分散,研究者提出了能量与力场导致法子,其中最重要的是计算中间时刻的能量梯度(即力场)。为了规避昂贵耗时的实时能量或力场计算,研究者使用神经网络来展望这个量,并创新性提出了两种匹配训练法子并推导了相应公式,具体公式细节可参见论文。
第一种法子是展望中间时刻能量,并使用对中间布局进行自动求导,相应的能量匹配的训练公式较为简单。但是能量可能存在数值稳定问题,而且推理布局需要储存和回传梯度,对显存和算力均存在负担。
第二种更推荐的法子是直接展望中间时刻能量的梯度(即力场),研究者也推导了相应的力场匹配训练公式。后续的系列实验也证明力场的法子更优。模型展望的能量和力场继续导致上述非条件模型,生成的构象进一步得到了的物理约束与导致,势能更低且分散更符合玻尔兹曼分散。
生成低能且服从确实分散的蛋白质构象
研究者评价了不同导致法子下模型在蛋白质构象生成任务上的性能,在快速折叠蛋白质(fast-folding proteins)和 牛胰蛋白酶抑制剂(BPTI)两种包含份子动力学模拟生成构象的蛋白质数据集上着重考察了生成样本的是否属于低能态、多样化且服从确实分散。
1. 快速折叠蛋白质(fast-folding proteins)评价
研究者在快速折叠蛋白质数据集上评价模型展望构象分散的能力。评价了生成样本和确实份子动力学样本分散之间的 Jensen-Shannon 距离 (JS Distance),以及多样性的有效性得分和 RMSF,残基之间展望接触率 RMSE。表 1 展示了各模型展望构象的性能,图 2 中展示了 TIC(time-lagged independent components)投影中的样本分散。
在展望样本分散和展望残基接触的 RMSE 等指标方面,CONFDIFF 优于已有的 EigenFold 和 Str2Str 等模型。值得注意的是,引入能量和力场导致在保持了构象多样性的同时提高了构象的生成有效性,证实了物理导致法子的优势。力场导致的法子也相对更优于能量导致的法子。
表 1:快速折叠蛋白质(fast-folding proteins)上各模型展望构象性能
图 2:快速折叠蛋白质 TIC 投影样本分散
2. 牛胰蛋白酶抑制剂(BPTI)亚稳态展望
研究者评价了模型展望 5 种 BPTI 原生折叠态附近亚稳态的质量。指标为 5 个聚类的最佳 RMSD 平均值(RMSDAVG)和最难采样的聚类 3 的 RMSD 平均值(RMSDCLS3)。如表 2 所示,CONFDIFF 在展望不同亚稳态方面有更好的能力,力场导致的模型在这两个指标上都表现最好。通过进一步比较不同采样样本量下的指标来评价模型的采样效率,如图 3 所示。CONFDIFF 模型对聚类 3 的采样效率都很好,同样地,力场导致的模型也取得了最好效果。
表 2:模型展望 BPTI 亚稳态质量
图 3:模型采样 BPTI 效率
图 4:模型展望 BPTI 亚稳态蛋白质具体例子(确实布局涂色,采样布局灰色)
3. 力场导致模型采样
研究者以快速折叠蛋白中的 WW Domain 蛋白为例,探究了 CONFDIFF 在不同程度的力场导致 (η) 和序列条件 (γ) 影响下生成构象的效果如图 5 所示。结果表明,力场导致的模型可以在不显著降低多样性的情况下提高构象稳定性。研究者同样探究了不同强度下能量导致的模型采样结果,得到了相似结论,已展示在论文附录中。
图 5:在不同的力场导致 (η) 和序列条件 (γ) 下,WW Domain 的采样构象的能量 (左) 和多样性 (右)
总结:通过物理信息导致向确实世界迈进
现有的蛋白质布局数据库的构象多样性有限,相应的蛋白质布局展望模型及在此基础上衍生的生成集中模型都往往只能展望折叠布局而缺乏展望整个构象空间的能力。
字节跳动 ByteDance Research 的研究者首次将玻尔兹曼先验与生成集中模型结合,使用模型展望中间时刻能量与力场并导致模型生成更加低能多样且服从确实分散的构象。这一研究有助于扩展蛋白质布局的探索从展望固态单一布局走向展望动态构象分散,迈向更确实的物理世界,为准确的药效展望、理解成药机理、计划药物、发现新靶点等提供帮助。
揭示蛋白机理,探索生命本质
ByteDance Research AI 制药团队持续在 AI for Science 方向发力
ByteDance Research AI 制药团队致力于将人工智能技术应用于科学研究与药物开发。团队在生成式蛋白质计划、蛋白质构象展望以及冷冻电镜剖析等领域取得了业界瞩目的成果。
在生成式蛋白质计划方面,团队研发了基于大规模蛋白质语言模型的序列计划法子 LM-Design,大幅提高了蛋白质序列计划的准确度与效率;研发了结合集中模型与语言模型的新一代蛋白质基础模型 DPLM,首次全面统一了蛋白质建模、理解与生成;研发了基于偏好优化的抗体计划法子 AbDPO,能够计划出同时满足多种性质和能量要求的抗体。
在蛋白质动态构象展望方面,团队研发了 ConfDiff 等模型,准确展望了蛋白质的构象变化,加深了对蛋白质生物过程的理解,还为新药研发提供了可靠的理论基础。
冷冻电镜剖析方面,团队研发了 CryoSTAR 电镜剖析工具,结合人工智能技术和高分辨率成像,极大地提升了生物大份子布局剖析的速度和精度。这一技术有助于揭示复杂生物份子体系的构象特征和动态变化,为药物靶点的发现与计划提供了强有力的支持。
团队的研究成果多次发表在 ICML、NeurIPS、ICLR 等顶级学术会议上,得到学术界和业界的广泛认可。