编辑 | X
气体分离对于工业生产和环境保护至关重要，金属有机框架（MOF）由于其独特的机能而成为气体分离范畴一种有前途的质料。
传统的模拟方法，如分子动力学，复杂且计算量要求高。虽然鉴于特征工程的机器进修方法表现更好，但由于标识数据有限，很容易出现过度拟合。此外，这些方法通常是针对单一恣意而设计的。
为了应对这些挑战，由清华大学、加州大学、中山大学、苏州大学、深势科技和北京科学智能研究院（AI for Science Institute，Beijing，AISI） 组成的多机构团队，合作提出了 Uni-MOF，一种用于大规模三维 MOF 暗示进修的创新框架，专为多用途气体预计而设计。Uni-MOF 既顺应科学研究又顺应实际利用。
具体来说，Uni-MOF 可用作 MOF 质料的多功能气体吸附估算器。对于模拟数据，Uni-MOF 在所有数据集上都表现出非常高的预计精度。Uni-MOF 是机器进修在气体吸附范畴的开创性实践。
该研究以「A comprehensive transformer-based approach for high-accuracy gas adsorption predictions in metal-organic frameworks」为题，于 2024 年 3 月 1 日发布在《Nature Communications》上。
论文链接：https://www.nature.com/articles/s41467-024-46276-x
需要一个统一的吸附框架
金属有机框架（MOF）因其可调节的布局特点和化学成分被广泛利用于气体分离等范畴。
虽然 MOF 在气体吸附方面的潜力很大，但准确预计其吸附容量仍然是一个挑战。
分子动力学、蒙特卡罗（MC）等计算方法，计算成本高且实施复杂，限制了它们在大规模、多气体和高通量计算。此外，气体吸附的操作条件范围广，使预计变得更加复杂。
图神经网络和 Transformers 已被证明可以成功预计 MOF 属性。
尽管现有的预计吸附特点的模型具有高机能和强大的预计能力，但它们通常是为单一恣意而设计的，特别是预计特定条件下特定气体的吸附吸收率。然而，这些单一恣意预计的可用数据集通常是有限的，从而阻碍了模型的通用性。
另一方面，来自不同温度和压力环境下的各种吸附气体的标识数据的组合可以创建顺应整个工作条件下训练的大量数据集。增加的数据量还可以增强模型的泛化能力，并改善其实际工业用途。因此，需要一个统一的吸附框架来推进这些模型。
此外，针对大规模未标识 MOF 布局集成暗示进修，或预训练，可以进一步提高模型机能和暗示能力。
Uni-MOF 框架：既顺应科学研究又顺应实际利用
受此启发，研究团队提出 Uni-MOF 框架作为一种多用途解决方案，使用布局暗示进修来预计不同条件下 MOF 的气体吸附。
与其他鉴于 Transformer 的模型（例如 MOFormer 和 MOFTransformer）相比，Uni-MOF 作为鉴于 Transformer 的框架，不仅可以在预训练中识别和恢复纳米多孔质料的三维布局，从而大大提高了纳米多孔质料的稳健性。而且微调恣意还进一步考虑了温度、压力和不同气体分子等操作条件，这使得 Uni-MOF 既顺应科学研究又顺应实际利用。
Uni-MOF 作为 MOF 质料的综合气体吸附估计器，仅需要 MOF 的晶体信息文件 (CIF) 以及相关气体、温度和压力参数，就可以在广泛的操作条件下预计纳米多孔质料的气体吸附特点。Uni-MOF 框架易于使用并允许模块选择。
此外，通过将各种跨系统吸收标识数据与大量未标识布局数据的暗示进修相结合，有效解决了过度拟合的问题。这弥补了高质量数据和数据不足的不足，最终提高了气体吸附预计的准确性。
Uni-MOF 框架实现了原子级别的质料识别精度，而集成模型使 Uni-MOF 更适用于工程问题。毫无疑问，实现真正统一的模型是质料范畴未来的方向，而不仅仅是专注于专业范畴。Uni-MOF 是机器进修在气体吸附范畴的开创性实践。
Uni-MOF 框架概述
Uni-MOF 框架包括三维纳米多孔晶体的预训练和下游利用中多恣意预计的微调。
图 1：Uni-MOF 框架的示意图。（起源：论文）
三维晶体质料的预训练显著增强了下游恣意的预计机能，特别是对于大规模未标识数据。
为了解决训练数据集监督不充分的问题，研究人员收集了大量的 MOF 布局数据集，并使用 ToBaCCo.3.0 生成了超过 300,000 个 MOF。鉴于质料基因组策略和准反应组装算法 (QReaxAA) 的 COF 的高通量构建是可行的，从而建立一个全面的 COF 库。通过质料的空间构型，Uni-MOF 能够很好地进修质料的布局特点，最重要的是化学键信息。
为了使 Uni-MOF 能够进修更多样化的质料，从而提高对更广泛质料的泛化能力，在预训练过程中通过虚拟和实验方式引入了 MOF 和 COF。与 BERT 和 Uni-Mol 中的掩蔽标识恣意类似，Uni-MOF 采用掩蔽原子的预计恣意，从而促进预训练模型深入了解质料空间布局。
为了增强预训练的稳健性并推广进修到的暗示，研究人员向 MOF 的原始坐标引入了噪声。在预训练阶段，设计了两个恣意。（1）从噪声数据中重建原始三维位置，（2）预计屏蔽原子。这些恣意可以增强模型的稳健性并提高下游预计机能。
除了多样化的空间构型之外，一套全面的质料属性数据点对于模型训练也至关重要。为了丰富数据集，研究人员建立了自定义数据生成流程（如图 1b 所示）。
Uni-MOF 的微调鉴于通过预训练获取的暗示的提取，以及使用自制工作流程生成和收集大量数据集。在微调过程中，使用 MOF 和 COF 各种吸附条件下的约 3,000,000 个标识数据点来训练模型，从而能够准确预计吸附容量。
凭借跨系统目标数据的多样化数据库，经过微调的 Uni-MOF 可以预计 MOF 在任意状态下的多系统吸附特点。因此，Uni-MOF 是一个统一且易于使用的框架，用于预计 MOF 吸附剂的吸附机能。
最重要的是，Uni-MOF 无需额外的人工来识别人类定义的布局特征。相反，MOF 的 CIF 以及相关气体、温度和压力参数就足够了。自监督进修策略和丰富的数据库确保 Uni-MOF 能够预计纳米多孔质料在各种操作参数下的气体吸附特点，从而使其成为一种熟练的 MOF 质料气体吸附估计器。
预计精度高达 0.98，可跨系统预计
该研究对包含超过 631,000 个 MOF 和 COF 的数据库进行了自监督进修，预计精度高达 0.98。这表明鉴于三维预训练的暗示进修框架有效地进修了 MOF 的复杂布局信息，同时避免了过拟合。
利用 Uni-MOF 对三大数据库（hMOF_MOFX-DB，CoRE_MOFX-DB 和 CoRE_MAP_DB）的气体吸附机能进行了预计，在数据充足的数据库中取得了高达 0.98 的预计精度。
图 2：Uni-MOF 在大规模数据库中的整体机能。（起源：论文）
在数据集充分采样的情况下，Uni-MOF 不仅保持了 0.83 以上的预计精度，而且仅通过预计低压下的吸附，就能准确选择高压下的高机能吸附剂，与实验筛选结果一致。因此，Uni-MOF 代表了质料科学范畴在机器进修技术利用方面的重大突破。
图 3：鉴于低压预计和高压实验值的吸附等温线，每条曲线代表 Langmuir 拟合。（起源：论文）
此外，与单系统恣意相比，Uni-MOF 框架在跨系统数据集上表现出优越的机能，可以准确预计未知气体的吸附特点，预计精度高达 0.85，展示了其强大的预计能力和通用性。
图 4：Uni-MOF 跨系统预计案例。（起源：论文）
研究表明，预训练的自监督进修策略可以有效提高 Uni-MOF 的稳健性和下游预计机能。
图 5：Uni-MOF 和 Uni-MOF 无预训练比较。（起源：论文）
通过对三维布局进行广泛的预训练，Uni-MOF 有效地进修了 MOF 的布局特征，实现了 hMOF 的 0.99 的高决定系数。
图 6：布局特征预计与分析。（起源：论文）
此外，t-SNE（t 分布随机邻域嵌入）分析证实，微调阶段可以进一步进修布局特征，并且可以很好地识别具有不同吸附物行为的布局，这表明进修的暗示与气体吸附目标之间存在很强的相关性。
图 7：hMOF 和 CoRE_MOF 数据集中 MOF 布局暗示的可视化，低维嵌入通过 t-SNE 方法计算。（起源：论文）
总之，Uni-MOF 框架作为 MOF 质料的多功能预计平台，充当 MOF 的气体吸附估计器，在预计不同操作条件下的气体吸附方面具有很高的精度，在质料科学范畴具有广泛的利用前景。