不同于蛋白质范畴，RNA 范畴的研讨往往缺少充足的标注数据，比如 3D 数据只有 1000 多个 RNA。这极大限制了机器学习方法在 RNA 构造功用展望义务中的开发。
为了弥补标注数据的不足，本文展示了一项可为 RNA 各类研讨提供丰富构造功用知识的基石模型 ——RNA foundation model (RNA-FM)。作为全球首个鉴于 23 million 的无标签 RNA 序列通过无监视方式训练得到的 RNA 基石模型，RNA-FM 挖掘出了 RNA 序列中蕴含的进化和构造模式。
值得注意的是，RNA-FM 仅需要配比简单的卑鄙模型，或是仅提供 embedding，就能够在很多卑鄙义务中获得远超 SOTA 的表现，比如在二级构造展望中可以晋升 20%，距离图展望可以晋升 30%。大规模的实验证明，该模型具有极强的泛化性，甚至可以用于 COVID-19 以及 mRNA 的调控片段。
论文预印本：https://arxiv.org/abs/2204.00300
代码和模型：https://github.com/ml4bio/RNA-FM
Server: https://proj.cse.cuhk.edu.hk/rnafm
引言
近年来，鉴于深度学习的生物计算方法在蛋白质范畴取得了突破性的进展，其中最著名的里程碑当属谷歌 DeepMind 团队研发的端到端蛋白质 3D 构造展望框架 AlphaFold2。然而蛋白质只是诸多生物分子的一种，基因（DNA/RNA）作为蛋白质的产生源头，其相比于后者蕴含了更多的基础信息，有着更重要的研讨价值。
一般而言，蛋白质是由用于编码（coding）的 RNA，也就是 mRNA，翻译得到的产物，一段固定的 mRNA 可以翻译为一段固定的蛋白质序列。而实际上这部分用于编码的 RNA 只占所有 RNA 序列的 2%，剩下的 98% 是非编码 RNA（non-coding RNA，ncRNA）。虽然 ncRNA 并不直接 “翻译” 成蛋白质，但是他们会折叠成具有特定功用的三级构造，在 mRNA 的翻译过程中或是其他生物机能中起到调控的作用。因此，分析 ncRNA 的构造以及功用是比蛋白质分析更为基础，也更为复杂的研讨。
不过相比于计算方法较为成熟的蛋白质范畴，目前鉴于 RNA 的构造和功用展望还处于初期，而原本适用于蛋白范畴的计算方法也很难直接迁移到 RNA 范畴。限制这些计算方法的主要是 RNA 数据的标注通常获取很难，需要耗费很多的实验资源和时间才能完成少量数据的标注，而计算方法大多又需要大量的标注数据举行监视才能发挥高性能。虽然有标注的数据不多，但 RNA 范畴其实也积累了很多的无标注序列数据。本文的方法便是哄骗这些无标签的数据为各种卑鄙义务提供额外的有效信息。
鉴于这种考虑，港中文、MIT、复旦及上海人工智能实验室团队提出了一个以无监视方式在 23million 的无标签纯 RNA 序列上训练的基石模型RNA foundation model (RNA-FM)。虽然数据在训练过程中没有提供标注信息，但是 RNA-FM 仍以无监视的方式挖掘出了这些 RNA 序列蕴含着的进化和构造模式。
如果能够有效地将 RNA-FM 应用于卑鄙的 RNA 构造和功用展望义务中，这些计算方法必将受益于 RNA-FM 归纳得到的知识，进而实现性能表现上的晋升。RNA-FM 的上游预训练以及卑鄙的迁移和应用框架如下图所示。
研讨概览
为了确认预训练的 RNA-FM 是否从大量的无标签数据中学到了 “知识” 以及学到了怎样的 “知识”，文章对 embedding 举行了一系列的分析。
首先是直接通过 UMAP 对各种特征举行简单聚类比较，发现来自预训练 RNA-FM 的 embedding 比其他 embedding 形成了具有更加明显的 RNA 种类聚落。这意味着 RNA-FM 的 embedding 确实包含了用于区分 RNA 种类的构造或功用信息。
接着，文章还哄骗轨迹推断（Trajectory inference）通过 RNA-FM embedding 去展望来自不同物种的 lncRNA 的演变。从下图 streamplot 上看，展望的物种之间演变的伪时间大致与真实的物种演变信息一致，说明 RNA-FM embedding 还包含一部分进化信息。
值得注意的是，无论是 RNA 种类的群落信息还是 lncRNA 的演变信息，RNA-FM 在训练中都没有直接接触过这些的标签。RNA-FM 完全是以自监视的方式仅从纯序列中发掘出了与构造、功用以及演变相关的模式。
更多实验结果
除了直接对 RNA-FM 的 embedding 举行分析，文章还尝试将 RNA-FM 引入到各种各样的卑鄙 RNA 构造展望义务，包括二级构造、接触展望，距离展望，以及三级构造展望，且都取得了明显的晋升。
尤其是在二级构造展望上，文章以 RNA-FM 作为主干，仅以一个简单的 ResNet 网络作为卑鄙模型，就在两个公开数据集上超过了其他 12 种 state-of-the-art 方法，在 F1score 上优于其中最好的 UFold 达 3-5 百分点，在与 UFold 的 head-to-head 比较中，RNA-FM 在绝大部分的 RNA 类别上都超过 UFold。如果将 RNA-FM 和 E2Efold 结合，还可以进一步带来 5% 的表现晋升。
为了验证模型的实际应用价值，文章哄骗 RNA-FM 对 COVID-19 数据举行完善的分析，包括哄骗 RNA-FM 精准展望 COVID-19 参照基因组（29870 nt）中关键调控元件，以及哄骗 RNA-FM embedding 粗略展望 COVID-19 主要变种的演变趋势。
一般而言，分子的构造决定功用，RNA-FM 既然可以出色地完成 RNA 构造展望义务，那么是否能够哄骗 RNA-FM 也晋升功用展望的结果呢？
因此，文章进一步尝试将 RNA-FM 引入卑鄙的 RNA 功用展望义务中，比如哄骗 RNA-FM 的 embedding 举行 RNA – 蛋白质作用的展望。
实验证明，RNA-FM embedding 的引入晋升了模型的性能，且在一些例子中竟然达到了匹配真实二级构造信息作为输入的展望结果。
为了探究鉴于 ncRNA 训练的 RNA-FM 是否可以泛化到其他 RNA 上，文章最后尝试哄骗 RNA-FM 鉴于 mRNA 上的 5’UTR 举行蛋白表达的功用展望。虽然 mRNA 不属于 ncRNA，但是其上的 5‘UTR 是不翻译但具有调控功用的区域，符合 ncRNA 的特点，且未出现在训练数据中。
从下图可以看到，包含 RNA-FM embedding 的模型总是优于不包含的模型。尽管性能上的晋升比较有限，但也部分说明 RNA-FM 在非 ncRNA 的数据上也具有一定的泛化性。
结论
总的来说，该文章以无标签的 RNA 序列数据预训练语言模型 RNA-FM，并通过直接或间接的方式，在构造或功用等一系列不同的义务上举行全面的验证，证明了 RNA-FM 确实可以有效地晋升计算方法在卑鄙义务中的表现。
RNA-FM 的出现一定程度上缓解了 RNA 带标注数据紧张的现状，为其他研讨者提供了便捷的访问大批量的无标签数据的接口，其将以 RNA 范畴基础模型的身份，为该范畴的各种各样的研讨提供强有力的支援与帮助。
作者简介
本文有两个共同第一作者。陈佳阳，香港中文大学研讨助理。胡智航，香港中文大学在读博士生。
本文有两位通讯作者。孙思琦，复旦大学智能复杂体系实验室和上海人工智能实验室青年研讨员，主页 https://intersun.github.io。
李煜，香港中文大学助理教授，MIT James Collins Lab 访问助理教授，Broad Institute of MIT and Harvard 研讨科学家，哈佛大学 Wyss Institute 访问学者，Forbes 30 Under 30 Asia list–Class of 2022, Healthcare & Science。主页：https://liyu95.com。