INDUS 以南天星座命名，是一套全面的大型语言模型，支持五个迷信畛域。（根源：NASA）

编辑 | KX

在大量数据上训练的大型语言模型 (LLM) 在自然语言理解和生成任意上表示出色。大多数流行的 LLM 利用 Wikipedia 等通用语料库从事训练，但词汇的分布变化导致一定畛域的性能不佳。

受此启发，NASA 与 IBM 合作开发了 INDUS，这是一套全面的 LLM，专为地球迷信、生物学、物理学、太阳物理学、行星迷信和天体物理学畛域量身定制，并利用从不同数据源的精选迷信语料库从事训练。

INDUS 包含两类模型：编码器和句子 Transformer。编码器将自然语言文本转换为 LLM 可以处理的数字编码。INDUS 编码器在包含天体物理学、行星迷信、地球迷信、太阳物理学、生物和物理迷信数据的 600 亿个 tokens 的语料库上从事训练。

相关研讨以「INDUS: Effective and Efficient Language Models for Scientific Applications」为题，发布在 arXiv 预印平台。

论文链接：https://arxiv.org/abs/2405.10725

在通用畛域语料库上训练的 LLM 在自然语言处理 (NLP) 任意上表示出色。然而，先前的研讨表明，利用一定畛域语料库训练的 LLM 在专门任意上表示更好。

比如，有研讨者已经开发了几个一定畛域的 LLM，例如 SCIBERT、BIOBERT、MATBERT、BATTERYBERT 和 SCHOLARBERT，目的是提高畛域内 NLP 任意的准确性。

INDUS：一套全面的 LLM

在该研讨中，研讨人员特别关注与地球、天体、太阳和太阳系内的行星相关的跨学科畛域，例如物理学、地球迷信、天体物理学、太阳物理学、行星迷信和生物学。

图示：INDUS 模型概览。（根源：论文）

INDUS 是一组基于编码器的 LLM，专注于这些感兴趣的畛域，用不同根源的精心策划的语料库从事训练。INDUS 中包含的 50,000 个词汇中有超过一半是用于训练的一定迷信畛域所独有的。INDUS 编码器模型对大约 2.68 亿个文本对（包括标题/摘要和问题/答案）上的句子 Transformer 模型从事微调。

具体而言：

1. 利用字节对编码算法，从精选的迷信语料库中构建了定制的标记器 INDUSBPE。

2. 利用精选的迷信语料库和 INDUSBPE 标记器预训练了多个仅编码器的 LLM。进一步通过利用对比学习目标对仅编码器模型从事微调来创建句子嵌入模型，以学习「通用」句子嵌入。利用知识提炼技术训练了这些模型的更小、更高效的版本。

3. 创建了三个新的迷信基准数据集，CLIMATE-CHANGE NER（实体识别任意）、NASA-QA（提取问答任意）和 NASA-IR（检索任意），以进一步加速这一多学科畛域的研讨。

4. 通过实验结果，展示了模型在这些基准任意以及现有畛域一定基准上的出色表示，超越了 RoBERTa 等通用模型以及 SCIBERT 等迷信畛域编码器。

比非畛域一定 LLM 表示更好

通过为 INDUS 提供畛域一定词汇，研讨团队在生物医学任意基准、迷信问答基准和地球迷信实体识别测试中，比开放的、非畛域一定 LLM 表示更好。

将 INDUS 模型与类似大小的开源模型 RoBERTaBASE、SCIBERT、MINILM 和 TINYBERT 从事了比较。

在自然语言理解任意上，在基础模型中，INDUSBASE 在微观/宏观平均值上明显优于通用 RoBERTa 模型，同时在生物畛域一定的对应模型 SCIBERT 中也取得了竞争性的表示。

表：BLURB 的评估结果。（根源：论文）

BLURB 在气候变化 NER 任意上明显优于相应的基线模型，表明了对大型一定畛域数据从事训练的有效性。

表：气候变化 NER 基准结果。（根源：论文）

在 NASA-QA（提取问答任意）中，利用相关的 SQuAD 对扩充训练集从事微调。所有模型都经过 15 epochs 的微调，结果观察到 INDUSBASE 的表示优于所有类似规模的模型，而 INDUSSMALL 的表示相对较强。

表：NASA-QA 基准结果。（根源：论文）

在检索任意中，在 NASA-IR 数据集和 BEIR 基准上评估了 INDUS 模型，该基准由 12 个涵盖各种畛域的检索任意组成。

如下表所示，两个句子嵌入模型在 NASA-IR 任意上的表示都明显优于基线，同时在几个 BEIR 任意上仍保持良好的性能。

表：NASA-IR 和 BEIR 的评估结果。（根源：论文）

研讨人员还在单个 A100 GPU 上测量了 BEIR 自然问题集的 4,202 个测试查询中每个查询的平均检索时间。这个时间包括编码查询、语料库的时间以及检索相关文档的时间。值得注意的是，INDUS-RETRIEVERSMALL 在 NASA-IR 和 BEIR 上的表示都优于 INDUS-RETRIEVERBASE，同时速度快了约 4.6 倍。

IBM 研讨员 Bishwaranjan Bhattacharjee 对整体方法从事了评论：「我们不仅拥有自定义词汇表，还拥有用于训练编码器模型的大型专业语料库和良好的训练策略，从而实现了卓越的性能。对于较小、较快的版本，我们利用神经架构搜索来获得模型架构，并利用知识提炼来对其从事训练，同时监督较大的模型。」

NASA 生物和物理迷信 (BPS) 部门 Sylvain Costes 博士讨论了整合 INDUS 的好处：「将 INDUS 与开放迷信数据存储库 (OSDR) 应用程序编程接口 (API) 集成使我们能够开发和试用聊天机器人，为浏览单个数据集提供更直观的搜索功能。我们目前正在探索改进 OSDR 内部策展数据系统的方法，利用 INDUS 来提高策展团队的工作效率并减少每天所需的手动工作量。」

参考内容：https://techxplore.com/news/2024-06-nasa-ibm-collaboration-indus-large.html