机器之心 2023-07-03 13:00 发表于北京

机器之心报道

编辑：杜伟

大型言语模型（LLM）已经很强了，但还可以更强。通过结合常识图谱，LLM 有望解决缺乏事实常识、幻觉和可解释性等诸多问题；而反过来 LLM 也能助益常识图谱，让其具备强大的文本和言语理解能力。而如果能将两者充分融合，我们也许还能得到更加全能的人工智能。

今天我们将介绍一篇综述 LLM 与常识图谱结合相关钻研的论文，其中既包含用常识图谱加强 LLM 的钻研进展，也有用 LLM 加强常识图谱的钻研成果，还有 LLM 与常识图谱配合的最近成果。文中概括性的框架展示非常方便读者参考。

论文：https://arxiv.org/abs/2306.08302v1

BERT、RoBERTA 和 T5 等在大规模语料库上预训练的大型言语模型（LLM）已经能非常优秀地应对多种自然言语处理（NLP）任意，比如问答、机器翻译和文本生成。近段时间，随着模型规模的急剧增长，LLM 还进一步获得了涌现能力，开拓了将 LLM 用作通用人工智能（AGI）的道路。ChatGPT 和 PaLM2 等先进的 LLM 具有数百上千亿个参数，它们已有潜力解决许多复杂的实际任意，比如教育、代码生成和推荐。

尽管 LLM 已有许多成功利用，但由于缺乏事实常识，它们还是备受诟病。具体来说，LLM 会记忆训练语料库中包含的事实和常识。但是，进一步的钻研表明，LLM 无法回忆出事实，而且往往还会出现幻觉问题，即生成具有错误事实的表述。举个例子，如果向 LLM 提问：「爱因斯坦在什么时候发现了引力？」它可能会说：「爱因斯坦在 1687 年发现了引力。」但事实上，提出引力理论的人是艾萨克・牛顿。这种问题会严重损害 LLM 的可信度。

LLM 是黑箱模型，缺乏可解释性，因此备受批评。LLM 通过参数隐含地表示常识。因此，我们难以解释和验证 LLM 获得的常识。此外，LLM 是通过概率模型执行推理，而这是一个非决断性的过程。对于 LLM 用以得出预测结果和决策的具体模式和功能，人类难以直接获得详情和解释。尽管通过使用思维链（chain-of-thought），某些 LLM 具备解释自身预测结果的功能，但它们推理出的解释依然存在幻觉问题。这会严重影响 LLM 在事关重大的场景中的利用，比如医疗诊断和法律评判。举个例子，在医疗诊断场景中，LLM 可能误诊并供应与医疗常识相悖的解释。这就引出了另一个问题：在一般语料库上训练的 LLM 由于缺乏一定畛域的常识或新训练数据，可能无法很好地泛化到一定畛域或新常识上。

为了解决上述问题，一个潜在的解决方案是将常识图谱（KG）调整进 LLM 中。常识图谱能以三元组的形式存储巨量事实，即 (头实体、关系、尾实体)，因此常识图谱是一种结构化和决断性的常识表征形式，例子包括 Wikidata、YAGO 和 NELL。常识图谱对多种利用而言都至关重要，因为其能供应准确、明确的常识。此外众所周知，它们还具有很棒的符号推理能力，这能生成可解释的结果。常识图谱还能随着新常识的持续输入而积极演进。此外，通过让专家来建立一定畛域的常识图谱，就能具备供应精确可靠的一定畛域常识的能力。

然而，常识图谱很难建立，并且由于真实世界常识图谱往往是不完备的，还会动态变化，因此当前的常识图谱方式难以应对。这些方式无法有效建模未见过的实体以及表征新常识。此外，常识图谱中丰富的文本信息往往会被忽视。不仅如此，常识图谱的现有方式往往是针对一定常识图谱或任意定制的，泛化能力不足。因此，有必要使用 LLM 来解决常识图谱面临的挑战。图 1 总结了 LLM 和常识图谱的优缺点。

图 1：LLM 和常识图谱的优缺点总结。

如图所示，LLM 的优点：一般常识、言语处理、泛化能力。LLM 的缺点：隐含常识、幻觉问题、无法决断问题、黑箱、缺乏一定畛域的常识和新常识。常识图谱的优点：结构化的常识、准确度、决断能力、可解释性、一定畛域的常识、常识演进。常识图谱的缺点：不完备性、缺乏言语理解、未见过的常识。

近段时间，将 LLM 和常识图谱结合起来的可能性受到了越来越多钻研者和实践者关注。LLM 和常识图谱本质上是互相关联的，并且能彼此互相强化。如果用常识图谱加强 LLM，那么常识图谱不仅能被集成到 LLM 的预训练和推理阶段，从而用来供应外部常识，还能被用来分析 LLM 以供应可解释性。而在用 LLM 来加强常识图谱方面，LLM 已被用于多种与常识图谱相关的利用，比如常识图谱嵌入、常识图谱补全、常识图谱建立、常识图谱到文本的生成、常识图谱问答。LLM 能够提升常识图谱的性能并助益其利用。在 LLM 与常识图谱配合的相关钻研中，钻研者将 LLM 和常识图谱的优点融合，让它们在常识表征和推理方面的能力得以互相促进。

这篇论文将在结合 LLM 与常识图谱方面供应一个前瞻性的路线图，帮助读者了解如何针对不同的下游任意，利用它们各自的优势，克服各自的局限。其中包含详细的分类和全面的总结，并指出了这些快速发展的畛域的新兴方向。本文的主要贡献包括：

1, 路线图：文中供应了一份 LLM 和常识图谱调整方面的前瞻性路线图。这份路线图包含结合 LLM 与常识图谱的三个概括性框架：用常识图谱加强 LLM、用 LLM 加强常识图谱、LLM 与常识图谱配合。可为结合这两种截然不同但互补的技术供应指导方针。

2, 分类和总结评估：对于该路线图中的每种调整模式，文中都供应了详细的分类和全新的分类法。对于每种类别，文中都从不同调整策略和任意角度总结评估了相关钻研工作，从而能为每种框架供应更多见解。

3, 涵盖了新进展：文中覆盖了 LLM 和常识图谱的先进技术。其中讨论了 ChatGPT 和 GPT-4 等当前最先进的 LLM 以及多模态常识图谱等常识图谱新技术。

4, 挑战和未来方向：文中也会给出当前钻研面临的挑战并给出一些有潜力的未来钻研方向。

LLM 和常识图谱基础常识

大型言语模型（LLM）

在大规模语料库上预训练的 LLM 可以解决多种 NLP 任意，拥有巨大潜力。如图 3 所示，大多数 LLM 都源自 Transformer 设计，其中包含编码器和解码器模块，并采用了自注意力机制。LLM 可以根据架构不同而分为三大类别：仅编码器 LLM、编码器 – 解码器 LLM、仅解码器 LLM。图 2 总结了一些代表性 LLM，涉及不同架构、模型大小和是否开源。

图 2：近些年有代表性的 LLM。实心方框表示开源模型，空心方框则是闭源模型。

图 3：基于 Transformer 并使用了自注意力机制的 LLM 的示意图。

prompt 工程设计

prompt 工程设计是一个全新畛域，其关注的是创建和优化 prompt，从而让 LLM 能最有效地应对各种不同利用和钻研畛域。如图 4 所示，prompt 是 LLM 的自然言语输入序列，需要针对具体任意（如情绪分类）创建。prompt 可包含多个元素，即：指示、背景信息、输入文本。指示是告知模型执行某一定任意的短句。背景信息为输入文本或少样本学习供应相关的信息。输入文本是需要模型处理的文本。

图 4：一个情绪分类 prompt 的示例。

prompt 工程设计的目标是提升 LLM 应对多样化复杂任意的能力，如问答、情绪分类和常识推理。思维链（CoT）prompt 是通过中间推理步骤来实现复杂推理。另一种方式则是通过调整外部常识来设计更好的常识加强型 prompt。自动化 prompt 工程（APE）则是一种可以提升 LLM 性能的 prompt 自动生成方式。prompt 让人无需对 LLM 进行微调就能利用 LLM 的潜力。掌握 prompt 工程设计能让人更好地理解 LLM 的优劣之处。

常识图谱（KG）

常识图谱则是以 (实体、关系、实体) 三元组集合的方式来存储结构化常识。根据所存储信息的不同，现有的常识图谱可分为四大类：百科常识型常识图谱、常识型常识图谱、一定畛域型常识图谱、多模态常识图谱。图 5 展示了不同类别常识图谱的例子。

图 5：不同类别常识图谱示例。

利用

LLM 和常识图谱都有着广泛的利用。表 1 总结了 LLM 和常识图谱的一些代表性利用。

表 1：LLM 和常识图谱的代表性利用。

路线图与分类

下面会先给出一份路线图，展现将 LLM 和常识图谱结合起来的框架，然后将对相关钻研进行分类。

路线图

图 6 展示了将 LLM 和常识图谱结合起来的路线图。这份路线图包含结合 LLM 与常识图谱的三个框架：用常识图谱加强 LLM、用 LLM 加强常识图谱、LLM 与常识图谱配合。

图 6：结合常识图谱和 LLM 的一般路线图。

 图 7：LLM 与常识图谱配合的一般框架，其中包含四层：数据、配合模型、技术、利用。

分类

为了更好地理解结合 LLM 和常识图谱的钻研，论文进一步供应了每种框架的细粒度分类。具体来说，这里关注的是调整 LLM 与常识图谱的不同方式，即：用常识图谱加强 LLM、用 LLM 加强常识图谱、LLM 与常识图谱配合。图 8 细粒度地展示了相关钻研的分类情况。

图 8：结合 LLM 与常识图谱的相关钻研分类。

用常识图谱加强 LLM

大型言语模型在许多自然言语处理任意上都表现出色。但是，由于 LLM 缺乏实际常识而且常在推理时生成事实性错误，因此也饱受批评。解决该问题的一种方式是用常识图谱加强 LLM。

具体的方式有几种，一是使用常识图谱加强 LLM 预训练，其目的是在预训练阶段将常识注入到 LLM 中。二是使用常识图谱加强 LLM 推理，这能让 LLM 在生成句子时考虑到最新常识。三是使用常识图谱加强 LLM 可解释性，从而让我们更好地理解 LLM 的行为。表 2 总结了用常识图谱加强 LLM 的典型方式。

表 2：用常识图谱加强 LLM 的方式。

用常识图谱加强 LLM 预训练

现有的 LLM 主要依靠在大规模语料库上执行无监督训练。尽管这些模型在下游任意上表现卓越，它们却缺少与现实世界相关的实际常识。在将常识图谱调整进 LLM 方面，之前的钻研可以分为三类：将常识图谱调整进训练目标、将常识图谱调整进 LLM 的输入、将常识图谱调整进附加的融合模块。

图 9：通过文本 – 常识对齐损失将常识图谱信息注入到 LLM 的训练目标中，其中 h 表示 LLM 生成的隐含表征。

图 10：使用图结构将常识图谱信息注入到 LLM 的输入中。

图 11：通过附加的融合模块将常识图谱调整到 LLM 中。

用常识图谱加强 LLM 推理

以上方式可以有效地将常识与 LLM 的文本表征融合到一起。但是，真实世界的常识会变化，这些方式的局限是它们不允许更新已调整的常识，除非对模型重新训练。因此在推理时，它们可能无法很好地泛化用于未见过的常识。

一些钻研关注的正是分离常识空间与文本空间以及在推理时注入常识。这些方式主要关注的是问答（QA）任意，因为问答既需要模型捕获文本语义，还需要捕获最新的现实世界常识。

图 12：用于 LLM 推理的动态常识图谱融合。

图 13：通过检索外部常识来加强 LLM 生成。

用常识图谱加强 LLM 可解释性

尽管 LLM 在许多 NLP 任意上都表现不凡，但由于缺乏可解释性，依然备受诟病。LLM 可解释性是指理解和解释大型言语模型的内部工作方式和决策过程。这能提升 LLM 的可信度并促进 LLM 在事关重大的场景中的利用，比如医疗诊断和法律评判。由于常识图谱是以结构化的方式表示常识，因此可为推理结果供应优良的可解释性。因此，钻研者必然会尝试用常识图谱来提升 LLM 的可解释性；相关钻研大致可分为两类：用于言语模型探测的常识图谱、用于言语模型分析的常识图谱。

图 14：使用常识图谱进行言语模型探测的一般框架。

图 15：使用常识图谱进行言语模型分析的一般框架。

用 LLM 加强知识图谱

常识图谱的显著特点就是结构化的常识表示。它们适用于许多下游任意，比如问答、推荐和网络搜索。但是，传统常识图谱往往不完备，并且已有方式往往不会考虑文本信息。

为了解决这些问题，已有钻研者考虑使用 LLM 来加强常识图谱，使其能考虑文本信息，从而提升在下游任意上的表现。表 3 总结了代表性的钻研工作。这里会涉及到使用 LLM 对常识图谱进行不同加强的方式，包括常识图谱嵌入、常识图谱补全、常识图谱到文本生成、常识图谱问答。

表 3：用 LLM 加强常识图谱的代表性方式。

用 LLM 加强常识图谱嵌入

常识图谱嵌入（KGE）的目标是将每个实体和关系映射到低维的向量（嵌入）空间。这些嵌入包含常识图谱的语义和结构信息，可用于多种不同的任意，如问答、推理和推荐。传统的常识图谱嵌入方式主要依靠常识图谱的结构信息来优化一个定义在嵌入上的评分函数（如 TransE 和 DisMult）。但是，这些方式由于结构连接性有限，因此难以表示未曾见过的实体和长尾的关系。

图 16 展示了近期的一项钻研：为了解决这一问题，该方式使用 LLM 来编码实体和关系的文本描述，从而丰富常识图谱的表征。

图 16：将 LLM 用作常识图谱嵌入的文本编码器。

图 17：用于结合文本与常识图谱嵌入的 LLM。

用 LLM 加强常识图谱补全

常识图谱补全（KGC）任意的目标是推断给定常识图谱中缺失的事实。类似于 KGE，传统 KGC 方式主要关注的是常识图谱的结构，而不会考虑广泛的文本信息。

但是，近期有钻研将 LLM 调整到了 KGC 方式中来编码文本或生成事实，取得了更好的 KGC 表现。根据使用方式，这些方式分为两类：将 LLM 用作编码器（PaE）、将 LLM 用作生成器（PaG）。

图 18：将 LLM 用作编码器（PaE）来补全常识图谱的一般框架。

图 19：将 LLM 用作生成器（PaG）来补全常识图谱的一般框架 En. 和 De. 分别表示编码器和解码器。 

图 20：使用基于 prompt 的 PaG 来补全常识图谱的框架。

用 LLM 加强常识图谱建立

常识图谱建立涉及到为一定畛域内的常识创建结构化的表示。这包括识别实体以及实体之间的关系。常识图谱建立过程通常涉及多个阶段，包括：实体发现、共指消解和关系提取。图 21 展示了将 LLM 用于常识图谱建立各个阶段的一般框架。近期还有钻研探索了端到端常识图谱建立（一步建立出完整的常识图谱）以及直接从 LLM 中蒸馏出常识图谱。

图 21：基于 LLM 的常识图谱建立的一般框架。

图 22：从 LLM 中蒸馏出常识图谱的一般框架。

用 LLM 加强常识图谱到文本生成

常识图谱到文本（KG-to-text）生成的目标是生成能准确一致地描述输入常识图谱信息的高质量文本。常识图谱到文本生成连接了常识图谱与文本，能显著提升常识图谱在更现实的自然言语生成场景中的可用性，包括故事创作和基于常识的对话。但是，收集大量常识图谱 – 文本平行数据难度很大，成本很高，这会导致训练不充分和生成质量差。

因此，有许多钻研致力于解决这些问题：如何利用 LLM 的常识？如何建立大规模的弱监督常识图谱 – 文本语料库来解决这个问题？

图 23：常识图谱到文本生成的一般框架。 

用 LLM 加强常识图谱问答

常识图谱问答（KGQA）的目标是根据常识图谱存储的结构化事实来寻找自然言语问题的答案。KGQA 有一个无可避免的挑战：检索相关事实并将常识图谱的推理优势扩展到问答任意上。因此，近期有钻研采用 LLM 来填补自然言语问题与结构化常识图谱之间的空白。

图 24 给出了将 LLM 用于 KGQA 的一般框架，其中 LLM 可用作实体 / 关系提取器和答案推理器。

图 24：将 LLM 用于常识图谱问答的一般框架。

LLM 与常识图谱配合

LLM 与常识图谱配合近年来赢得了不少关注，该方式能将 LLM 和常识图谱的优点融合，从而更好地应对各种下游任意。举个例子，LLM 可用于理解自然言语，同时常识图谱可作为供应事实常识的常识库。将 LLM 和常识图谱结合起来可以造就执行常识表征和推理的强大模型。

这里从两个方面关注了 LLM 与常识图谱配合：常识表征、推理。表 4 总结了代表性的钻研工作。

表 4：LLM 与常识图谱配合方式汇总。

常识表征

文本语料库和常识图谱都包含大量常识。但是，文本语料库中的常识通常是隐式的和非结构化的，而常识图谱中的常识是显式的和结构化的。因此，想要以统一方式来表示这些常识，就必须对齐文本语料库和常识图谱中的常识。图 25 给出了针对常识表征任意统一 LLM 和常识图谱的一般框架。

图 25：针对常识表征任意统一 LLM 和常识图谱的一般框架。

KEPLER 是一种用于常识嵌入和预训练言语表征的统一模型。KEPLER 会使用 LLM 将文本实体描述编码成它们的嵌入，然后对常识嵌入和言语建模目标进行结合优化。JointGT 提出了一种常识图谱 – 文本结合表征学习模型，其中提出了三个预训练任意来对齐常识图谱和文本的表征。DRAGON 则给出了一种自监督方式，可以基于文本和常识图谱来预训练一个言语 – 常识的结合基础模型。其输入是文本片段和相关的常识图谱子图，并会双向融合来自这两种模式的信息。然后，DRAGON 会利用两个自监督推理任意（掩码言语建模和常识图谱链接预测）来优化该模型的参数。HKLM 则引入了一种结合 LLM，其调整了常识图谱来学习一定畛域常识的表征。

推理

为了同时利用 LLM 和常识图谱的优势，钻研者也通过 LLM 和常识图谱配合来执行多种利用的推理任意。在问答任意中，QA-GNN 首先会利用 LLM 来处理文本问题，再引导常识图谱的推理步骤。这样一来就建立了文本和结构化信息之间的桥梁，从而能为推理过程供应解释。

在常识图谱推理任意中，LARK 提出了一种由 LLM 引导的逻辑推理方式。其首先会将传统的逻辑规则转换成言语序列，然后要求 LLM 推理出最终输出。此外，Siyuan et al. 通过一个统一框架统一了结构推理和言语模型预训练。给定一个文本输入，他们采用 LLM 来生成逻辑查询，其可在常识图谱上执行以获取结构化的上下文信息。最后，这个结构化的上下文会与文本信息融合以生成最终输出。

RecInDial 则将常识图谱与 LLM 组合起来在对话系统中供应个性化推荐。KnowledgeDA 提出了一种统一的畛域言语模型开发流程，可使用畛域常识图谱加强针对一定任意的训练过程。

未来方向

在结合常识图谱和大型言语模型方面还有诸多挑战有待解决，下面简单给出了这一钻研畛域的一些未来钻研方向：

将常识图谱用于检测 LLM 的幻觉；

将常识图谱用于编辑 LLM 中的常识；

将常识图谱用于黑箱 LLM 常识注入；

将多模态 LLM 用于常识图谱；

将 LLM 用于理解常识图谱的结构；

将 LLM 和常识图谱配合用于双向推理。