编辑 | 萝卜皮
当前的大型说话模型 (LLMs) 依赖单词猜测作为其骨干预训练任意。尽管单词猜测是说话处置惩罚的重要体制，但人类说话明白发生在多个层面，涉及单词和句子的调整以实现对话语的充分明白。
香港理工大学的钻研人员通过使用下一句猜测（Next Sentence Prediction，NSP）任意对说话明白进行建模，从而钻研话语级明白的体制。
该团队表明，NSP 预训练增强了模型与大脑数据的一致性，尤其是在右半球和多需求搜集中，突出了非经典说话区域对高级说话明白的贡献。NSP 可以使模型更好地捕捉人类明白性能并更好地编码上下文信息。
另外，在模型中包含不同的学习目标会产生更加类似于人类的表征，并且钻研 LLMs 预训练任意的神经认知合理性可以揭示说话神经科学中的突出问题。
该钻研以「Predicting the next sentence (not word) in large language models: What model-brain alignment tells us about discourse comprehension」为题，于 2024 年 5 月 23 日发布在《Science Advances》。
近期生成式人工智能（AI）的进步使 LLMs 成为焦点。LLMs 的卓越性能源于大规模文本数据上的预训练及将词汇和意义表示为高维向量（或「嵌入」）。越来越多的神经认知钻研探索了模型嵌入如何捕获说话处置惩罚中的大脑活动，并且，LLMs 的兴起使科学家能更系统、明确地测试说话学习和表征的神经体制。
钻研者倡导通过「表示一致性」连接计算模型与大脑钻研，促进 AI 与神经认知领域知识交流。实现模型-大脑一致性（Greater model-brain alignment）需借助线性回归等方法建立模型嵌入与脑信号间的联系。现有钻研检验不同模型嵌入与大脑数据的一致性度，以探索说话模型的哪些计算特性与大脑处置惩罚体制相关。
两个主要原则是：语境信息在明白过程中的表征，以及词猜测作为说话明白核心过程。尽管进展显著，钻研存在差距：LLMs 的词猜测任意与人类追求基于统计明白多层话语的目标不同；且自然说话处置惩罚与说话神经科学界沟通不足。
香港理工大学钻研团队的课题旨在利用 LLMs 探讨话语明白，这是结合两领域新发现的领域。
话语明白对人类交流和知识获取至关重要，涉及跨句子的意义构建。BERT 模型中的下一句猜测（NSP）任意旨在增强模型明白句间关系的能力，可能映射到人脑处置惩罚和明白话语的方式。然而，关于支撑话语明白的大脑搜集及其半球分工仍有许多未知，特别是右半球的作用尚待明确。
综合来看，钻研旨在通过 LLMs 和 NSP 任意，促进对人类话语明白神经体制的深入明白。
图示：NSP 作为话语明白的计算帐户。（来源：论文）
在这项钻研中，钻研人员专注于利用不同的预训练任意，来更好地使 LLMs 与人类说话系统保持一致；通过使用模型-大脑一致性，钻研人员希望深入了解大脑如何处置惩罚话语。具体来说，他们测试 NSP 作为话语明白的合理计算体制，并探索与该体制相对应的大脑搜集。
为此，该团队构建了两个基于 BERT 的深度说话模型（DLM），在预训练中操纵 NSP 的存在，并使用两个功能磁共振成像（fMRI）数据集，分别强调连贯和不连接的句子关系。在两个半球的说话搜集和 MD 搜集中检查了模型-大脑一致性性能。
图示：数据集、计算模型和分析概述。（来源：论文）
钻研结果显示，NSP 预训练有助于模型更好地捕捉人类的明白能力，有效编码上下文信息，并促使模型表示更接近人类，从而为解决说话神经科学中的问题提供了新视角。
在个体差异层面，钻研发现模型-大脑一致性与阅览时间呈负相关，意味着更强的一致性关联着更快的阅览速度，而阅览时间是评估阅览技能的关键指标，能区分生疏与不生疏读者在明白话语时的效率。生疏读者在选取和组织关键内容以构建调整明白方面更为高效。
图示：阅览时间和模型-大脑一致性之间的相关性。（来源：论文）
此外，钻研对于话语明白中的左右脑功能分工提供了新的见解。虽然经典左脑说话搜集对于词语和句子处置惩罚不可或缺，但右脑在话语明白、双语学习、韵律处置惩罚及比喻说话明白等高级说话功能中扮演着关键角色。
特别是，钻研发现右脑同侧额叶区域在调整连贯句子过程中尤为重要，而并非否定左脑说话搜集在此过程中的参与，而是表明在话语明白中，模型-大脑一致性可能更敏感于由右脑支持的更广泛、高层次和较粗粒度的语义调整过程。这些发现丰富了关于大脑如何在不同层次上分配语义处置惩罚任意的讨论。
论文链接：https://www.science.org/doi/10.1126/sciadv.adn7744