在交际活动中,大语言模型既可以是你的合作伙伴(partner),也可以成为你的导师(mentor)。
在人类的交际活动中,为了更有效地在工作和生活中与他人沟通,需要一定的交际技术,比如处理冲突。
然而,交际技术的操练环境对于大多数人来说通常是高不可攀的。特别是由专家训练这些技术时,往往耗时、投入高且可用性有限。现有的操练和反应机制很大程度上依赖专家监督,使训练难以扩展。此外,经过专业培训的教练也缺乏,而大多数可以供给定制化反应的教练无法帮助大量有需要的人。
近日,在由斯坦福助理教授杨笛一为共同一作的论文《Social Skill Training with Large Language Models》中,研究者认为,借助大语言模型可以使得交际技术训练变得更容易、更安全、更有吸引力,并在现实、虚拟操练空间中供给量身定制的反应。
论文地址:https://arxiv.org/pdf/2404.04204.pdf
具体来讲,研究者提出了以下两种交际技术训练框架。
第一个训练框架是 AI Partner,它可以通过放荡操练为体验式训练供给可扩展的处理方案。此前已经有研究表明,人类角色扮演可以有效地教授沟通、合作和领导技术。与 on-the-job 训练相比,放荡可以让进修者承担更少的风险和机会成本。而通过放荡,AI Partner 将减少进入专业范畴的社会经济障碍。
第二个补充训练框架是 AI Mentor, 它将根据范畴专业常识和事实常识供给个性化反应。
这两个训练框架(合称为 APAM)都可以将体验式进修与现实操练、定制反应相结合。研究者呼吁通过跨学科创新来处理 APAM 的广泛影响。
论文作者杨笛一表示:「进修交际技术对大多数人来说是高不可攀的,我们如何才能使交际技术训练变得更容易实现?鉴于此,我们推出 APAM,其利用 LLM 通过现实实践和量身定制的反应进行交际技术训练!」
她接着表示:「在 APAM 中,当用户想要进修一项新的交际技术时,AI Partner 可以帮助他们通过放荡对话来操练相关场景。AI Mentor 可以在放荡的关键时刻供给鉴于常识的反应。」
APAM 架构概览
该研究提出了一个通用框架专门用于交际技术训练,该框架包括 AI Partner 和 AI Mentor(两者简称 APAM),并且这两者至关重要。当用户想要进修一项新的交际技术时,AI Partner 可以通过放荡对话帮助他们操练相关场景。AI Mentor 可以在放荡的关键时刻供给鉴于常识的反应。
然而,构建和部署 AI Partner 并非易事,比如很难保持放荡人物的风格、行为和情感特征的一致性。而开发 AI Mentor 在很大程度上依赖于范畴专业常识、情境感知和反应效率等因素。
为了处理上述问题,研究者提出通过 LLM 进行交际技术训练的通用方法,分四个步骤完成:
了解如何处理问题的技术(例如,处理冲突);
设计一个 AI partner 来放荡对话,让进修者(即用户)接触目标过程,进行操练;
创建一个 AI mentor 来供给反应;
将这两个智能体集成到放荡环境中,以便用户进修。
研究者表示,APAM 框架的理想受众是初学者,但是有经验的人也可以使用 APAM 零碎来刷新他们的常识。
APAM 可以在许多范畴提高进修者的技术,表 1 列举了一些应用场景,例如如何倾听、心理健康咨询等。不过 APAM 框架不仅限于这些典型的例子,论文第 6 节有更多的介绍。
虽然 LLM 作为交际技术训练工具潜力巨大,因为它们可以生成连贯且自然的文本。然而,这种灵活性往往伴随着有限的可控性。
出于安全考虑, APAM 框架为如何应用 AI 供给了一系列措施,他们将使用过程分解为一个延续体:AI Partner 延续体以及 AI Mentor 延续体,每个延续体都由三个模型完成(如图 1 所示)。
评价结果
AI partner 和 AI mentor 的评价是一个重大挑战,鉴于 APAM 的工具涉及复杂的计算零碎以及与不同需求和背景的用户的交互。
为了将这些训练工具开发为一个范畴,评价措施需要超越自然语言处理中传统的指标,转而采用来自多个相关范畴和利益相关者的方案。纳入多学科视角将有助于评价此类零碎的实证性能、鉴于用户角度的可用性以及对用户和社区的长期影响。
目前,文本生成的研究主要集中在内在评价上,即通过预定义的规则或交互来评价输出的质量。
在下表 2 中,研究者主要划分为全自动评价和用户驱动评价。鉴于参考的指标(如困惑度或 Kullback-Leibler 散度)通常用于零碎质量自动评价,它们既简单又允许通过演示对所需行为进行丰富的定义。
表 2 详细列出了以往工作中适用于 APAM 零碎的内在和外在评价程序。目前,自然语言处理从业者主要关注对零碎的内在评价。本文中,研究者强调使用既定的教育成果衡量标准来评价 APAM 零碎的重要性。
更多细节请参阅原论文。