由美国计算机学会 ACM 主办的 CIKM 2023 学术会议在英国伯明翰举行，大会吸引了 8000+ 学术从业者参加，并从 235 篇应用研究方向（applied research track）的投稿论文中，评选出了本届最佳应用论文奖，来自蚂蚁集团的用户举动表征模型研究论文获得了该奖项。
用户举动表征建模和现在大家熟知的语言模型有很多相似之处，都是从海量的数据中，通过神经网络模型对序列数据进行表征，差别之处在于前者是对用户举动序列进行进修，后者是对语言序列进行进修。那该论文中的用户举动表征模型有什么独特之处呢？
目前用户举动表征预训练的工作主要借鉴自然语言处理，构建 Masked Behavior Prediction (MBP) 或 Next Behavior Prediction (NBP) 使命来进行模型训练，这些格式在 LLM 的训练中显示出强大的威力。然而与人类语言遵循相对规范的语法结构 / 标准差别，用户的举动序列存在很大的随机性。例如，当小朋友新开学需要购买一批文具产品时，对于单个文具的购买顺序是相对随机的，可能先买书包，再买练习本，笔等，也可能随心排列组合出现任意顺序。过去的研究工作也表明，仅用 mask 部分举动或下一个举动的格式来构建预训练使命，难以学到鲁棒的用户举动表征。
在无数种举动的可能性中，虽然用户的下一个具体举动难以琢磨，但若我们展望用户在一段工夫内是否会发生某一个 (种) 举动往往具备更大的可能性。即虽然单个举动无法展望，但用户的举动分散在一段工夫内相对稳定，这也符合人类举动具备一致性这一朴素常识。
基于该发现，我们提出了多工夫标准分散展望的用户表征进修格式 (Multi-scale Stochastic Distribution Prediction，MSDP)，通过从全域用户举动中挖掘出更本质的信息，提升用户举动表征的通用性。在这些工作的基础上，团队构建了 Unibehavior – 用户统一举动表征框架，帮助金融风控，保险等营业极大的提升用户的风险区分度，高效支持多样化上游场景建模。研究论文获得CIKM 2023最佳应用论文奖。
论文地址：https://dl.acm.org/doi/10.1145/3583780.3614714
论文所阐述的用户举动表征建模成果主要由蚂蚁集团基础智能部（NextEnv）- 机器智能团队和蚂蚁集团信贷事业群风险管理部 – 信贷风险团队共同完成，并在蚂蚁金融风控的多个营业场景得到了实践检验，研究代码计划将开源。
1. 背景
在过去几年的工作中，我们通过层次化的序列建模等技术挖掘用户举动序列中的风险信息，帮助金融风控、保险等营业的众多场景提升了风险识别能力。在支持营业的过程中，我们也逐步认识到金融风控场景中差别营业场景的差异较大，针对各场景单独建立的模型仅关注场景相关的用户特性（例如还款概率展望关注用户举动中好的方面，而反欺诈模型更偏重挖掘用户举动坏的方面），难以学到跨场景通用、泛化性好的举动表征。针对该问题，我们尝试打造通用的用户表征模型，提升所学到的举动表征在多个营业场景与使命下的通用性，同时提高支持差别营业场景的效率。
在当前工作中，我们基于人类举动在一定的工夫范围内具备一致性这一朴素常识，提出了多工夫标准分散展望的用户表征进修格式 (MSDP)，通过展望用户在现在一段工夫内的举动分散代替原有的 Next Item (Behavior) Prediction 使命，并基于人的举动包含差别的周期性的特点，设计了差别标准的工夫窗口随机采样。和原有格式相比，进修用户差别工夫段的举动分散这一使命设计，极大的提升了习得表征的鲁棒性，对上游差别使命具备更好的泛化能力。具体方案与模型效果详见下文。
2. 格式介绍
图 1：多标准随机分散展望框架图
2.1. 问题定义
将用户 u 发生在工夫 (0, T] 内长度为 t 的举动序列 s 定义为如下形式：
表示举动序列中的第 i 个举动，用户的举动有 K 种离散值构成。我们的目标为设计自监督的使命构造预训练模型，从序列
中抽取举动序列表征向量
。如图 1 所示，预训练使命主要通过多标准随机分散展望（Multi-scale Stochastic Distribution Prediction) 用于进修鲁棒的序列表征，并设计比照进修使命作为模型正则化的格式。下文将对格式进行详细介绍。
2.2. 多标准分散展望
用户举动的多标准分散展望包含 3 个部分：
预训练使命：展望用户现在一段工夫内的举动分散。
训练格式：多标准随机训练，以差别 size 的工夫窗口作为 prompts 进修用户举动中的差别周期信息。
比照进修正则化项：避免模型过拟合到展望现在举动分散上。
2.2.1. 分散展望
给定发生在工夫 (0, T] 内的举动序列
，我们通过用户发生在工夫窗口 (T, T+W] 内的举动作为自监督信号。如前文所述，用户的举动由于随机性与噪声的原因，准确展望现在 (T, T+W] 的特定举动是比较困难的，但由于用户举动在工夫上具有一致性，整体的举动分散是可展望的。
具体的，以用户的 K 种举动在现在的工夫窗口期 (T, T+W] 内发生的概率分散作为展望目标，ground-truth 标签可以表示为，W 表示观测的工夫窗口，作为 prompt 输入给模型。整体展望举动分散的损失函数可以表示为：
其中
与
分别表示针对第 k 种举动的 ground-truth 标签与展望概率，
是举动分散展望模型
的输出结果，
则是举动序列表征的中间层 embedding，直接作为上游使命的输入应用。
2.2.2. 多标准提示训练
工夫窗口 W 的设定对用户举动表征
在上游使命中的效果有很大的影响。如果应用固定的工夫窗口，当上游使命需求与展望的工夫窗口接近的情况下，所进修的用户举动表征能有较好的效果，但若上游使命与展望的工夫窗口差异较大时，用户举动表征的应用效果可能大打折扣。例如，设定 W 为 30 天时，所学得的用户举动表征，应用在 “展望用户现在 30 天是否还款” 这一使命上，要好于在 “展望用户现在 60 天是否还款” 这一使命上的表现。
为了支持营业上的灵活应用和高效扩展，我们需要用户举动表征具备更强的通用性 (对于差别的上游使命都能有较好的效果)。常规格式应用多使命训练的形式，即同时针对多个工夫窗口的举动分散进行展望，但如果要穷举完所有可能的工夫窗口，又会引起使命数的急剧膨胀，为模型进修带来困难。
为了解决该问题，我们对每个样本都随机生成 N 个差别的工夫窗口 W，将 W 作为 prompt 结合用户的举动序列
，以及 W 下的 ground-truth 标签
构造新的增广样本
。其中每个 W 都从一个均匀分散中随机采样：
其中
与
为设定的最小、最大窗口尺寸参数。
2.2.3. 比照正则化
除了举动分散展望的自监督使命之外，我们还设置了一个比照进修的使命作为正则化项，避免模型只是过拟合到展望现在的举动上，而忽略了用户举动序列中的隐层信息。具体的，我们随机 mask 掉举动序列中的若干个举动表征 e，令经过序列模型编码后的序列表征
要与原始未做 mask 的序列表征
尽量相似，目的是令模型更能从用户的举动序列中挖掘出整体的表征信息来表示该用户的风险或兴趣偏好。具体的目标函数设定与 SimSiam 中的类似，最大化
与
的余弦相似度，即：
其中
表示经过 mask 部分举动后的序列表征。
2.2.4. 目标函数
当我们从均匀分散中随机采样 N 个差别的工夫窗口时，总体的目标函数由多标准随机分散展望项与比照正则化项构成，如下所示：
其中 λ 为非负的系数，用于控制比照正则项的强度。
2.3. 上游应用
图 2：用户举动表征训练以及上游应用方式
如图 2 所示，应用用户在 (0, T+W] 工夫内的举动用作用户举动表征的训练数据，其中 (T, T+W] 的举动分散作为自监督信号，并将 (0,T] 的举动序列
编码为序列表征向量
。在上游营业实际应用时，则可以应用最新的举动（W 到 T+W) 产出表征向量
，并将
用作差别上游使命
的输入特征。
3. 实验
为了验证格式的有效性，我们应用了 1 个营业数据集以及 1 个公开数据集来构造上游使命，并与 NBP 与 MBP 的预训练格式产出的表征做了比照。
3.1. 实验设定
为公平比较，模型训练中统一应用参数相同的 transformer 的 encoder 作为序列编码器，上游使命统一应用 1 个包含两层全两阶层 (维度为 512, 256）的 DNN。
3.1.1. 数据集
1）营业数据集：用户举动序列数据为其在蚂蚁域内的资金举动，例如线下支付、淘系支付、借呗还款、支用等。我们选取了 top200 高频的作为展望目标。应用用户的还款概率展望作为上游使命，针对逾期用户在现在的若干天内是否还款，具体设置了 5 种上游使命，展望用户在现在 5 天，15 天，30 天，60 天，90 天的是否会有还款举动。
2）天猫数据集：用户举动序列数据包含用户在天猫的点击、收藏、购买的商品，上游使命设定为展望用户现在若干天内最感兴趣的商品类别（应用点击次数最多的商品作为最感兴趣的），具体来说，分别展望用户在现在 5 天，15 天，30 天，60 天，90 天最感兴趣的商品类别。
3.1.2. Baselines
3.1.2.1. 单使命
比照的 baseline 格式分为两种：一种是经典的 MBP 与 NBP，例如 BERT4Rec 为展望用户被 mask 的举动，PTUM 在 MBP 的基础上还包含了展望用户 next k 个举动的 NBP 使命。其他的格式除了 MBP 与 NBP 预训练使命外，还包含比照进修的使命，例如 UserBERT，以及与举动分散展望类似，但是为展望一个固定工夫段举动分散的格式 SUMN。
此外，我们还比照了固定一个工夫窗口的分散展望格式 static-DP，与 SUMN 的区别在于 DP 的展望目标为举动是否发生，而 SUMN 的需要展望举动的发生频次。
3.1.2.2. 多使命
为了比照多标准提示训练格式的效果，我们也设计了两种多使命的方式作为 baseline。即 Multi-task SUMN 与 Multi-task DP (MTDP，将 static-DP 改为多使命的形式）。多使命的模型结构都采用 shared bottom 的形式，即在序列 encoder 输出表征
之后为每一个使命设定一个分支，每个分支的结构与单使命的 MLP 参数一致。上游应用的表征仍然为
。
3.2. 实验结果
从表 1 与表 2 的实验结果看，MSDP 在两个数据集上都要优于其他方案。实验结果分析如下：
1）DP vs. MBP 与 NBP：DP 类的预训练格式（包括 static-DP，MTDP，MSDP）都显著优于 MBP 类格式（如 BERT4Rec）或 MBP 与 NBP 结合的格式（如 PTUM），以及当前 SOTA 的用户举动预训练方案（如 UserBERT）。从结果表明 MBP 与 NBP 类的格式由于用户举动中的随机性等问题，不太适合用于构建稳定的用户举动表征，而 DP 类的格式对进修鲁棒稳定的用户举动表征更有帮助的。
2）多标准提示训练：比照 static-DP 与 MSDP 的结果，应用多标准提示训练的效果优于固定窗口训练的用户举动表征。比照 MTDP 与 MSDP，MTDP 效果不如 MSDP，分析可能的原因在多使命之间的差异影响了 shared 部分的表征进修，而 MSDP 由于有为窗口参数 W 设置独立的 embedding，可以通过 W 的 embedding 区分差别工夫窗口举动分散的差异，因此进修中受使命之间差异的影响更小，同时也能够学到差别使命之间的共性信息。
4. 总结与现在展望
本文主要研究用户举动序列表征预训练这一课题。传统的格式遵循 NLP 中的预训练方式，通过展望特定的 mask 举动（MBP）或现在 k 个举动 (NBP）来设定展望使命。但这两种预训练格式不适用于噪声和随机性较大的用户举动序列建模。基于用户举动具备一致性的假设，我们提出多标准随机分散展望（MSDP）算法，用于进修更加鲁棒的用户举动序列表征。MSDP 算法的主要贡献如下：i）提出展望用户在一段工夫内的举动分散，代替展望特定的举动；ii）提出了一种多标准提示训练格式来对差别工夫标准的工夫窗口进行采样，用于模型训练。在实际工业场景与业界公开的数据集上，MSDP 都取得了显著的效果。
近期以 ChatGPT 为代表的大模型兴起，让我们更加相信通用人工智能之路的可能。也让我们坚定了，在蚂蚁之内，应用一套通用的建模思路来提升多数据多场景信息融合的信心。现在我们希望在预训练的基础上，借助 LLM 的能力引入语言模型中丰富的外部知识，利用语义明确的文本构建跨域信息桥梁，持续探索全域建模解决之路。在当下已有工作基础上，以 prompt learning 格式兼顾多场景多使命持续建设用户举动序列统一表征框架 UNIBehavior，实现跨场景中上游营业的快速支持。