Meta——Facebook、Instagram、WhatsApp、Threads等公司的母公司——运营着世界上最大的推荐系统之一。
在最近发布的两篇论文中，Meta的研究人员揭示了如何利用生成模型来更好地理解和响应用户意图。
通过将推荐视为一个生成问题，可以采用新的方法来解决它，这些方法在内容上更丰富，效率也高于传统方法。这种方法对于任何需要检索文档、产品或其他类型对象的应用程序来说，都具有重要的应用价值。
Dense检索 vs 生成式检索
创建推荐系统的标准方法是计算、存储和检索文档的密集表示(Dense Retrieval)。例如，为了向用户推荐项目，应用程序必须训练一个模型，该模型能够计算用户请求和大量项目存储库的嵌入表示。
在推理时，推荐系统通过寻找一个或多个与用户嵌入表示相似的项目嵌入表示，来尝试理解用户的意图。随着项目数量的增长，这种方法需要越来越多的存储和计算能力，因为每个项目的嵌入表示都必须存储起来，并且每次推荐操作都需要将用户嵌入表示与整个项目存储库进行比较。
生成式检索(Generative Retrieval)是一种更新的方法，它尝试通过简单地预测用户交互序列中的下一个项目，而不是通过搜索数据库来理解和推荐用户意图。
其工作原理如下：
使生成式检索发挥作用的关键是计算“语义ID”(SIDs)，其中包含每个项目的上下文信息。像TIGER这样的生成式检索系统分为两个阶段工作。首先，训练一个编码器模型，根据每个项目的描述和属性为其创建一个唯一的嵌入值。这些嵌入值成为SIDs，并与项目一起存储。
在第二阶段，训练一个变换器模型来预测输入序列中的下一个SID。输入SID列表表示用户与过去项目的交互，模型的预测是要推荐的项目的SID。生成式检索减少了存储和跨单个项目嵌入表示进行搜索的需求。因此，随着项目列表的增长，其推理和存储成本保持不变。它还增强了捕获数据中更深层语义关系的能力，并提供了生成模型的其他好处，如调整“温度”以调整推荐的多样性。
高级生成式检索
尽管生成式检索的存储和推理成本较低，但它也存在一些局限性。例如，它倾向于过拟合训练期间见过的项目，这意味着它在处理模型训练后添加到目录中的项目时会遇到困难。在推荐系统中，这通常被称为“冷启动问题”，即涉及新用户和新项目，它们没有交互历史。
为了解决这些短板，Meta开发了一种名为LIGER的混合推荐系统，该系统结合了生成式检索的计算和存储效率，以及Dense检索的稳健嵌入质量和排名能力。
在训练期间，LIGER使用相似度得分和下一个标记目标来改进模型的推荐。在推理时，LIGER基于生成机制选择几个候选项目，并用一些冷启动项目进行补充，然后根据生成候选项目的嵌入表示对这些项目进行排名。
研究人员指出，“Dense检索和生成式检索方法的融合对推进推荐系统具有巨大潜力”，并且随着模型的发展，“它们将越来越适用于实际应用，实现更个性化和响应迅速的用户体验”。
在另一篇论文中，研究人员介绍了一种新颖的多模态生成式检索方法，名为多模态偏好辨识器(Mender)，这是一种能够使生成模型从用户与不同项目的交互中捕捉隐含偏好的技术。Mender基于基于SIDs的生成式检索方法构建，并添加了一些组件，这些组件可以用用户偏好丰富推荐。
Mender使用大型语言模型(LLM)将用户交互转化为特定偏好。例如，如果用户在评论中赞扬或抱怨了某个特定项目，模型将将其总结为对该产品类别的偏好。
主要推荐模型在预测输入序列中的下一个语义ID时，被训练为同时以用户交互序列和用户偏好为条件。这使推荐模型具备泛化能力、能够进行上下文学习，并适应用户偏好，而无需对这些偏好进行显式训练。
“我们的贡献为新一代生成式检索模型铺平了道路，这些模型能够利用有机数据通过文本用户偏好来引导推荐，”研究人员写道。
对企业应用的影响
生成式检索系统所提供的效率对企业应用具有重要影响。这些进步转化为即时的实际效益，包括降低基础设施成本和加快推理速度。该技术无论目录大小如何都能保持恒定的存储和推理成本，这对成长中的企业来说尤其有价值。
这些好处横跨各行业，从电子商务到企业搜索。生成式检索仍处于早期阶段，我们可以期待随着其成熟，将涌现出更多的应用和框架。
