Meta AI 推出 LIGER 混合检索 AI 模型,计算效率与推荐精度兼得

Meta AI 的研究人员提出了一种名为 LIGER 的新型 AI 模型,巧妙地结合密集检索和生成检索的优势,显著提升了生成式推荐系统的性能。

Meta AI 的研究人员提出了一种名为 LIGER 的新型 AI 模型,巧妙地结合密集检索和生成检索的优势,显著提升了生成式推荐系统的性能。

LIGER 有效地解决了传统推荐系统在计算资源、存储需求和冷启动项目处理上的难题,为构建更高效、更精准的推荐系统提供了新的思路。

项目背景

想要把用户与相关内容、产品或服务联系起来,推荐系统是其中重要一环。该领域的常规方法是密集检索(Dense retrieval),利用序列建模来计算项目和用户表示。

但这种方法由于要嵌入每个项目,因此需要大量的计算资源和存储。随着数据集的增长,这些要求变得越来越繁重,限制了它们的可扩展性。

而另一种新兴的方法叫做生成检索(Generative retrieval),通过生成模型预测项目索引来减少存储需求,但该方式存在性能问题,在冷启动项目(用户交互有限的新项目)中表现尤为明显。

项目介绍

Meta AI 公司联合威斯康星大学麦迪逊分校、ELLIS Unit、LIT AI Lab、机器学习研究所、JKU Linz 等机构,混合密集检索和生成检索,推出了 LIGER(LeveragIng dense retrieval for GEnerative Retrieval)模型。

该模型混合了生成检索的计算效率和密集检索的精度,利用生成检索生成候选集、语义 ID 和文本属性的项目表示,再通过密集检索技术进行精练,平衡了效率和准确性。

Meta AI 推出 LIGER 混合检索 AI 模型,计算效率与推荐精度兼得

LIGER 采用双向 Transformer 编码器和生成解码器。密集检索部分整合了项目文本表示、语义 ID 和位置嵌入,并使用余弦相似度损失进行优化。生成部分使用波束搜索根据用户交互历史预测后续项目的语义 ID。

通过这种混合推理过程,LIGER 降低了计算需求,同时保持了推荐质量。LIGER 还能很好地泛化到未见过的项目,解决了先前生成模型的关键限制。

LIGER 性能

在 Amazon Beauty、Sports、Toys 和 Steam 等基准数据集上的评估显示,LIGER 的性能持续优于 TIGER 和 UniSRec 等现有最先进模型。

例如,在 Amazon Beauty 数据集上,LIGER 对冷启动项目的 Recall@10 得分为 0.1008,而 TIGER 为 0.0。在 Steam 数据集上,LIGER 的 Recall@10 达到了 0.0147,同样优于 TIGER 的 0.0。

Meta AI 推出 LIGER 混合检索 AI 模型,计算效率与推荐精度兼得

Meta AI 推出 LIGER 混合检索 AI 模型,计算效率与推荐精度兼得

随着生成方法检索的候选数量增加,LIGER 与密集检索的性能差距缩小,展现了其适应性和效率。

AI在线附上参考地址

  • Unifying Generative and Dense Retrieval for Sequential Recommendation

相关资讯

Meta AI 全球市场扩张,并上线网页版 meta.ai

Meta 公司近日宣布 Llama 3 大语言模型之外,扩展 Meta AI 服务到美国之外的 13 个国家和地区,还宣布上线专门的聊天网站:meta.ai。Meta 公司在新闻稿中表示开始在全球市场扩展 Meta AI,在澳大利亚、加拿大、南非和新加坡等国家和地区推出英语版本。IT之家附上 Meta AI 扩展的国家和地区如下澳大利亚加拿大加纳牙买加马拉维新西兰尼日利亚巴基斯坦新加坡南非乌干达赞比亚津巴布韦Meta AI 整合了 Llama 3 大语言模型,速度更快、智能性更高、功能更强,是执行各种任务的理想选择

Llama3后,Meta又开放自家头显操作系统,打造元宇宙时代新安卓

虽然向第三方开放了操作系统,但 Meta 将继续开发 Quest 头显设备。Meta 誓将开放进行到底。这次把自家 VR 头显 Quest 采用的操作系统「Meta Horizon OS」向第三方硬件制造商开放了,包括华硕、联想和微软等一众企业。此举意在展示作为 MR 操作系统整合者的 Meta 对元宇宙开放的新愿景。至此,Meta 正式向实现元宇宙更开放的计算平台愿景迈出下一步。为实现该恢弘战略,Meta 同时在三方面不断发力,并竭力整合资源:向第三方硬件制造商开放 Meta Quest 设备的操作系统,为消费者

不到60秒就能生成3D「手办」,Meta发力3D生成,ChatGPT时刻要来了吗?

3D 生成,一直在等待它的「ChatGPT时刻」。一直以来,创作 3D 内容是设计和开发视频游戏、增强现实、虚拟现实以及影视特效中最重要的部分。然而,3D 生成具有独特而艰巨的挑战,这是图像和视频等其他生成内容所不具备的。首先,3D 内容在艺术质量、生成速度、3D 网格结构和拓扑质量、UV 贴图结构以及纹理清晰度和分辨率方面具有严格的标准;其次,与其他研究相比,可用的数据量少。虽然该领域有数十亿张图像和视频可供学习,但可用于训练的 3D 内容数量要少三到四个数量级。因此,现阶段的3D 生成还必须从非 3D 的图像和