解码小红书推举体系:为什么在这里普通人更容易被看见?
出差期间,我在酒店百无聊赖地打开了小红书。一篇看似平淡无奇的条记吸引了我的注意——一位 ID 叫「倚着彩虹看夕阳」的用户发帖,说自己在酒店的床上看西游记时,感觉到前所未有的放松。
从标题到配图,这篇发布于去年 5 月的条记没有任何明显的爆点,但显然在小红书上引发了广泛的共鸣,收到了大量的点赞、收藏和批评。我也被吸引,陷入了#走不出的批评区。
现代人的信息获取方式很大程度上受推举体系所影响,这篇条记在发布 8 个月后依然能进入我的视野,小红书的推举体系功不可没。相比之下,很难想象同样的实质在其他平台上也能得到如此广泛的传播。
为什么在小红书上普通人更容易被看见?它的流量算法,如何让每个人都有机会成为爆款文的主角?为什么身边人越来越爱刷小红书?
带着这些疑问,我走访了小红书技能团队,希望通过他们的解释,能更深入地了解这个让无数用户感叹「特别懂我」且「氛围极好」的实质社区。
重视普通人表达——
小红书实质散发和推举逻辑
随着近些年用户和实质的快速破圈,小红书摇身一变,从「人间种草机」成为「生活百科全书」。作为一个基于用户生成实质(UGC)的生活指南社区,小红书融合图文、视频、直播等多种实质形式,实质维度非常丰富。推举体系需要权衡多重目标优化,算法背后的代价观让小红书选择了不一样的技能路径——去中心化散发、注重用户体验和社区的高品质互动,这也形成了其特别的实质散发和推举策略。
小红书旨在创建一个「普通人帮助普通人」的实质分享社区,满足普通人的实质被看见的需要。有一个非常典型的案例凸显了小红书推举体系的快速与准确,曾经有一位女孩在信号较差的火车上发帖求助卫生巾,仅仅两个小时后,她就收到了陌生人的神奇馈赠。在这里,任何人都可以分享他们觉得有趣或有用的生活细节,无论多么微小。
为什么我们在小红书上能看到这么多「素帖爆火」的案例,其中一个重要的影响因素是技能散发的逻辑。小红书的技能理念很独特,将大约一半的流量给普通 UGC 用户,让普通人的创作有平等被看到的机会。与此同时,这些普通人的经验与生活分享也会在未来逐步释放出长尾代价。
在小红书上,条记被推举的综合考虑因素很多,没有标准的公式一概而论。具体说,纳入考虑的因子包括点击、时长、完播、下滑、品质、点赞、收藏、关注、转发、批评等。小红书的推举体系会根据用户的习惯调整各因子的权重,一般会综合考虑消费、互动和体验类指标,结合用户的消费行为偏好,实现个性化的权重组合。同时,小红书推举体系也会根据条记的发布意图来调整收藏、转发和批评的权重,例如,日常分享类的条记更看重点赞,工具类条记更看重收藏,求助类条记更看重批评。
小红书上各种「被看见」的普通人普通事
当一篇新的条记在小红书发布后,它将经历一系列复杂的处理步骤,通过「人以群分」的实质散发体系,把信息精准给需要的人。虽说当前各种推举体系的核心算法和基本流程在很大程度上是类似的,但与传统推举体系追逐的「全局最优」不同,小红书将流量分层,寻求「局部最优」,通过识别不同的人群,让好的实质从各个群体中涌现出来,跑出了适合社区的新一代推举体系。
那些素帖爆火背后的秘籍,无一不透露着:一个优秀的推举体系,关键在于如何根据具体的应用场景、用户行为和反馈来调整和优化这些基本方法。
对小红书来说,关键的课题包括在冷启/爬坡阶段,如何举行实质理解从而定位种子人群并举行高效的人群扩散;在召回/排序环节,如何提升模型预测的精准度,以及如何举行实时流量调控;还有如何保证实质的多样性,使用户的短期兴味和长期兴味得到平衡。
挖掘长尾,高效散发——多模态实质理解
实质理解是推举散发的基础。精细和准确的个性化推举,离不开对实质的充分理解,只有让体系真正掌握了到底实质在讲什么,才能够推举得更加准确。传统的实质理解主要依赖于标签化体系,然而,这种体系的主要课题在于标签粒度过大和标签维度过窄。在小红书这样海量且多样性强的实质场景中,这两个课题尤其突出。无论如何定义标签体系,都难以覆盖多样化、长尾化的实质,同时,标签体系的运营更新也难以跟上实质的迭代和发展。
为了解决标签化实质理解体系的课题,小红书技能团队借助大规模多模态预训练模型,构建了向量化的实质理解体系。这种向量体系具有更开放的通识知识和动态自由的使用方案。作为传统标签体系的补充,向量化体系通过隐性聚类能力实现了细粒度、动态化的实质分类;另一方面,通过预训练和微调的方式,提高了体系在更多维度上对实质识别和评价的精度。
在多模态预训练方面,团队采用了类似于 CLIP 的对比学习,在经过清洗和去噪的小红书条记样本上举行训练。小红书是一个天然的优质多模态图文对样本集散地,通过将条记封面图和条记标题组对的方式,不需要人工标注,就能获得数以十亿甚至更大的样本集合,保证了样本的规模性、多样性和时效性。在优质样本的支持下,团队开发出了参数量从 10M 到 10B 不等的各种 backbone 选型,支持 BERT、RoBERTa、ResNet、Swin-T、ViT 等架构,以满足下游的各种使用需求。
以多模态预训练向量为基座,实现对复杂多模态实质的综合语义表征
在应用实例上,团队实践了基于条记多模态向量的层次化实质聚类,用于 Feed 的多样性打散。通过向量聚类得到的 ClusterID 作为隐性实质标签,并通过调整聚类相似度门限来动态控制 ClusterID 的粒度,从而实现自由粒度上的相似实质打散和频控。
基于纯静态实质特征刻画条记品质,实现冷启/长尾优质实质高效散发
同时,团队利用实质的后验散发数据(例如点击率、点赞率、快划率等),对预训练向量举行微调,从而实现对实质散发品质的级别预测。小红书开创性地构建了一整套实质品质框架,利用封面图片画质美学模型和多模态条记品质分模型,定义有用和美好的实质。由于实质散发品质完全聚焦在实质的静态特征上,因此在冷启动和长尾实质推举上更为有效,不会受到马太效应的影响,避免了推举趋向于热门实质的课题。
新条记冷启动,种子人群识别——
去中心化散发的基础
小红书发现,扶持新发布、低曝光的条记可以增强作者的发布意愿。在全域曝光中,大约一半的流量散发是普通用户发表的实质。优质、有代价、引发共鸣的实质永不过时。小红书推举散发还具有独特的中长尾流量效应。哪怕一条条记的初始数据一般,只要它有代价,体系捕捉到中长尾信号,依然会被推举给需要的用户,与发布时效无关。
一个素人博主没有多少粉丝,创作的实质都有可能成为爆款,帖子点赞量或收藏数上千。在前文「酒店的床上看西游记」的例子中,发帖的用户粉丝量少,主页互动实质也不多,如何对其举行推举和展示?
这归结为推举体系的一个核心课题——新实质的冷启动。冷启动的课题本质是在行为数据比较少的情况下充分理解实质,从而实现更精准的推举,一般会被建模为一个 Regret Minimization 课题,主要关注如何最小化奖励函数的损失值。其中,奖励函数的估值标准至关重要,因为它反映了每个平台的不同代价选择。
多数平台会选择消费类指标,如点击率和停留时长,作为奖励函数的评估标准。相比别的平台,小红书具有更强的 UGC 生态,社区属性更强。所以,在冷启动阶段,体系更加关注高品质批评的数量、挖掘高潜条记,因为高品质的批评数量反映了目标人群对新实质的互动情况,也即新实质是否被准确散发到了符合其特性的人群中。
在新实质冷启动课题方面,小红书技能团队形成了一套包含 4 步的 pipeline:
1、实质信息提取:新实质刚上传时,没有用户行为信息,只能通过实质信息举行散发。技能团队运用 NLP、CV 和多模态融合技能,提取实质信息,生成相关的话题和实质特征。
2、种子人群圈选和投放:团队利用实质信息定位目标人群,这些人群是通过双塔模型和图神经网络产出的用户 Embedding 举行聚类得到的。然后根据实质信息,判断哪些人群对新实质更感兴味。新实质在种子人群中的投放,借助贝叶斯寻优调整 boost 系数,以找到用户指标损失和新实质曝光的最优权衡。
3、基于行为反馈的人群扩散:在初期散发后,新实质会积累一定的用户反馈。小红书希望将这些新实质也散发给与反馈用户相似的其他用户。他们通过 lookalike 模型举行人群扩散,根据与新实质有过交互的用户向量生成新实质向量,并将其作为向量索引。通过定义不同的用户向量和新实质向量的相似度函数,小红书推举体系 lookalike 模型的点击率提高了约 7%。
4、模型承接:在完成初期的冷启动后,新实质进入正常散发阶段。模型的时效性决定了模型是否能有效处理新实质。通过持续迭代,目前小红书首页推举的召回、粗排和精排模型的训练都做到了分钟级更新。
最终的效果,小红书已经实现了每日新实质占 40% 曝光,新实质的散发效率(pCTR)与老实质持平,且 24 小时内冷启动完成率超过 98%。
推举多样性,长短期兴味的平衡——
兴味的探索和保留
在小红书 APP 首页,会用「发现 Explore」定义信息流推举的场景,希望能够帮助用户发现感兴味的实质,或是找到新的兴味。在「发现」这一目标的驱动下,多样化的推举显得尤为重要。
用户的兴味是多样化的,并且会随着时间的推移而变化。这些变化可能体现在一天的早晚,一年的四季,或者人生的不同阶段。因此,小红书的推举体系不仅要提供用户当前感兴味的实质,还要积极探索用户可能感兴味的新领域,以更好地满足用户的期待。
为了达到推举多样性的目标,小红书推举体系引入了两个关键策略——精细化信号利用(Exploitation)和探索(Exploration)。在精细化信号利用中,体系对用户在多个场景(如搜索、推举、个人页和作者页等)的各种行为举行精细化利用,归因不同场景不同权重,并根据用户的行为历史举行序列化建模(实时、近一天、近一周、近一个月、近一年)。这种方法提高了模型对用户兴味的捕获和刻画能力,有助于满足用户的短期兴味。
在探索策略中,体系使用 DPP 和 MGS 等向量打散机制,解决追打密集导致的实时兴味实质过量、长期兴味快速遗忘的课题。同时,体系通过人群召回来解决兴味探索课题,有助于发现并满足用户的长期兴味。
为了平衡推举品质与多样性,小红书提出了滑动频谱分解(Sliding Spectrum Decomposition,SSD)模型。在信息流推举场景中,SSD 模型通过高效的滑窗计算,将单篇模型的代价排序转化为整个浏览周期的建模。
在多样性的定义中,需要利用 Embedding 来计算实质的相似度。相对于头部实质,中长尾实质的用户交互数据更加稀疏,传统的协同过滤方法在计算相似度时效果不佳。因此,团队设计了一种基于实质的协同过滤方法(CB2CF),使用实质信息预测协同过滤的结果,更有效地衡量中长尾实质的相似性。CB2CF 方法仅使用实质作为输入,依赖模型的泛化能力为新实质提供良好的预测结果,同时依赖全体用户的协同标注获取用户感知的信号,从而提高推举品质。
CB2CF 的思想源于微软 2019 年发表在 RecSys 上的工作。小红书在此基础上改进了 loss 的构造方法,取得了更好的结果 [1]
大模型时代,推举体系的下一站
作为近年来增长最快速的移动互联网平台之一,小红书证明了推举体系可以兼顾用户代价和平台利益。当用户在平台表达自己的偏好,如对哪种类型的实质感兴味、希望看到和不希望看到哪些人或事等,推举体系会精准的感知并不断调优来满足用户需求。这样,用户的满意度提升,社区持续长大,平台的流量代价和商业利益就在其中自然而然地生长起来。
在大模型时代,推举体系正面临着前所未有的发展机遇。大模型具有强大的泛化能力和知识理解能力,可以为推举体系带来更精准的推举结果、更好的用户体验,以及解决实际课题的能力。然而,大模型在推举体系中的应用也面临着诸多挑战,如计算资源需求、模型可解释性等。
随着大模型的蓬勃发展,小红书的推举体系将如何演进?
大模型时代推举体系的机遇和挑战
目前,在推举体系与大模型结合领域,存在两种技能路线:一种是将大语言模型(LLM)发展或改造成为一个推举体系,另一种则是将现有推举体系与 LLM 结合,例如将 LLM 作为特征编码器,或者作为推举 pipeline 的控制/调度模块。
在第一种路线上,小红书举行了一系列的尝试。现阶段而言,主要挑战在于处理速度过慢。尽管输入的参数有时会带来出人意料的结果,但这种方法与长期积累的推举体系工具和算法之间存在断裂。小红书技能团队发现,如果完全依赖于 LLM 举行推举,那么推举性能将从一个相对高的行业基线跌落。因此,小红书技能团队目前更偏向于后者,也即在推举体系的传统流程中融入 LLM 的功能,他们认为这是一个极具潜力的研究方向。
总的来说,推举体系与大模型的结合具有巨大的发展前景,特别是让用户能够接受和体系举行多轮交互这一点,与传统搜推体系场景不同,大多数用户都愿意与 ChatGPT 等 LLM 多聊上几句,让推举体系有了更多机会去学习和了解用户的意图和需求,而传统场景下用户在最初一两次搜索没有得到想要的结果后便会离开。因此,对于有明确业务场景的公司,可以在大模型时代挖掘出新的机会。
结语
在网络实质爆炸的当下,小红书的推举体系通过其独特的算法和设计,为普通人提供了一个发现和被发现的平台。这种理念背后的用户导向和社区代价,让每个用户的声音都有可能被放大,成为共鸣的起点。
随着技能的发展,推举体系需要更多人性化的考虑,例如,如何在确保实质品质和保持算法公正性之间找到平衡,如何避免让不具备长期代价的实质被过度放大。大模型时代,推举体系的可解释性和透明度如何增强,也是一个重要的挑战。
在小红书的案例中,我们看到了技能如何助力构建更加平等和多元的实质生态,这个过程中的技能抉择和代价考量是推动社区长期健康发展的关键。对于用户而言,思考这些课题,不仅是享受个性化实质带来的便捷,也是理解和参与未来数字社会的重要一步。
注释
[1] 论文:Sliding Spectrum Decomposition for Diversified Recommendation,https://arxiv.org/abs/2107.05204