一、知乎反作弊简介
知乎是中文互联网知名的可信赖的问答社区，为用户提供了丰富的内容创作与消费功能，致力于让人们更好的分享知识、经验和见解，找到自己的解答。
作为UGC（用户生成内容）社区，知乎面临一系列风险，反作弊团队目前针对垃圾信息、刷粉、刷赞、账户盗用以及流量攻击等问题进行识别与治理，覆盖业务场景多，面临诸多挑战。
二、互动反作弊的意义与挑战
今天主要分享的是我们在刷粉、刷赞等互动反作弊方面的实战经验。接下来的介绍将分为三个部分：作弊的定义、作弊的原因及应对措施。
目前，知乎面临的刷量问题可以归纳为三类。
第一类是传统机器刷量。这类行为通常通过协议攻击或脚本攻击伪造数据。其特点是数量较大且特征明显，较为容易发现和治理。
第二类是真人众包刷量。这也是近年来行业内较为常见的一类刷量手段。黑灰产组织通常会在众包平台或任务群中发布悬赏任务，吸引真实用户完成这些任务。尽管此类作弊模式的技术复杂度相对机器刷量较低，但其识别成本和治理难度较高。
第三类是抱团刷量。具体表现为众多创作者通过线下群组的形式对彼此的内容进行互动。这类问题在最近两三年间在知乎平台上较为常见，由于参与的用户多为知乎平台上的活跃创作者，这使得此类行为的治理难度较大。
作弊行为本质上是一种趋利行为。上述提到的三类方式背后的动机可以归纳为两大类：直接获利和打压竞争对手。
直接获利的主要利益点可总结为以下三种：
- 获取流量。刷量行为能够促进内容分发，进而实现商业价值的转化。此外，通过刷量获得关注，创作者可以进行引流操作，吸引更多的关注度或潜在客户。
- 满足数据交付要求。许多客户或广告主对商单内容设有数据考核指标，创作者为了达到这些考核标准，可能会有动机进行刷量，以确保数据符合预期。
- 账号成长。刷量可以帮助快速提升账号等级和影响力，从而解锁平台内的更多权益和服务。
打压竞争对手也是一种常见的作弊动机。常见的方式包括点赞竞争对手的负面内容或恶意点踩其正面内容，以此破坏对方声誉，削弱其竞争力。
打击作弊行为对知乎具有多方面的重要意义：
- 法律法规层面。近年来，国家高度重视虚假流量和网络水军问题，并出台了一系列相关法律规定。在“清朗行动”等专项治理活动中，也特别针对网络水军及网络传播秩序提出了具体要求。因此，平台对内部出现的作弊问题进行打击，不仅是遵守法律法规，也体现了知乎作为平台的社会责任感。
- 维护良好社区生态。知乎的良性可持续发展离不开良好、公平的社区生态，通过打击作弊行为，可以减少其对流量分配机制的负面影响，从而提升平台内创作者、用户以及商业客户的体验。
- 提升平台信誉。「知乎高赞」在行业内具有比较高的知名度，打击刷量行为能够进一步提升知乎高赞内容的可信度，助力知乎构建真实可信赖的品牌形象。
三、作弊治理思路
尽管反作弊业务场景多样，但我们整体上采取了统一方针与灵活策略相结合的思路。大方向上的目标是实现风险控制，即提高黑产的作弊门槛，使作弊影响控制在可接受范围内。
在防控链路上，通过风险感知、识别、分析、处置和评估五个核心环节，形成一个风控的良性循环（飞轮），并持续推动这一循环的运转，以确保业务的健康稳定发展。
针对前面提到的三类刷量行为，依据其各自特点采取不同的应对策略。
机器刷量具有明显的自动化、规模化和产业化特征，因此在对抗性和技术性上治理难度较高。对此主要在技术层面加强识别能力建设，并对机器账号和行为从严处置。
真人众包刷量表现出明显的聚集性和行为趋同性，且参与者多为真实消费者，因此也具备一定的对抗性。针对这一特点，主要以威胁情报为基础，溯源用户的作弊链路，并对真人众包账号及其产生的行为实施梯度处罚机制。
抱团刷量同样存在一定的聚集性，主要涉及平台内较为活跃的创作者，使得此类问题的治理相对复杂。因此整体思路是「控制规模、减少影响」，重点打击头部作弊者，同时联动用户运营团队进行引导，发布治理公告表达平台态度。
四、刷赞治理实践
反作弊工作是围绕具体的业务场景展开的，风控解决方案需要与业务团队联动并落地实施。因此，对于业务需求会在需求确认阶段进行介入，充分考虑各种风险因素，通过必要的业务流程和逻辑将风险控制在可控范围内。
在风控阶段，分为事前、事中和事后三个环节：
- 事前：主要部署防御性措施，解决大规模机器攻击问题。
- 事中：是最主要的介入方式，在此环节会实时识别和处置作弊行为。
- 事后：主要包括评估、专项清查及反馈受理等运营工作。
此外，在方案的关键环节，我们还设立了一系列监控报警和评估机制，以保障能够及时发现异常情况，并迅速做出响应。
风险感知是我们风控飞轮上的一个重要信号源。在这一环节，我们通过内外结合的方式挖掘和发现业务中的风险信号。
外部威胁情报方面，通过情报运营平台自动抓取黑灰产信息，实时掌握黑产交易及舆情讨论情况。此外，针对不同业务场景，我们制定了红蓝对抗测试方案，用于了解市场上主流的作弊手段，并作为评估当前反作弊效果的工具，确保及时查漏补缺。我们还会不定期开展专项调研或专题研究，深入分析某一类黑灰产的操作模式。
内部监测方面，基于内部各类业务数据、风控数据，建立风险主动感知能力。我们将数据异常抽象为三类：
- 波动：例如，回答赞同量出现非正常上涨。
- 偏离：检查某些数据是否与整体大盘存在显著偏差。
- 聚集：如特定时段内多个账号集中刷赞行为。
在感知方式上，主要通过统计规则或算法实现监控，监控时机灵活，支持实时和离线两种模式。
知乎业务场景多样，以点赞事件为例，除了回答外，文章和想法也支持点赞功能，这些场景的作弊问题虽然高度相似，但在不同的点赞类型上可能有各自的特点或差异。因此，在风险感知指标管理上，采取「指标管理业务」的模式，将同一个指标赋给多个场景，各场景也可以基于自身特点构建其特有的指标，这种方式大幅降低了风险感知指标重复创建的问题。
在风险识别环节，实时风控是通过知乎「悟空」反作弊系统实现。具体流程如下：
- 数据层：当用户发起点赞行为时，相关数据会实时接入风控系统。系统中设有专门的数据预处理模块，负责对各类特征进行计算。
- 规则层：规则引擎或统计引擎进行数据分析与判断，以识别潜在的风险行为。
- 处置层：基于上层计算结果做出各类响应动作，整个处理过程非常迅速，具备高时效性。
由于用户点赞、关注等互动行为产生的数据流量较大，线上实时处置的需求也较高，为保证实时风控系统的正常运转并保障用户体验，建立了配套的运营机制，确保系统的稳定性和高效性。
策略上线前，通过悟空系统的规则重放模块对新策略进行历史数据回溯，评估其召回准确率，这一过程有助于确保策略在上线前已经过充分验证。
策略上线后，系统层面设有一系列防护机制和功能以应对潜在风险。例如，对于高召回率策略实施熔断机制，以便及时中断可能引起的大规模线上误伤情况。
在整个策略运行期间，采用机器评估与人工评审相结合的方式，定期对策略体系进行全面评估，以及时发现并优化准确率不达标的策略，从而保持线上处置准确率的持续稳定。
除了实时风控之外，也同步建立了一系列离线风控措施，这也是整个风险识别过程中的重要环节，为实时风控提供了诸多基础能力。对于离线风控，将从特征、模型和画像这三个方面进行简要介绍。
特征，作为一项基础能力，主要作用包括：
- 直接提供结果，应用于策略、算法以及报警监控等多个环节；
- 进行对比，当前平台可支持特征分布的可视化展示，同时为分析工具提供对比基线，帮助业务团队快速做出判断，从而解决以往在问题定性或策略设定阈值多依赖经验的情况；
- 提供方法，平台支持用户自定义配置所需的各种特征，实现特征的共创、共享。
在特征管理方面，主要以用户或内容等实体为切入点，针对其各自特点进行场景化分类。以用户为例，按照账号特征、消费行为、互动行为、创作行为及处罚记录等类别进行场景化划分，并在各个类别下不断积累用户特征。
模型方面，由于刷赞通常是「团体战」而非「个人战」，因此通过模型挖掘作弊团伙是一个重要步骤。团伙的本质是一些有关联的个人或对象，因此，我们对关联进行了两类主要划分。
一类是通过设备、IP 地址或手机号等资源进行关联分析。这类属于全场景关联，会以用户生命周期内注册、登录、支付、发文等核心行为为基础进行关系构建。
另一类是社区发现，主要以单场景构建为主。以用户或内容实体作为介质，基于他们的社交互动建立关联。通过这种方式能够识别出许多社区或关联团伙，但这仅是初始环节，要确定团伙是否涉及作弊或违反社区规范，仍需叠加多种规则进行判断，以确保结论的准确性和可解释性。
最后要介绍的基础能力是画像。在行业内，许多同行可能会遇到画像滥用或冗余的问题，在知乎反作弊的早期阶段也曾面临类似挑战。因此在画像系统升级时，首先确立了规范先行的原则，在画像的创建、生产、消费及退场四个阶段均制定了标准规范，以规避冗余或滥用的问题。
在画像设计方面，按照业务风险域进行划分，每个风险域下根据具体风险问题进行层级拆分，层级数最多4到5级。在各画像节点创建时，内部委员会也会评估其合理性及是否符合业务场景需求。
由于画像系统的生产者和消费者涉及众多用户，在生产和消费环节设置了相关监控机制，确保整个画像体系持续健康并符合业务预期。
除了反作弊线上流程中使用的风险画像外，一些活动准入、名单筛查等业务需求也会需要画像辅助判断，由于多是「一次性」需求，为了提升需求解决效率、降低分析成本，还将用户画像进行了产品化建设。从用户的账号信息、内容行为、交易记录等多个维度进行了划分，每个维度都有对应的风险定级，并对用户输出综合风险评分，这使得用户风险定性不仅可量化，还具备较高的解释性。
反作弊团队除了做上述体系、能力建设外，日常的反馈处理、异常分析等运营工作也占据重要部分，由于这类工作的开展对分析工具有较高的需求，因此我们设计了「场景x角色」的综合分析平台。
例如，在刷赞分析场景下，至少涉及三类角色：点赞用户、被赞内容及其创作者，现有的综合分析平台能够针对上述三类角色提供快速定向分析。
分析工具会具备以下特点：
- 时效性：由于对反馈案例需要快速响应并给出结论，因此时效性需要优先保障。
- 批量分析：鉴于需处理大量案例，平台应运而生地具备了批量查询和分析的能力，以提升日常分析效率。
- 可视化：考虑到反作弊工作需要 7×24 小时响应，我们引入审核团队进行协作支持，为降低大家对风控指标及数据的理解成本，在分析工具的可视化方面也做了诸多的探索与实践。
以下是一个具体的案例：在分析用户点赞行为时，通常需要基于埋点日志对用户行为路径进行溯源，目前分析工具可以支持使用者了解：谁、使用了什么资源、在什么时间、从哪个入口、做了什么动作等，从用户视角复现其完整路径。
对于识别出的作弊行为或用户，设立了配套的处罚机制。针对不同角色，会依据其严重程度采取相应的梯度处置措施。此外，对于处置执行也设有随机延迟，防止黑产测出风控策略。
然而，对作弊问题实施严格处置仅是一种手段，而非最终目的。处置之外，更重要的是需要让用户知晓其违反了社区规则、如何规范自身行为，因此规则的透传和用户运营是处罚机制的重要组成部分。
规则透传工作主要从三个方面展开：
- 社区规范：在社区规范中明确规定平台不允许的作弊方式及相应的处罚措施。
- 系统通知：对于被封禁或警告的用户，通过系统通知明确告知处置原因及具体措施，并提供申诉渠道。
- 治理公告：通过「知乎小管家」对外发布各类治理公告，以表达平台对作弊问题的治理态度。
用户运营方面主要包括及时受理用户的举报或申诉。此外，知乎也有专门的运营团队向创作者宣贯平台规范，帮助他们了解平台规则，避免违规行为的发生。
经过上述各个环节的探索与实践，知乎在刷赞治理方面取得了一定成效。黑产在知乎刷赞的价格呈上升趋势，表明反作弊打击在一定程度上提高了黑产作弊成本。右侧图表展示了近期针对某一类刷赞问题开展专项治理前后的数据对比，经治理后刷赞行为的发生率显著下降，达到了降低作弊行为影响的目的。
五、反作弊感悟
最后，分享两点关于反作弊工作的感悟：一个是“平衡”，另一个是“因时制宜”。
反作弊工作并非简单处理二元问题（即0和1的问题），随着作弊方式的变化，如何确定作弊边界是一个经常遇到的难题。边界的确立不仅影响平台治理的效果，还可能引发用户体验、效率与成本之间的冲突。因此，这是一个持续探索和维持平衡的过程。
第二个关键词是“因时制宜”。业务发展是动态的，伴随业务场景变化，所遇到的作弊问题也在不断演变。同一类型的作弊问题，在不同的业务发展阶段可能需要采取不同的治理方案。很多时候，并不存在绝对唯一的最优方案，选择最适合当前情况的方案才是最佳策略。
六、Q&A
Q：在进行用户行为定性时，如何判断该行为是正常还是异常？在这一过程中有哪些规范或标准，或者有哪些经验可以分享？
A：首先，在识别异常行为时，需要区分具体的场景。例如，刷赞和刷关注可能有不同的特征。虽然行为违规很难像内容违规那样有「可见性」，但是也需要有基本定性原则，针对不同场景，我们会设定了初步的、较为粗略的标准。在评估行为时主要采用以下几种思路：
- 交叉验证：通过用户在其他已确认违规场景中的行为，或其在其他特征上的异常表现来验证当前场景的行为是否异常。这种交叉验证有助于提高判断的准确性。
- 还原场景：对于行为类分析，还原具体场景非常重要。我们会将用户的某次点赞行为置于其点赞时的具体内容环境中进行全面考量。例如，分析该内容的其他点赞者是否与该用户存在相似特征或其他显著特征，从而从内容维度对一群用户进行综合定性。通过这种方式，能够更准确地对单个用户的行为做出判断。