在深度进修时代，联邦进修（FL）提供了一种分布式的协作进修的方法，允许多机构数据所有者或客户在不泄漏数据隐私的情况下协作训练机器进修模型。然而，大多数现有的 FL 方法依赖于集中式服务器进行全部模型聚拢，从而导致单点故障。这使得零碎在与不诚笃的客户打交道时容易受到歹意袭击。本文中，FLock 零碎采用了点对点投票体制和嘉奖与削减体制，这些体制由链上智能合约提供支持，以检测和阻止歹意举动。FLock 理论和实证分析都证明了所提出方法的有效性，表明该框架对于歹意客户端举动具有鲁棒性。
现今，机器进修（ML），更具体地说，深度进修已经改变了从金融到医疗等广泛的行业。在当前的 ML 范式中，训练数据首先被收集和策划，然后通过最小化训练数据上的某些损失标准来优化 ML 模型。进修环境中的一个共同基本假设是训练数据可以立即访问或轻松地跨计算节点分发，即数据是「集中式」的。
然而，在一个拥有多个「客户端」（即数据持有者）的零碎中，为了确保数据集中化，客户端必须将要地数据上传到一个集中设备（例如中心服务器）以进行上述的集中式训练。尽管集中式训练在各种深度进修应用中取得了成功，但对数据隐私和安全的担忧日益增长，特别是当客户端持有的要地数据是私有的或包含敏感信息时。
联邦进修（FL）可以解决训练数据隐私的问题。在一个典型的 FL 零碎中，一个中心服务器负责聚拢和同步模型权重，而一组客户端操纵多站点数据。这促进了数据治理，因为客户端仅与中心服务器交换模型权重或梯度，而不是将要地数据上传到中心服务器，并且已经使 FL 成为利用多站点数据同时保护隐私的标准化解决方案。
然而，现有的 FL 大多不能保证来自客户端的上传模型革新的质量。例如，我们可以将歹意举动定义为通过投毒袭击故意降低全部模型进修性能（例如准确性和收敛性）的举动。袭击者可以通过操纵客户端破坏 FL 零碎，而不是黑进中心服务器。这项工作专注于防御客户端投毒袭击。
一种解决方案是将 FL 与如全同态加密（FHE）和安全多方计算（SMPC）等复杂的密码协议相结合，以减轻客户端的歹意举动。然而，采用这些复杂的密码协议为 FL 参与者引入了显著的计算开销，从而损害了零碎性能。
FLock.io 公司及其合作研究者们（上上海人工智能实验室 Nanqing Dong 博士、帝国理工大学 Zhipeng Wang 博士、帝国理工大学 William Knoettenbelt 教授、及卡内基梅隆大学 Eric Xing 教授）通过提出一种基于区块链和分布式账本技术的安全可靠的 FL 零碎框架来解决传统联邦进修（FL）依赖于集中式服务器进行全部模型聚拢，从而导致单点故障这个问题，并将此零碎设计命名为 FLock。
在该研究中，团队借助区块链、智能合约和代币经济学设计一种可以抵抗歹意节点袭击（尤其是投毒袭击）的 FL 框架。该工作的成果近期被 IEEE Transactions on Artificial Intelligence (TAI) 接收。
论文链接：https://ieeexplore.ieee.org/document/10471193
论文标题：Defending Against Poisoning Attacks in Federated Learning with Blockchain
方法介绍
灵感来源
FLock 的体制设计受到了证明权益（PoS）区块链共识体制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。
PoS 要求参与者通过嘉奖诚笃举动并通过削减权益来惩处不诚笃举动，鼓励诚笃举动。例如，在以太坊上，希望参与考证区块并识别链头的节点运营商将以太币存入以太坊上的智能合约中。某位考证者从总考证者池中随机选择作为区块提出者提出新区块， 其他考证者则检查新区块并证明它们是否有效。如果考证者未能完成其中相应的任务，他们就即会受到惩处或削减；诚笃节点则会收到嘉奖。
《The Resistance》游戏则通过投票体制，每轮游戏中玩家独立推理并投票，从而实现全部共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票体制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。抵抗力量的目标是投票淘汰所有间谍，而间谍的目标是冒充抵抗力量并生存到最后。
整体设计
基于 PoS 和《The Resistance》的启发，FLock 提出了一个新颖的基于区块链的 FL 全部聚拢的多数投票体制，其中每个 FL 参与客户端独立考证聚拢要地革新的质量，并为全部革新的接受度投票。参与者需要典质资产或代币。
每一轮 FL 训练中，参与者将被随机选中参与两种类型的行动，提议（上传要地革新）和投票。聚拢者（可以是区块链矿工或者其他 FL 链下聚拢者）将对收到的要地革新进行聚拢从而得到全部聚拢。如果大多数投票接受全部聚拢，提议者将退还其典质的代币，而投票接受的投票者不仅会退还，而且还会获得投票拒绝的投票者的典质代币的嘉奖，反之亦然。
基于股权基础聚拢体制的整体设计如下图所示。
算法细节如下所示：
在每一轮中，从参与的客户端中随机选择提议者来进行要地训练并将要地革新上传到区块链。
随机选择的投票者将下载聚拢的要地革新，执行要地考证，并投票接受或拒绝。
如果大多数投票者投票「接受」，那么全部模型将被革新，提案者和投票「接受」的投票者将获得嘉奖。
相反，如果大多数投票者投票「拒绝」，则全部模型将不会革新，提案者和投票「接受」的投票者的典质代币将被削减。
该算法的最终目标是让歹意参与者的长期平均收益为负值，进而使其典质代币削减到低于某个允许阈值，从而被提出 FL 零碎。
实验结果
FLock 的实验在 Kaggle Lending Club 数据集和 ChestX-ray14 数据集上显示分析了该方案的可行性和鲁棒性，包括：
与传统 FL 相比，FLock 抵抗歹意节点的能力：如下图所示，FLock （即 FedAVG w/block）在有歹意节点的情况下仍然保持了稳健的性能。
歹意参与者的典质代币变化：同理论分析一致，歹意参与者的平均代币随着训练轮数 / 时间的增加而减少。并且，如果惩处力度增大（即 \gamma 增大），则歹意参与者的平均代币的减少速度将会增大。
诚笃参与者的典质代币变化：相对应的，诚笃参与者的平均代币随着训练轮数 / 时间的增加而增加。并且，如果惩处力度增大大（即 \gamma 增大），则诚笃参与者的平均代币的增加速度将会增大。
歹意参与者的存活时间：歹意参与者的存活时间将会随着惩处力度增大而缩短。
诚笃参与者的存活时间：FLock 的实验结果也指出，在歹意节点占比较多的时候（即 \eta 增大时），较大的惩处力度也会造成部分诚笃节点的存活时间缩短（因为每一轮的提议者和投票者是随机选取的）。因此，在实际应用中，要结合考虑歹意节点占比（即 \eta）设置惩处力度（即 \gamma）。
总结与展望
FLock 提出了一种基于区块链、智能合约和代币经济学的可以抵歹意节点袭击的 FL 框架。该方案论证了区块链和 FL 结合的可行性，证明了区块链不仅可以在去中心化和激励参与者在金融和医学等领域的现实世界中的 FL 应用中发挥重要作用，而且还可以用来防御投毒袭击。
FLock 的方案已被进一步落地实现：https://www.flock.io/
团队将于近期推出首个版本的去中心化 AI 模型训练平台，基建包括了激励体系，联邦进修和一键微调脚本。平台将主要面向两类人群：Developer：欢迎各位 Kaggle 及 Huggingface 玩家早期入驻，完成模型训练与考证以获得激励；Task Creator：有模型训练或者微调需求的公司或者团队可以在FLock平台上发布任务，FLock提供基建组织开发者，从而省去组建AI团队，寻找用户基础与数据的复杂过程，并简化工作流。有兴趣请邮件 FLock 团队：[email protected]
研究方面，FLock 也正在探索更加多维度的 decentralized AI 安全解决方案，如借助零知识证明解决 FL 中心节点作恶的问题。
研究地址：https://arxiv.org/pdf/2310.02554.pdf
Let's wait for more decentralized AI solutions from FLock!
与此同时，FLock.io 公司致力于将此技术投入到工程实践，也于最近官宣种子轮六百万美元的融资，由 Lightspeed Faction（光速美国）领投。