ICLR 2024 | 联邦进修后门进击的模型环节层

联邦进修使多个参与方可以在数据隐私失去庇护的情况下训练机器进修模型。但是由于服务器无法监控参与者在本地举行的训练过程,参与者可以篡改本地训练模型,从而对联邦进修的全局模型构成安全序隐患,如后门进击。本文重点关注如何在有进攻庇护的训练框架下,对联邦进修发起后门进击。本文发现后门进击的植入与部分神经网络层的相关性更高,并将这些层称为后门进击环节层。鉴于后门环节层的发现,本文提出通过进击后门环节层绕过进攻算法检测,从而可以控制少量的参与者举行高效的后门进击。论文题目:Backdoor Federated Learning

联邦进修使多个参与方可以在数据隐私失去庇护的情况下训练机器进修模型。但是由于服务器无法监控参与者在本地举行的训练过程,参与者可以篡改本地训练模型,从而对联邦进修的全局模型构成安全序隐患,如后门进击。

本文重点关注如何在有进攻庇护的训练框架下,对联邦进修发起后门进击。本文发现后门进击的植入与部分神经网络层的相关性更高,并将这些层称为后门进击环节层。

鉴于后门环节层的发现,本文提出通过进击后门环节层绕过进攻算法检测,从而可以控制少量的参与者举行高效的后门进击。

ICLR 2024 | 联邦进修后门进击的模型环节层

论文题目:Backdoor Federated Learning By Poisoning Backdoor-Critical Layers

论文链接:https://openreview.net/pdf?id=AJBGSVSTT2

代码链接:https://github.com/zhmzm/Poisoning_Backdoor-critical_Layers_Attack

办法

ICLR 2024 | 联邦进修后门进击的模型环节层

本文提出层替换办法识别后门环节层。具体办法以下:

第一步,先将模型在干净数据集上训练至收敛,并保存模型参数记为良性模型ICLR 2024 | 联邦进修后门进击的模型环节层。再将良性模型的复制在含有后门的数据集上训练,收敛后保存模型参数并记为歹意模型ICLR 2024 | 联邦进修后门进击的模型环节层

第二步,取良性模型中一层参数替换到包含后门的歹意模型中,并计算所失去的模型的后门进击成功率ICLR 2024 | 联邦进修后门进击的模型环节层。将失去的后门进击成功率与歹意模型的后门进击成功率 BSR 做差失去 △BSR,可失去该层对后门进击的影响程度。对神经网络中每一层使用相同的办法,可失去一个记录所有层对后门进击影响程度的列表。

第三步,对所有层按照对后门进击的影响程度举行排序。将列表中影响程度最大的一层取出并加入后门进击环节层集合 ICLR 2024 | 联邦进修后门进击的模型环节层,并将歹意模型中的后门进击环节层(在集合 ICLR 2024 | 联邦进修后门进击的模型环节层 中的层)参数植入良性模型。计算所失去模型的后门进击成功率ICLR 2024 | 联邦进修后门进击的模型环节层。如果后门进击成功率大于所设阈值 τ 乘以歹意模型后门进击成功率ICLR 2024 | 联邦进修后门进击的模型环节层,则停止算法。若不满足,则继续将列表所剩层中最大的一层加入后门进击环节层ICLR 2024 | 联邦进修后门进击的模型环节层直到满足条件。

在失去后门进击环节层的集合之后,本文提出通过进击后门环节层的办法来绕过进攻办法的检测。除此之外,本文引入模拟聚合和良性模型中心进一步减小与其他良性模型的距离。

实行结果

本文对多个进攻办法在 CIFAR-10 和 MNIST 数据集上验证了鉴于后门环节层进击的有效性。实行将分别使用后门进击成功率 BSR 和歹意模型接收率 MAR(良性模型接收率 BAR)作为衡量进击有效性的指标。

首先,鉴于层的进击 LP Attack 可以让歹意客户端获得很高的选取率。以下表所示,LP Attack 在 CIFAR-10 数据集上失去了 90% 的接收率,远高于良性用户的 34%。

ICLR 2024 | 联邦进修后门进击的模型环节层

然后,LP Attack 可以取得很高的后门进击成功率,即使在只有 10% 歹意客户端的设定下。以下表所示,LP Attack 在不同的数据集和不同的进攻办法庇护下,均能取得很高的后门进击成功率 BSR。

ICLR 2024 | 联邦进修后门进击的模型环节层

在消融实行中,本文分别对后门环节层和非后门环节层举行投毒并测量两种实行的后门进击成功率。以下图所示,进击相同层数的情况下,对非后门环节层举行投毒的成功率远低于对后门环节层举行投毒,这表明本文的算法可以选择出有效的后门进击环节层。

ICLR 2024 | 联邦进修后门进击的模型环节层

除此之外,我们对模型聚合模块 Model Averaging 和自适应控制模块 Adaptive Control 举行消融实行。以下表所示,这两个模块均对提升选取率和后门进击成功率,证明了这两个模块的有效性。

ICLR 2024 | 联邦进修后门进击的模型环节层

总结

本文发现后门进击与部分层紧密相关,并提出了一种算法搜寻后门进击环节层。本文利用后门进击环节层提出了针对联邦进修中庇护算法的鉴于层的 layer-wise 进击。所提出的进击揭示了目前三类进攻办法的漏洞,表明未来将需要更加精细的进攻算法对联邦进修安全举行庇护。

作者介绍

Zhuang Haomin,本科毕业于华南理工大学,曾于路易斯安那州立大学 IntelliSys 实行室担任研究助理,现于圣母大学就读博士。主要研究方向为后门进击和对抗样本进击。

给TA打赏
共{{data.count}}人
人已打赏
工程

让智能体像孩子一样观察别人进修行动,跨视角妙技进修数据集EgoExoLearn来了

2024-4-6 23:43:00

工程

二次元专用超分AI模型APISR:在线可用,入选CVPR

2024-4-7 14:22:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索