FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning
一、 一眼概览
FedDAT提出了一种创新的双适配器教师框架（Dual-Adapter Teacher, DAT），结合参数高效微调和互知识蒸馏，解决了多模态异构联邦学习（FL）中的数据异构性问题，并在多个视觉-语言任务基准上取得了最优表现。
二、核心问题
如何在多模态联邦学习环境中，在数据异构性和通信预算限制下，实现基础模型的高效分布式微调，以提升视觉-语言任务的性能，是本研究的核心问题。
三、 技术亮点
1. 双适配器教师框架 (DAT)：引入冻结的全局适配器和本地优化适配器，以同时捕获客户端无关知识和客户端特定知识，从而缓解数据异构性问题。
2. 互知识蒸馏 (MKD)：通过双向蒸馏在全局和本地适配器间高效传递知识，防止遗忘并增强泛化能力。
3. 跨基准任务验证：在多种数据异构类型（视觉、文本、任务）基准上验证，表现出优越的收敛速度和扩展性。
四、方法框架
FedDAT的核心方法框架如下：
1. 全局适配器初始化：服务器初始化共享适配器，并在每轮通信后更新全局参数。
2. 客户端局部优化：
• 使用双适配器（本地适配器+冻结的全局适配器）捕获客户端特定和无关知识。
• 通过互知识蒸馏（MKD）在全局适配器和双适配器之间进行知识交换。
3. 联邦聚合：每轮通信后，通过加权平均整合各客户端的全局适配器参数。
五、实验结果速览
FedDAT在4个多模态FL基准上表现出显著优越性：
• 在Domain基准上，FedDAT相较现有最佳方法Adapter，平均准确率提升 4.55%。
• 在Function、Scene、Task基准上，分别实现最高 6.02%、7.94%、1.09% 的提升。
• 通过通信轮次分析，FedDAT在仅完成 25%通信预算 时已取得明显性能优势。
六、实用价值与应用
FedDAT在实际应用中具有重要价值，尤其适用于以下场景：
1. 医疗领域：隐私敏感环境下的跨机构协作模型优化。
2. 工业制造：数据分布不一致的多工厂质量检测。
- 3. 多模态智能：视觉与文本结合的复杂任务，例如视觉问答（VQA）。
七、开放问题
1. 若加入更大规模的客户端或多模态任务，FedDAT的性能是否能保持稳定？
2. 互知识蒸馏机制在其他FL应用中（如时间序列分析）是否同样适用？
3. 在极端数据异构性（如领域迁移任务）下，DAT框架的泛化能力是否受限？
其他
• 论文的官方期刊或会议来源:https://ojs.aaai.org/index.php/AAAI/article/view/29007
• 注：所有免费资料获取链接：https://link3.cc/soragpt
