AI在线 AI在线

联邦

大语言模型的规模化联邦全参数调优

大语言模型的规模化联邦全参数调优
光明实验室基础智能研究团队携手新加坡国立大学最新突破——大语言模型的规模化联邦全参数调优，为大语言模型(LLMs)的联邦学习开辟了全新篇章！其中共一第一作者是光明实验室基础智能研究团队负责人，共一第二作者是新加坡国立大学博士生，均师从新加坡国立大学的Bryan Low教授。论文链接：, ：（LLMs）已在众多实际应用中变得不可或缺。然而，在规模化环境下对这些模型进行微调，尤其是在数据隐私和通信效率至关重要的联邦设置中，仍面临着重大挑战。现有方法通常采用参数高效微调（PEFT）来减轻通信开销，但这通常以牺牲模型性能为
9/23/2024 10:32:00 AM
新闻助手
清华大学张璇、周光敏团队在联邦学习实现退役电池协同分类回收研究中取得新进展

清华大学张璇、周光敏团队在联邦学习实现退役电池协同分类回收研究中取得新进展
编辑 | ScienceAI在退役电池回收行业中，正极材料的回收价值极高。传统的处理方式（例如火法、湿法）通常不对正极材料进行分类，而以混合形式回收，资源利用效率低且利润有限。相较之下，直接回收（修复）方法可以显著提升经济价值，具有工艺流程短、二次能源消耗和污染低、经济效益高的优点，但需要事先获取电池的正极材料信息。这些信息涉及制造商、用户、科研机构等敏感数据，难以获取和集中利用。此外，电池制造标准多样性、历史运行条件差异和多方（回收合作者）协作时的数据隐私问题加剧了退役电池分类的难度，制约了回收效率的提升和回收产
12/18/2023 4:26:00 PM
ScienceAI
可信联邦学习冬令营·成都开营，产学研共促AI人才培养

可信联邦学习冬令营·成都开营，产学研共促AI人才培养
近年来，国家对于人工智能和数据安全的重视程度不断加强。国务院《新一代人工智能发展规划》中明确提出了加强人工智能领域的基础研究、培养高素质人才、促进产业融合等方面的要求。联邦学习是人工智能和隐私计算核心技术之一，以“数据不动模型动，数据可用不可见”的核心特征，在保护数据隐私，促进数据要素安全流通等方面发挥关键性作用。
11/20/2023 5:19:00 PM
新闻助手
为数据而生，为隐私而战：隐私计算产业加速崛起

为数据而生，为隐私而战：隐私计算产业加速崛起
在充分保护隐私的同时尽可能多地挖掘数据价值，不仅理论上可行，实践中也有越来越多的团队为之努力并取得进展。
5/15/2023 3:06:00 PM
机器之心
5月25日！联邦学习安全效率与开源生态论坛即将开幕

5月25日！联邦学习安全效率与开源生态论坛即将开幕
当下，人工智能与大数据已经渗透到生产生活的方方面面。在保护数据安全的前提下释放数据价值成为社会发展的必然需求，隐私计算联邦学习作为隐私增强计算与人工智能相结合的新型技术范式，将迎来怎样的技术方向和应用创新？可信联邦学习如何平衡安全、可用的双目标？加快培育数据要素市场，给产学研各界带来怎样的机遇？由中国信息通信研究院云大所、清华大学智能产业研究院、深圳数据交易有限公司共同指导，FATE开源社区、开放群岛（Open Islands）开源社区、智能投研技术联盟（ITL）联合主办的“联邦学习安全效率与开源生态”线上论坛议程
5/20/2022 2:44:00 PM
新闻助手
  • 1