Ferret

光明实验室基础智能研究团队携手新加坡国立大学最新突破——大语言模型的规模化联邦全参数调优，为大语言模型(LLMs)的联邦学习开辟了全新篇章！其中共一第一作者是光明实验室基础智能研究团队负责人，共一第二作者是新加坡国立大学博士生，均师从新加坡国立大学的Bryan Low教授。论文链接：, ：（LLMs）已在众多实际应用中变得不可或缺。然而，在规模化环境下对这些模型进行微调，尤其是在数据隐私和通信效率…

感谢苹果公司近日发布研究论文，展示了 Ferret-UI AI 系统，可以懂得应用程序屏幕上的实质。以 ChatGPT 为代表的 AI 大谈话模型（LLMs），其训练材料通常是文本实质。为了能够让 AI 模型能够懂得图象、视频和音频等非文本实质，多模态大谈话模型（MLLMs）因此孕育而生。只是现阶段 MLLMs 还无法有效懂得移动应用程序，这主要有以下几个原因：1. 手机屏幕的宽高比，和大多数训练…