让 AI 模型互相教学,谷歌推出社会学习框架

谷歌近日公开了一项名为“社会学习(Social Learning)”的 AI 框架,该框架允许 AI 语言模型能够通过自然语言互相学习,由于不需要直接交换敏感关键信息,因此训练出的 AI 模型更具隐私保护性。据介绍,在这款“社会学习框架”中,“学生模型”会向多个已知特定任务解法的“教师模型”学习各种问题的解决方案,研究人员设计了“垃圾短信检测”、“解决小学数学问题”、“根据特定文字回答问题”等多项测试,来评估相关“社会学习”框架的成效。研究人员表示,部分 AI 模型只经过短暂的“社会学习”框架训练,便能够能获得良好

谷歌近日公开了一项名为“社会学习(Social Learning)”的 AI 框架,该框架允许 AI 语言模型能够通过自然语言互相学习,由于不需要直接交换敏感关键信息,因此训练出的 AI 模型更具隐私保护性。

据介绍,在这款“社会学习框架”中,“学生模型”会向多个已知特定任务解法的“教师模型”学习各种问题的解决方案,研究人员设计了“垃圾短信检测”、“解决小学数学问题”、“根据特定文字回答问题”等多项测试,来评估相关“社会学习”框架的成效。

研究人员表示,部分 AI 模型只经过短暂的“社会学习”框架训练,便能够能获得良好的任务解决能力。在研究人员的“垃圾短信检测任务”中,教师模型首先从用户所标记的数据学习,而在教师获得检测垃圾信息知识后,便可以教会学生模型区分垃圾和非垃圾信息。

让 AI 模型互相教学,谷歌推出社会学习框架

▲ 图源 谷歌官方新闻稿

IT之家注意到,相关教师模型可以依据实际数据集,合成出新的范例与学生模型共享,合成数据集与原始数据完全不同,因此能在保证起到相同教育作用的同时,降低原始数据中隐私内容泄露的可能性。

研究人员还尝试了合成指令的方式,让教师模型针对特定任务生成一系列指令,学生模型依据教师模型指令学习执行任务的方式,有点类似“人类遵循他人口头指令做事,并在执行任务中掌握如何做事”。

而实验证明,相关教师模型生成的指令能够提高学生模型执行任务的效率,相比于零样本学习,研究人员认为,这显示出 AI 模型在遵循指令方面的强大能力。

相关资讯

《Python 机器学习》作者新作:从头开始构建大型语言模型,代码已开源

自 ChatGPT 发布以来,大型语言模型(LLM)已经成为推动人工智能发展的关键技术。近期,机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又写了一本新书 ——《Build a Large Language Model (From Scratch)》,旨在讲解从头开始构建大型语言模型的整个过程,包括如何创建、训练和调整大型语言模型。最近,Sebastian Raschka 在 GitHub 上开源了这本新书对应的代码库。项目地址: LLM 来说,指令微调能够有效

ChatGPT 成 8 岁娃“导师”,各国中小学成 AI 坚实用户群体

GenAI 的这股风不知不觉也刮到了学校课堂中。根据外媒报道,美国、英国、韩国等地的中小学逐渐开始推行「AI 教育变革」。为什么被一众大学禁止的 ChatGPT 类 AI 工具,反而要在中小学推广?虽然 OpenAI 还没靠 AI 大模型真正实现盈利,GenAI 已经迎来了一个坚实的用户群体 —— 各国的中小学。根据《金融时报》、《华盛顿邮报》、《纽约时报》等多家媒体的报道,已经有不止一个国家和地区计划在中小学课堂上使用 AI 辅助教学。AI 走入中小学课堂伦敦的一所私立学校 David Game College

得州、佛州也对「终身教授」制度下手了,每年评绩效,有大学准备捡漏

终结终身教职制度,佐治亚州起了个头,后来者不止一个。