字节跳动与北京大学成立豆包大模型联合实验室

联合实验室的科研将基于字节跳动豆包大模型展开。来自高校和企业的科研人员将在实验室内,重点围绕大模型的训练、推理等开展科研工作。

北京大学联合字节跳动于 12 月 12 日成立豆包大模型系统软件联合实验室

字节跳动与北京大学成立豆包大模型联合实验室

联合实验室的科研将基于字节跳动豆包大模型展开。来自高校和企业的科研人员将在实验室内,重点围绕大模型的训练、推理等开展科研工作。随着实验室的建设和发展,还将有一批批北大学生进入实验室实习实践,和产业一线科研人员一起开展科研工作。

AI在线注:字节跳动豆包大模型团队成立于 2023 年,研究方向涵盖深度学习、强化学习、LLM、语音、视觉、AI Infra、AI Safety 等。该团队已推出自研通用大模型,提供多模态能力,下游支持豆包、扣子、即梦等 50 + 业务,并通过火山引擎开放给企业客户。

今年 5 月,字节跳动在 2024 春季火山引擎 Force 原动力大会上宣布自家豆包大模型正式开启对外服务。

字节跳动与北京大学成立豆包大模型联合实验室

相关资讯

字节&北大Nature子刊新成果:自旋本征态的高效精确求解

编辑 | ScienceAI近些年来 AI for Science 在众多领域取得重大成功。 其中,基于神经网络的量子变分蒙特卡洛方法 (NNVMC) 在量子化学领域展现出强大潜力,备受关注。 最近字节跳动研究部门 ByteDance Research 和北京大学团队在 NNVMC 框架中融入物理对称性,实现了量子激发态的高效精确求解。

让大模型自主探索开放世界,北大&智源提出训练框架LLaMA-Rider

大语言模型因其强大而通用的语言生成、理解能力,展现出了成为通用智能体的潜力。与此同时,在开放式的环境中探索、学习则是通用智能体的重要能力之一。因此,大语言模型如何适配开放世界是一个重要的研究问题。北京大学和北京智源人工智能研究院的团队针对这个问题提出了 LLaMA-Rider,该方法赋予了大模型在开放世界中探索任务、收集数据、学习策略的能力,助力智能体在《我的世界》(Minecraft)中自主探索获取知识并学习解决各种任务,提升智能体自主能力和通用性。                               

改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果

随着大模型的参数量日益增长,微调整个模型的开销逐渐变得难以接受。为此,北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法,在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。论文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models论文链接: : 1 所示,PiSSA (图 1c) 在模型架构上和 LoRA [1] 完全一致 (图 1b),只是初始化 Adapter