用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

ChatGPT 出现之后,科技公司正在争相追赶,学界也在不断寻找开源且轻量的解决方案。

此前,人们基于 Meta 的 LLaMA 构建了一系列参数较少的新模型,只用几十亿参数就可以获得接近 GPT-3.5 的效果。然而从 ChatGPT 和 GPT-4 的发展中我们可以看到,高质量的标注数据至关重要,OpenAI 对数据和标注工作下了很大力气。

对于学界来说,很难在短期做同样的事。最近,有钻研者尝试通过让 ChatGPT 自我对话生成多轮对话的「数据集」,最终训练出了强大的言语模型。

4 月 4 日,来自加州大学圣迭戈分校、中山大学和微软亚研的钻研者提出了「白泽」。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

论文《Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data》:

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

论文链接:https://arxiv.org/abs/2304.01196

白泽目前包括四种英语模型:白泽 -7B、13B 和 30B(通用对话模型),以及一个垂直领域的白泽 – 调理模型,供钻研 / 非商业用途利用,并计划在未来发布中文的白泽模型。

白泽的数据处理、训练模型、Demo 等全部代码已经开源。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

Github:https://github.com/project-baize/baize/blob/main/README.md

在线 Demo:https://huggingface.co/spaces/project-baize/baize-lora-7B

在新钻研中,作者提出了一个自动收集 ChatGPT 对话的流水线,通过从特定数据集中采样「种子」的方式,让 ChatGPT 自我对话,批量生成高质量多轮对话数据集。其中如果利用领域特定数据集,比如医学问答数据集,就可以生成高质量垂直领域语料。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

白泽提出的训练方法。通过利用 ChatGPT 的功能自动生成高质量的多轮谈天语料,让 ChatGPT 与自己进行对话,模拟用户和 AI 的响应。

为了在资源匮乏的环境中微调大言语模型,作者采用了有效利用计算资源的参数高效调优方法。该策略使最先进的言语模型保持了高性能和适应性。白泽改进了开源大型言语模型 LLaMA,通过利用新生成的谈天语料库对 LLaMA 进行微调,该模型在单个 GPU 上运行,使其可供更广泛的钻研职员利用。

自谈天的过程是训练内容的基础,为了让 ChatGPT 能够有效生成数据,钻研职员应用一个模板来定义格式和要求,让 ChatGPT 的 API 持续为对话双方生成抄本,直到达到自然停止点。对话以「种子」为中心,「种子」可以是一个问题,也可以是设置谈天主题的关键短语。

通过这样的方法,钻研职员分别收集了 5 万条左右 Quora、StackOverflow(编程问答)和 MedQA(医学问答)的高质量问答语料,并已经全部开源。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

ChatGPT 利用从 Quora 数据集采样的种子生成的自我谈天示例。

相比之下,Vicuna 利用从 sharegpt.com 上抓取的对话,这样做的一个好处是收集到的数据质量很高。但是,此来源可能存在严重的隐私和法律问题。值得注意的是,sharegpt.com 最近已经禁止抓取,这意味着该数据源不再可用,Vicuna 难以复现。

在取得这些数据后,作者利用 LoRA(low-rank adaptation)方法在英伟达 A100 单卡下训练了三种尺寸的白泽模型,最短训练时长只需要 5 小时(调理模型),最长也只需要 36 小时(30B 通用对话模型)。训练的权重最大也仅有 54.6M 的参数量。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

钻研职员将白泽与 Alpaca-LoRA、ChatGPT 进行比较,展示了常识问答、事件分析、解释见笑、问题拒答、写代码,以及调理模型的健康咨询等能力。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

表 5:解释雷曼兄弟破产。总体而言,Baize-7B 提供了比 Alpaca-LoRA 更全面的谜底,同时包含了 ChatGPT 谜底中的大部分要点。另一方面,ChatGPT 提供了更长更详细的谜底。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

表 6:解释见笑的示例。Baize-13B 和 ChatGPT 可以成功解释这个见笑,Alpaca-LoRA 未能做到。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

表 7:谈天模型如何响应用户不道德请求的示例。Baize 和 ChatGPT 拒绝回答不道德的问题,而 Alpaca-LoRA 提供谜底。

用ChatGPT训练羊驼:「白泽」开源,轻松构建专属模型,可在线试玩

表 8:生成代码示意。

除了一般模型外,钻研职员还在调理从业者的帮助下测试了 Baize-Healthcare,专业职员已确认白泽有关调理问题的回应是适当的。

目前,「白泽」支持 20 种言语,对于英语以外的内容质量有限,继承了 LLaMA 的知识,可能会出现幻觉,或用过时知识进行回答。

下一步,钻研职员计划探索引入强化学习以进一步提高白泽模型的性能。

给TA打赏
共{{data.count}}人
人已打赏
AI

斯坦福2023 AI Index回顾十年进展:大模型作者一半来自美国机构、中国期刊论文领先

2023-4-4 15:16:00

AI

阿里版ChatGPT就快来了

2023-4-6 11:06:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索