开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

又有新的开源模型可以用了。从 Llama、Llama 2 到 Mixtral 8x7B,开源模型的本能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准尝试中都优于 Llama 2 70B 和 GPT-3.5,因此它也被认为是一种「非常接近 GPT-4」的开源选项。在前段时间的一篇论文中,该模型背后的公司 Mistral AI 公布了 Mixtral 8x7B 的一些技术细节,并推出了 Mixtral 8x7B – Instruct 谈天模型。该模型本能在人类评估基准上明显胜过了 GPT-3.5 Tur

又有新的开源模型可以用了。

从 Llama、Llama 2 到 Mixtral 8x7B,开源模型的本能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准尝试中都优于 Llama 2 70B 和 GPT-3.5,因此它也被认为是一种「非常接近 GPT-4」的开源选项。

在前段时间的一篇论文中,该模型背后的公司 Mistral AI 公布了 Mixtral 8x7B 的一些技术细节,并推出了 Mixtral 8x7B – Instruct 谈天模型。该模型本能在人类评估基准上明显胜过了 GPT-3.5 Turbo、Claude-2.1、Gemini Pro 和 Llama 2 70B 谈天模型。在 BBQ 和 BOLD 等基准中,Mixtral – Instruct 也显示出更少的偏见。

但最近,Mixtral Instruct 也被超越了。一家名叫 Nous Research 的公司宣布,他们基于 Mixtral 8x7B 训练的新模型 ——Nous-Hermes-2 Mixtral 8x7B 在很多基准上都胜过了 Mixtral Instruct,达到了 SOTA 本能。

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

该公司联合创始人、X 平台用户 @Teknium (e/λ) 表示,「据我所知,这是第一个击败 Mixtral Instruct 的基于 Mixtral 的模型,在我个人的尝试中,它可能是最好的开源 LLM 模型!」

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

模型资料卡显示,该模型在胜过 100 万个条目(主要是 GPT-4 生成的数据)以及来自整个 AI 领域开放数据集的其他高质量数据上进行了训练。根据后续微调要领的不同,该模型被分为两个版本:   

仅用 SFT 要领微调的 Nous Hermes 2 Mixtral 8x7B SFT。链接:https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-SFT

用 SFT+DPO 要领微调的 Nous Hermes 2 Mixtral 8x7B DPO。链接:https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO。Mixtral Nous-Hermes 2 DPO Adapter 链接:https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO-adapter

至于为什么发布两个版本,@Teknium (e/λ) 给出了如下解释:   

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

如下是模型的输出示例:

1、为数据可视化编写代码

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

2、写赛博朋克迷幻诗

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

3、根据输入文本创建提示

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

如下是一些本能数据:  

1、GPT4All

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

2、AGI-Eval

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

3、BigBench 推理尝试

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

在模型发布之后不久,生成式 AI 初创公司 Together AI 就宣布了其 API 对该模型的支持。Together AI 去年 11 月刚完成超一亿美元的 A 论融资。在 Nous Research 训练和微调 Nous Hermes 2 Mixtral 8x7B 模型期间,Together AI 为他们提供了算力支持。

开源模型新纪录:超越Mixtral 8x7B Instruct的模型来了

图源:https://twitter.com/togethercompute/status/1746994443482538141

Nous Research 最初是一个志愿者项目。他们最近成功完成了 520 万美元的种子融资轮,此轮融资由 Distributed Global 和 OSS Capital 联合领投,同时吸引了包括 Together AI 创始人兼 CEO Vipul Ved Reddy 在内的多位知名投资者的参与。Nous 计划在 2024 年推出一款名为 Nous-Forge 的 AI 编排工具。

从官网介绍中可以看到,他们的产品定位是:能够连接和运行程序,获取和分析客户文档,并生成合成数据供生产使用。这些专有系统可根据客户的需求进行微调,无论其业务领域如何。通过这些新颖的算法,他们希望聚合并分析数字注意力生态系统中以往非结构化的专题数据,为客户提供隐藏的市场脉搏信息。

参考链接:

https://nousresearch.com/

给TA打赏
共{{data.count}}人
人已打赏
应用

微软TaskWeaver开源框架:携手数据分析与行业定制,打造顶级Agent解决方案

2024-1-16 14:38:00

应用

Yann LeCun发来肯定:腾讯人像照片生成可以随便玩了

2024-1-16 14:51:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索