1760 亿参数、大小 281GB,Mixtral 8x22B 开源模型登场:可 Torrent 下载

感谢Mistral AI 公司近日推出了 Mixtral 8x22B 开源模型,共有 1760 亿个参数,Context 长度(上下文文本)为 6.5 万个 token,可以通过 Torrent 下载。Mistral AI 公司自成立以来一直备受外界关注,“6 人团队,7 页 PPT,8 亿融资”不断缔造传奇,而且在得到微软的投资之后更是进入发展快车道。该公司今天发布的 Mixtral 8x22B 是个开源模型,官方目前放出了 Torrent 种子链接,文件大小为 281GB。用户可以通过磁性链接直接下载,或者通过
感谢Mistral AI 公司近日推出了 Mixtral 8x22B 开源模型,共有 1760 亿个参数,Context 长度(上下文文本)为 6.5 万个 token,可以通过 Torrent 下载。

1760 亿参数、大小 281GB,Mixtral 8x22B 开源模型登场:可 Torrent 下载

Mistral AI 公司自成立以来一直备受外界关注,“6 人团队,7 页 PPT,8 亿融资”不断缔造传奇,而且在得到微软的投资之后更是进入发展快车道。

该公司今天发布的 Mixtral 8x22B 是个开源模型,官方目前放出了 Torrent 种子链接,文件大小为 281GB。用户可以通过磁性链接直接下载,或者通过 HuggingFace 和 Perplexity AI Labs 平台进行下载。IT之家附上相关截图如下:

1760 亿参数、大小 281GB,Mixtral 8x22B 开源模型登场:可 Torrent 下载

1760 亿参数、大小 281GB,Mixtral 8x22B 开源模型登场:可 Torrent 下载

Mixtral 8x22B 共有 1760 亿个参数,Context 长度(上下文文本)为 6.5 万个 token,不过为单一任务可以调用部分模型(440 亿参数),因此使用起来更加灵活。

相关资讯

Mistral开源8X22B大模型,OpenAI更新GPT-4 Turbo视觉,都在欺负谷歌

真有围剿 Google 的态势啊!在谷歌昨晚 Cloud Next 大会进行一系列重大发布时,你们都来抢热度:前有 OpenAI 更新 GPT-4 Turbo,后有 Mistral 开源 8X22B 的超大模型。谷歌内心:南村群童欺我老无力。第二大开源模型:Mixtral 8X22B今年 1 月,Mistral AI 公布了 Mixtral 8x7B 的技术细节,并推出了 Mixtral 8x7B – Instruct 聊天模型。该模型的性能在人类评估基准上明显超过了 GPT-3.5 Turbo、Claude-2.

8x7B MoE与Flash Attention 2结合,不到10行代码实现快速推理

感兴趣的小伙伴,可以跟着操作过程试一试。前段时间,Mistral AI 公布的 Mixtral 8x7B 模型爆火整个开源社区,其架构与 GPT-4 非常相似,很多人将其形容为 GPT-4 的「缩小版」。我们都知道,OpenAI 团队一直对 GPT-4 的参数量和训练细节守口如瓶。Mistral 8x7B 的放出,无疑给广大开发者提供了一种「非常接近 GPT-4」的开源选项。在基准测试中,Mistral 8x7B 的表现优于 Llama 2 70B,在大多数标准基准测试上与 GPT-3.5 不相上下,甚至略胜一筹。

Mixtral 8x7B论文终于来了:架构细节、参数量首次曝光

Mixtral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5。前段时间,那个爆火整个开源社区的 Mixtral 8x7B MoE 模型论文放出了。此前,由于 OpenAI 团队一直对 GPT-4 的参数量和训练细节守口如瓶。Mistral 8x7B 的放出,无疑给广大开发者提供了一种「非常接近 GPT-4」的开源选项。要知道,很早之前就有人爆料,OpenAI 也是采用了「混合专家模型」(Mixture of Experts,MoE)的构架来搭建 GPT-4。随着论文的放出,一些研究