DBRX

Databricks 近日在推出了一款通用大言语模型 DBRX，号称是“目前最强开源 AI”，据称在各种基准尝试中都逾越了“市面上所有的开源模型”。IT之家从民间新闻稿中得知，DBRX 是一个基于 Transformer 的大言语模型，采用 MoE（Mixture of Experts）架构，具备 1320 亿个参数，并在 12T Token 的源数据上进行预训练。研究人员对这款模型进行尝试，相较…

「太狂野了」。这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。本周三，大数据人工智能公司 Databricks 开源了通用大模型 DBRX，这是一款拥有 1320 亿参数的混合大师模型（MoE）。DBRX 的基础（DBRX Base）和微调（DBRX Instruct）版本已经在 GitHub 和 Hugging Face 上发布，可用…

初创公司 Databricks 近日发布公告，推出了开源 AI 模型 DBRX，声称是迄今为止全球最强大的开源大型说话模型，比 Meta 的 Llama 2 更为强大。DBRX 采用 transformer 架构，包含 1320 亿参数，共 16 个专家网络组成，每次推理使用其中的 4 个专家网络，激活 360 亿参数。Databricks 在公司博客文章中介绍，在说话理解、编程、数学和逻辑方面，…