AI在线 AI在线

Skywork

昆仑万维发布奖励模型 Skywork-Reward，登顶 RewardBench 排行榜

昆仑万维发布奖励模型 Skywork-Reward，登顶 RewardBench 排行榜
昆仑万维发布了两款全新的奖励模型 Skywork-Reward-Gemma-2-27B 和 Skywork-Reward-Llama-3.1-8B。在奖励模型评估基准 RewardBench 上，这两款模型分别位列排行榜上的第一和第三位。奖励模型（Reward Model）是强化学习（Reinforcement Learning）中的核心概念和关键组成，它用于评估智能体在不同状态下的表现，并为智能体提供奖励信号以指导其学习过程，让智能体能够学习到在特定环境下如何做出最优选择。奖励模型在大语言模型（Large Lan
9/13/2024 3:00:14 PM
沛霖（实习）
“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE

“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE
昆仑万维今日宣布开源 2 千亿稀疏大模型 Skywork-MoE，基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来，号称是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE 大模型，也是首个支持用单台 RTX 4090 服务器（8 张 RTX 4090 显卡）推理的开源千亿 MoE 大模型。据介绍，本次开源的 Skywork-MoE 模型隶属于天工 3.0 的研发模型系列，是其中的中档大小模型（Skywork-MoE-Medium），模型的总参数量为 1
6/3/2024 6:11:54 PM
汪淼
昆仑万维宣布 4 月 17 日发布并开源“天工大模型 3.0”：4000 亿参数，号称性能超 Grok 1.0

昆仑万维宣布 4 月 17 日发布并开源“天工大模型 3.0”：4000 亿参数，号称性能超 Grok 1.0
感谢昆仑万维集团日前通过官方公众号宣布，在“天工”大模型发布一周年之际，天工大模型 3.0 将于 4 月 17 日正式开启公测，并将同步选择开源。“天工 3.0”采用 4000 亿级参数 MoE（混合专家模型），官方称是全球模型参数最大、性能最强的 MoE 模型之一，性能超过 Grok 1.0。据介绍，相较于上一代“天工 2.0”MoE 大模型，“天工 3.0”在模型语义理解、逻辑推理、以及通用性、泛化性、不确定性知识、学习能力等领域拥有“惊人的”性能提升，其模型技术知识能力提升超过 20%，数学 / 推理 / 代
4/2/2024 9:08:47 AM
清源
昆仑万维开源「天工」13B系列大模型，0门槛商用

昆仑万维开源「天工」13B系列大模型，0门槛商用
10月30日，昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列，并罕见地配套开源了600GB、150B Tokens的超大高质量开源中文数据集。昆仑万维「天工」Skywork-13B系列目前包括130亿参数的两大模型：Skywork-13B-Base模型、Skywork-13B-Math模型，它们在CEVAL, GSM8K等多个权威评测与基准测试上都展现了同等规模模型的最佳效果，其中文能力尤为出色，在中文科技、金融、政务等领域表现均高于其他开源模型。Skywork-13B下载地址（Model Sc
10/30/2023 2:17:00 PM
新闻助手
  • 1