30 亿参数“从 0 到 1”,摩尔线程 / 无问芯穹“千卡集群”行业内首次完成国产 GPU 端到端 AI 大模型实训

摩尔线程、无问芯穹今天联合宣布,双方已经正式完成鉴于国产全功能 GPU 千卡集群的 3B 规模大模型“MT-infini-3B”实训,该模型鉴于摩尔线程国产全功能 GPU MTT S4000 组成的千卡集群,以及无问芯穹的 AIStudio PaaS 平台打造。据悉,这次的 MT-infini-3B 模型训练总共用时 13.2 天,全程稳定无中断,集群训练稳定性达到 100%,千卡训练和单机相比扩展效率超过 90%,号称“充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与

摩尔线程、无问芯穹今天联合宣布,双方已经正式完成鉴于国产全功能 GPU 千卡集群的 3B 规模大模型“MT-infini-3B”实训,该模型鉴于摩尔线程国产全功能 GPU MTT S4000 组成的千卡集群,以及无问芯穹的 AIStudio PaaS 平台打造。

据悉,这次的 MT-infini-3B 模型训练总共用时 13.2 天,全程稳定无中断,集群训练稳定性达到 100%,千卡训练和单机相比扩展效率超过 90%,号称“充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产 GPU 千卡智算集群深度合作的新范式”。

30 亿参数“从 0 到 1”,摩尔线程 / 无问芯穹“千卡集群”行业内首次完成国产 GPU 端到端 AI 大模型实训

IT之家获悉,实训出来的 MT-infini-3B 机能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在 C-Eval、MMLU、CMMLU 等 3 个测试集上均完成机能领先。

无问芯穹联合创始人兼 CEO 夏立雪表示,当前无问芯穹正在打造“M 种模型”和“N 种芯片”之间的“M x N”中间层产品,完成多种大模型算法在多元芯片上的高效、统一部署,已与摩尔线程达成深度战略合作,而目前“MT-infini-3B”这一训练成果是行业内首次完成鉴于国产 GPU 芯片从 0 到 1 的端到端大模型实训案例。

给TA打赏
共{{data.count}}人
人已打赏
AI

古尔曼:苹果 iOS 18 的人工智能功用或将标记为测试版

2024-5-26 21:07:57

AI

芝大论文证明 GPT-4 选股准确率高达 60%,人类股票阐明师要下岗?AI 大牛质疑数据污染

2024-5-27 13:02:51

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索