Scaling Law 持续见效，让算力就快跟不上大模型的膨胀速度了。「领域越大、算力越高、效果越好」成为行业圭皋。主流大模型从百亿跨越到 1.8 万亿参数只用了1年，META、Google、微软这些巨头也从 2022 年起就在搭建 15000 卡以上的超大集群。「万卡已然成为 AI 主战场的标配。」
然而在国内，全国产化的 GPU 万卡集群，则是屈指可数。有超大领域，同时还具备超强通用性的万卡集群，更是行业空白。
当国产 GPU 万卡万 P 集群首次亮相时，自然就引发了行业广泛关注。
7 月 3 日，摩尔线程在上海重磅宣布其 AI 旗舰产品夸娥（KUAE）智算集群解决方案兑现重大升级，从当前的千卡级别大幅扩展至万卡领域。摩尔线程夸娥（KUAE）万卡智算集群，以全功能 GPU 为底座，旨在打造国内领先的、能够承载万卡领域、具备万 P 级浮点运算能力的国产通用减速估计平台，专为万亿参数级别的复杂大模型训练而设计。这一里程碑式的进展，树立了国产 GPU 技能的新标杆，有助于兑现国产智算集群估计能力的全新跨越，将为我国人工智能领域技能与使用创新、科研攻坚和产业升级提供坚实可靠的关键基础设施。
此外，摩尔线程联合中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团、中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司（排名不分先后）分别就三个万卡集群项目进行了战略签约，多方聚力共同构建好用的国产 GPU 集群。
摩尔线程创始人兼 CEO 张建中表示：“当前，我们正处在生成式人工智能的黄金时代，技能交织催动智能涌现，GPU 成为减速新技能浪潮来临的创新引擎。摩尔线程矢志投身于这一历史性的创造进程，致力于向全球提供减速估计的基础设施和一站式解决方案，为混合人工智能和数字孪生的数智世界打造先进的减速估计平台。夸娥万卡智算集群作为摩尔线程全栈 AI 战略的一块重要拼图，可为各行各业数智化转型提供澎湃算力，不仅有力彰显了摩尔线程在技能创新和工程实践上的实力，更将成为推动 AI 产业发展的新起点。”
AI 主战场，万卡通用算力是标配
大模型自问世以来，关于其未来的走向和发展趋势亟待时间验证，但从当前来看，几种演进趋势值得关注，使得其对算力的核心需求也愈发明晰。
首先，Scaling Law 将持续奏效。Scaling Law 自 2020 年提出以来，已揭示了大模型发展背后的 “暴力美学”，即通过算力、算法、数据的深度混合与经验积累，兑现模型性能的飞跃，这也成为业界公认的将持续影响未来大模型的发展趋势。Scaling Law 将持续奏效，需要单点领域够大并且通用的算力才能快速跟上技能演进。
其次，Transformer 架构不能兑现大一统，和其他架构会持续演进并共存，形成多元化的技能生态。生成式 AI 的进化并非仅依赖于领域的简单膨胀，技能架构的革新同样至关重要。Transformer 架构虽然是当前主流，但新兴架构如 Mamba、RWKV 和 RetNet 等不断刷新估计效益，加快创新速度。随着技能迭代与演进，Transformer 架构并不能兑现大一统，从稠密到稀疏模型，再到多模态模型的混合，技能的进步都展现了对更高性能估计资源的渴望。
与此同时，AI、3D 和 HPC 跨技能与跨领域混合不断减速，推动着空间智能、物理 AI 和 AI 4Science、世界模型等领域的边界拓展，使得大模型的训练和使用环境更加复杂多元，市场对于能够支持 AI+3D、AI + 物理仿真、AI + 科学估计等多元估计混合发展的通用减速估计平台的需求日益迫切。
多元趋势下，AI 模型训练的主战场，万卡已是标配。随着估计量不断攀升，大模型训练亟需超级工厂，即一个 “大且通用” 的减速估计平台，以缩短训练时间，兑现模型能力的快速迭代。当前，国际科技巨头都在通过积极部署千卡乃至超万卡领域的估计集群，以确保大模型产品的竞争力。随着模型参数量从千亿迈向万亿，模型能力更加泛化，大模型对底层算力的诉求进一步升级，万卡甚至超万卡集群成为这一轮大模型竞赛的入场券。
然而，构建万卡集群并非一万张 GPU 卡的简单堆叠，而是一项高度复杂的超级系统工程。它涉及到超大领域的组网互联、高效益的集群估计、长期稳定性和高可用性等诸多技能难题。这是难而正确的事情，摩尔线程希望能够建设一个领域超万卡、场景够通用的减速估计平台，并优先解决大模型训练的难题。
夸娥：国产万卡万 P 万亿大模型训练平台
夸娥（KUAE）是摩尔线程智算中心全栈解决方案，是以全功能 GPU 为底座，软硬一体化、完整的系统级算力解决方案，包括以夸娥估计集群为核心的基础设施、夸娥集群管理平台（KUAE Platform）以及夸娥大模型服务平台（KUAE ModelStudio），旨在以一体化交付的方式解决大领域 GPU 算力的建设和运营管理问题。
基于对 AI 算力需求的深刻洞察和前瞻性布局，摩尔线程夸娥智算集群可兑现从千卡至万卡集群的无缝扩展，旨在满足大模型时代对于算力 “领域够大 + 估计通用 + 生态兼容” 的核心需求，通过整合超大领域的 GPU 万卡集群、极致的估计效益优化以及高度稳定的运行环境，以万卡智算集群的新超级工程，重新定义国产集群估计能力的新标准。
夸娥万卡智算解决方案具备多个核心特性：
超大算力，万卡万 P：在集群估计性能方面，全新一代夸娥智算集群兑现单集群领域超万卡，浮点运算能力达到 10Exa-Flops，大幅提升单集群估计性能，能够为万亿参数级别大模型训练提供坚实算力基础。同时，在 GPU 显存和传输带宽方面，夸娥万卡集群达到 PB 级的超大显存总容量、每秒 PB 级的超高速卡间互联总带宽和每秒 PB 级超高速节点互联总带宽，兑现算力、显存和带宽的系统性协同优化，全面提升集群估计性能。
超高稳定，月级长稳训练：稳定性是衡量超万卡集群性能的关键。在集群稳定性方面，摩尔线程夸娥万卡集群平均无故障运行时间超过 15 天，最长可兑现大模型稳定训练 30 天以上，周均训练有效益目标最高可达 99% 以上，远超行业平均水平。这得益于摩尔线程自主研发的一系列可预测、可诊断的多级可靠机制，包括：软硬件故障的自动定位与诊断预测兑现分钟级的故障定位，Checkpoint 多级存储机制兑现内存秒级存储和训练任务分钟级恢复以及高容错高效能的万卡集群管理平台兑现秒级纳管分配与作业调度。
极致优化，超高 MFU：MFU 是评估大模型训练效益的通用指标，可以直接反应端到端的集群训练效益。夸娥万卡集群在系统软件、框架、算法等层面一系列优化，有效估计效益（MFU）目标最高达 60%，可达到国际水平。其中，在系统软件层面，基于极致的估计和通讯效益优化等技能手段，大幅提升集群的执行效益和性能表现。在框架和算法层面，夸娥万卡集群支持多种自适应混合并行策略与高效显存优化等，可以根据使用负载选择并自动配置最优的并行策略，大幅提升训练效益和显存利用。同时，针对超长序列大模型，夸娥万卡集群通过 CP 并行、RingAttention 等优化技能，有效缩减估计时间和显存占用，大幅提升集群训练效益。
全能通用，生态友好：夸娥万卡集群是一个通用减速估计平台，估计能力为通用场景设计，可减速 LLM、MoE、多模态、Mamba 等不同架构、不同模态的大模型。同时，基于高效易用的 MUSA 编程语言、完整兼容 CUDA 能力和自动化迁移工具 Musify，减速新模型 “Day0” 级迁移，兑现生态适配 “Instant On”，助力客户业务快速上线。
万众一芯，共建大模型使用生态
万卡集群的建设需要产业界的齐心协力，为兑现大模型创新使用的快速落地，让国产算力 “为用而建”。发布会现场，摩尔线程携手中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团、中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司（排名不分先后），分别就青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目进行了战略签约。
借助摩尔线程先进的夸娥全栈智算解决方案，各方将携手共建强大的全国产智算平台，以减速产业数字化转型和高质量发展。夸娥万卡智算集群项目标志着国产 AI 算力基础设施的又一重大进展，将为各地的数字经济发展注入新活力。
摩尔线程与中国移动通信集团青海有限公司战略签约
摩尔线程与中国联通青海公司、北京德道信科集团战略签约
摩尔线程与中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司战略签约
发布会后，无问芯穹、清程极智、360、京东云、智平方等五家合作伙伴代表纷纷登台，分享了摩尔线程夸娥智算集群如何助力其在大模型训练、大模型推理、具身智能等不同场景和领域的创新，展现了夸娥智算集群在实际使用中的巨大潜力与广泛适用性。
摩尔线程愿与广大行业伙伴并肩同行，发挥全栈 AI 的力量，减速推动一个由万卡智算集群为强大底座，多领域伙伴共建、广泛赋能数字经济的国产智算生态，共同开启一个属于大模型与生成式人工智能的新时代，为美好世界减速。在 WAIC 期间，摩尔线程将在上海世博展览馆（H2 馆 D616）开展 “全栈 AI 为美好世界减速” 的主题成果展示，包括减速卡、服务器、超混合一体机和 AIGC 使用在内的摩尔线程全栈 AI 产品悉数亮相，并携手众多行业合作伙伴联合展示基于夸娥智算集群的丰富行业大模型与使用方案。