联想问天WA7785aG3

联想问天WA7785a G3服务器创纪录!单机运行671B DeepSeek大模型吞吐量高达6708token/s!

联想今日宣布,旗下首款 AMD AI 大模型训练服务器——联想问天 WA7785a G3在单机部署671B(满血版) DeepSeek 大模型时,实现了高达6708token/s 的极限吞吐量,再次刷新了单台服务器运行超大规模模型性能的纪录。 据介绍,此次性能突破得益于联想万全异构智算平台的强大支持。 联想通过访存优化、显存优化、创新的 PCIe5.0全互联架构以及精选 SGLang 框架中的最优算子等一系列创新技术手段,对大模型从预训练、后训练到推理的全流程进行了持续优化。
  • 1