英伟达下场，首次优化DeepSeek-R1！B200性能狂飙25倍，碾压H100

当FP4的魔法与Blackwell的强大算力相遇，会碰撞出怎样的火花？答案是：推理性能暴涨25倍，成本狂降20倍！随着DeepSeek-R1本地化部署的爆火，英伟达也亲自下场，开源了首个基于Blackwell架构的优化方案——DeepSeek-R1-FP4。

当FP4的魔法与Blackwell的强大算力相遇，会碰撞出怎样的火花？

答案是：推理性能暴涨25倍，成本狂降20倍！

随着DeepSeek-R1本地化部署的爆火，英伟达也亲自下场，开源了首个基于Blackwell架构的优化方案——DeepSeek-R1-FP4。

在新模型的加持下，B200实现了高达21,088 token每秒的的推理吞吐量，相比于H100的844 token每秒，提升了25倍。

与此同时，每token的成本也实现了20倍的降低。

通过在Blackwell架构上应用TensorRT DeepSeek优化，英伟达让具有FP4生产级精度的模型，在MMLU通用智能基准测试中达到了FP8模型性能的99.8%。

DeepSeek-R1首次基于Blackwell GPU优化

目前，英伟达基于FP4优化的DeepSeek-R1检查点现已在Hugging Face上开源。

模型地址：https://huggingface.co/nvidia/DeepSeek-R1-FP4

后训练量化

模型将Transformer模块内的线性算子的权重和激活量化到了FP4，适用于TensorRT-LLM推理。

这种优化将每个参数从8位减少到4位，从而让磁盘空间和GPU显存的需求减少了约1.6倍。

使用TensorRT-LLM部署

要使用TensorRT-LLM LLM API部署量化后的FP4权重文件，并为给定的提示生成文本响应，请参照以下示例代码：

硬件要求：需要支持TensorRT-LLM的英伟达GPU（如B200），并且需要8个GPU来实现tensor_parallel_size=8的张量并行。

性能优化：代码利用FP4量化、TensorRT引擎和并行计算，旨在实现高效、低成本的推理，适合生产环境或高吞吐量应用。

复制

from tensorrt_llm import SamplingParams
from tensorrt_llm._torch import LLM


def main():


    prompts = [
        "Hello, my name is",
        "The president of the United States is",
        "The capital of France is",
        "The future of AI is",
    ]
    sampling_params = SamplingParams(max_tokens=32)


    llm = LLM(model="nvidia/DeepSeek-R1-FP4", tensor_parallel_size=8, enable_attention_dp=True)


    outputs = llm.generate(prompts, sampling_params)


    # Print the outputs.
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")




# The entry point of the program need to be protected for spawning processes.
if __name__ == '__main__':
    main()

对于此次优化的成果，网友表示惊叹。

「FP4魔法让AI未来依然敏锐！」网友Isha评论道。