浪潮信息发布源 2.0-M32 大模型 4bit / 8bit 量化版：运行显存仅需 23GB，号称性能媲美 LLaMA3
浪潮信息今日发布源 2.0-M32 大模型 4bit 和 8bit 量化版，性能号称“比肩 700 亿参数的 LLaMA3 开源大模型”。4bit 量化版推理运行显存仅需 23.27GB，处理每 token 所需算力约为 1.9 GFLOPs，算力消耗仅为同等当量大模型 LLaMA3-70B 的 1/80。而 LLaMA3-70B 运行显存为 160GB，所需算力为 140GFLOPs。据浪潮信息…- 25
- 0
M32
扫码打开当前页
- ￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×