利用率

训大模型为啥这么贵?专家:一半以上算力被浪费了

人工智能时代,大模型的发展带来了智能算力需求的大爆发。据估算,自 2012 年以来,AI 模型训练算力需求每 3~4 个月就翻一番,每年训练 AI 模型所需算力增长幅度高达 10 倍。同时,OpenAI 曾在 2020 年提出 Scaling law 定律。该定律指出,大模型的最终性能与计算量、模型参数量及训练数据量的大小密切相关。换言之,若要提升大模型的能力,就需要不断增加模型参数和训练数据量,这就需要部署大规模的训练集群,随着集群规模的不断扩大,训练成本也呈指数级增长。9月13日,在百度智能云举办的媒体技术沙龙
  • 1