无穹天权(Infini-Megrez)

GPU推理提速4倍,256K上下文全球最长:无问芯穹刷新大模型优化记录

想用大模型赚钱?这个实力强劲的新面孔决定先把推理成本打下来。大模型业务到底多烧钱?前段时间,华尔街日报的一则报道给出了参考答案。报道显示,微软的 GitHub Copilot 业务(背后由 OpenAI 的 GPT 大模型支撑)虽然每月收费 10 美元,但平均还是要为每个用户倒贴 20 美元。可见当前 AI 服务提供商们正面临着严峻的经济账挑战 —— 这些服务不仅构建成本高昂,运营成本也非常高。有人比喻说:「使用 AI 总结电子邮件,就像是让兰博基尼送披萨外卖。」对此,OpenAI 算过一笔更详细的账:当上下文长度
  • 1