无穹天权（Infini-Megrez）

GPU推理提速4倍，256K上下文全球最长：无问芯穹刷新大模型优化记录

想用大模型赚钱？这个实力强劲的新面孔决定先把推理成本打下来。大模型业务到底多烧钱？前段时间，华尔街日报的一则报道给出了参考答案。报道显示，微软的 GitHub Copilot 业务（背后由 OpenAI 的 GPT 大模型支撑）虽然每月收费 10 美元，但平均还是要为每个用户倒贴 20 美元。可见当前 AI 服务提供商们正面临着严峻的经济账挑战 —— 这些服务不仅构建成本高昂，运营成本也非常高。有人比喻说：「使用 AI 总结电子邮件，就像是让兰博基尼送披萨外卖。」对此，OpenAI 算过一笔更详细的账：当上下文长度