无问芯穹（Infinigence-AI）
全球首个支持单任务千卡规模异构芯片混合训练平台，来自无问芯穹
“打开水龙头前，我们不需要知道水是从哪条河里来的。同理，未来我们用各种 AI 应用时，也不会知道它调用了哪些基座模型，用到了哪种加速卡的算力——这就是最好的 AI Native 基础设施。”7月4日，在2024年世界人工智能大会AI基础设施论坛上，无问芯穹联合创始人兼CEO夏立雪发布了无问芯穹大规模模型的异构分布式混合训练系统，千卡异构混合训练集群算力利用率最高达到了97.6%。同时，夏立雪宣布无问芯穹Infini-AI云平台已集成大模型异构千卡混训能力，是全球首个可进行单任务千卡规模异构芯片混合训练的平台，具备万
GPU推理提速4倍，256K上下文全球最长：无问芯穹刷新大模型优化记录
想用大模型赚钱？这个实力强劲的新面孔决定先把推理成本打下来。大模型业务到底多烧钱？前段时间，华尔街日报的一则报道给出了参考答案。报道显示，微软的 GitHub Copilot 业务（背后由 OpenAI 的 GPT 大模型支撑）虽然每月收费 10 美元，但平均还是要为每个用户倒贴 20 美元。可见当前 AI 服务提供商们正面临着严峻的经济账挑战 —— 这些服务不仅构建成本高昂，运营成本也非常高。有人比喻说：「使用 AI 总结电子邮件，就像是让兰博基尼送披萨外卖。」对此，OpenAI 算过一笔更详细的账：当上下文长度
- 1