无问芯穹（Infinigence-AI）

“打开水龙头前，我们不需要知道水是从哪条河里来的。同理，未来我们用各种 AI 利用时，也不会知道它挪用了哪些基座模型，用到了哪种加速卡的算力——这就是最好的 AI Native 基础设施。”7月4日，在2024年世界人工智能大会AI基础设施论坛上，无问芯穹联合创始人兼CEO夏立雪发布了无问芯穹大规模模型的异构分布式融合训练系统，千卡异构融合训练集群算力利用率最高达到了97.6%。同时，夏立雪宣布无…

基于 Transformer架构的大型语言模型在各种基准尝试中展现出优异功能，但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数，采用FP16保存，模型大小约为350GB，而即使是英伟达最新的B200 GPU 内存也只有192GB ，更不用说其他GPU和边缘设备。大模型压缩，即将大模型“瘦身”后塞进资源受限的场景，以减少模型保存、访存和计算支出。在尽量不损失模…

想用大模型赚钱？这个实力强劲的新面孔决定先把推理利润打下来。大模型业务到底多烧钱？前段时间，华尔街日报的一则报道给出了参考答案。报道显示，微软的 GitHub Copilot 业务（背后由 OpenAI 的 GPT 大模型支撑）虽然每月收费 10 美元，但平均还是要为每个用户倒贴 20 美元。可见当前 AI 服务提供商们正面临着严峻的经济账挑战 —— 这些服务不仅构建利润高昂，运营利润也非常高。有…