Colossal-AI
DeepSeek V3+R1满血微调工具上线！一键启动，硬件要求降10倍
DeepSeek V3/ R1 火爆全网，基于原始模型的解决方案和 API 服务已随处可见，陷入低价和免费内卷。 如何站在巨人肩膀上，通过后训练（post-training）结合专业领域数据，低成本打造高质量私有模型，提升业务竞争力与价值？ 已收获近 4 万 GitHub Star 的 Colossal-AI，发布开源大模型后训练工具箱，包含：DeepSeek V3/ R1 满血 671B LoRA 低成本 SFT 微调；完整的强化学习工具链 PPO，GRPO，DPO，SimPO 等；无缝适配 DeepSeek 系列蒸馏模型在内的 HuggingFace 开源模型；兼容支持英伟达 GPU、华为昇腾 NPU 等多种硬件；支持混合精度训练，gradient checkpoint 等训练加速降低成本；灵活的训练配置接口，支持自定义奖励函数、损失函数等；提供灵活的并行策略配置接口，包括数据并行、模型并行、专家并行、ZeRO 和 Offload 等，以适应不同硬件规模。
没等来OpenAI，等来了Open-Sora全面开源
不久前 OpenAI Sora 以其惊人的视频生成效果迅速走红，在一众文生视频模型中突出重围，成为全球瞩目的焦点。继 2 周前推出成本直降 46% 的 Sora 训练推理复现流程后，Colossal-AI 团队全面开源全球首个类 Sora 架构视频生成模型 「Open-Sora 1.0」，涵盖了整个训练流程，包括数据处理、所有训练细节和模型权重，携手全球 AI 热爱者共同推进视频创作的新纪元。先睹为快，我们先看一段由 Colossal-AI 团队发布的「Open-Sora 1.0」模型生成的都市繁华掠影视频。
多轮对话推理速度提升46%，开源方案打破LLM多轮对话的长度限制
在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共 400 万个 token 的流式输入，22.2 倍的推理速度提升。但 StreamingLLM 使用原生 PyTorch 实现，对于多轮对话推理场景落地应用的低成本、低延迟、高吞吐等需求仍有优化空间。Colossal-AI 团队开源了 SwiftInfer，基于 TensorRT 实现了 StreamingLLM
- 1