Kubernetes
大规模AI推理再非难事：如何在Kubernetes上部署DeepSeek
译者 | 核子可乐审校 | 重楼随着人工智能的持续发展，高效、大规模部署AI驱动应用程序变得至关重要。 而编排平台Kubernetes在管理容器化AI工作负载、确保可扩展性、弹性以及降低管理难度等方面，无疑将发挥不可替代的作用。 在本文中，我们将共同了解如何在Kubernetes上部署DeepSeek，运用其强大的AI推理模型DeepSeek-R1与Open WebUI集成以实现无缝交互。
一文读懂为什么 Kubernetes 中需要 DRA (动态资源分配）机制
在现代云原生架构中，Kubernetes 已经成为企业动态资源调度的核心技术。 随着业务需求的复杂性和多样性日益增加，如何高效地在 Kubernetes 集群中分配和调整资源，成为提升系统弹性和利用率的关键课题。 动态资源调度通过智能化地分配 CPU、内存、GPU 等关键资源，不仅能够满足不同负载的性能需求，还能降低资源浪费，提高基础设施的投资回报率。
OpenAI的停机事件教会我们要构建更具弹性的系统
译者 | 李睿审校 | 重楼2024年12月11日， OpenAI公司提供的服务由于新部署的遥测服务出现问题而遭遇重大停机。 此次事件影响了API、ChatGPT和Sora服务，导致持续数小时的服务中断。 作为一家致力于提供准确高效的人工智能解决方案的供应商，OpenAI公司为此发布一份详细的事后分析报告，公开地讨论了出现问题的原因，以及他们如何计划防止在未来发生类似事件。
谷歌云更新 Kubernetes 引擎，可支持万亿参数的人工智能模型
生成式人工智能模型越来越大，参数已多达 2 万亿个，大型语言模型对计算和存储的需求也在增加。 谷歌云（Google Cloud）今天宣布升级旗下 Kubernetes 引擎的容量，以应对更大规模的模型，Kubernetes . 引擎的容量将从目前支持 15000 个节点集群升级到支持 65000 个节点集群。
如何使用Kubernetes合理调整GPU和CPU资源以训练和推理AI模型
译者 | 李睿审校 | 重楼如今，人工智能服务的迅速崛起创造了对计算资源的巨大需求，而如何有效管理这些资源成为一项关键挑战。 虽然使用Kubernetes运行人工智能工作负载已经取得了长足的进步，但基于动态需求优化调度仍然是一个亟待改进的领域。 在全球范围内，许多组织面临与GPU集群的成本和可用性相关的限制，并且通常依赖于这些计算集群来进行推理工作负载和持续的模型训练和微调。
- 1