译者 | 核子可乐
审校 | 重楼
随着人工智能的持续发展，高效、大规模部署AI驱动应用程序变得至关重要。而编排平台Kubernetes在管理容器化AI工作负载、确保可扩展性、弹性以及降低管理难度等方面，无疑将发挥不可替代的作用。
在本文中，我们将共同了解如何在Kubernetes上部署DeepSeek，运用其强大的AI推理模型DeepSeek-R1与Open WebUI集成以实现无缝交互。
一、为何选择Kubernetes？
作为一款先进的推理模型，DeepSeek将受益于Kubernetes提供的强大容器化与编排能力。Kubernetes凭借其成熟的生态系统以及专门针对复杂AI工作负载量身定制的广泛功能，从Docker Swarm、Apache Mesos等一从同类产品中脱颖而出。以下是选择Kubernetes的主要原因：
1.可扩展性
Kubernetes使用Horizontal Pod Autoscaler（HPA）与Cluster Autoscaler等工具简化了AI工作负载的扩展流程。对于推理请求激增等常见场景，Kubernetes能够自动无缝扩展pod与节点，确保无需人工干预即可实现一致性能。
2.弹性
Kubernetes可实现pod自动重新调度与自我修复功能，借此保障更高弹性水平。一旦DeepSeek pod遭遇资源限制或节点故障等问题，Kubernetes会快速检测受到影响的pod并将其重新部署到健康节点，最大限度缩短停机时间并保障持续可用性。
3.服务发现
Kubernetes内置基于DNS的服务发现与微服务无缝管理功能。DeepSeek的推理服务可由此轻松发现并接入以支持微服务（例如预处理模块及日志记录服务），全程无需复杂的手动配置，段增强可维护性与灵活性。
4.持久存储
Kubernetes PersistentVolumeClaims (PVCs)可有效处理AI模型存储、训练数据集及检查点，确保关键数据即使在更新、pod重启或者节点故障期间也始终保持一致性与可用性。在Kubernetes的支持下，DeepSeek模型更新或者推理pod扩展将真正实现无缝化、无中断。
5.负载均衡
Kubernetes提供内置负载均衡功能，可在多个副本之间高效分配工作负载。此功能对于DeepSeek在多个实例间均匀分配推理请求、优化资源利用率并显著降低响应延迟至关重要。
虽然Docker Swarm等替代方案的使用体验更简单，但Kubernetes拥有管理DeepSeek等复杂AI模型所必需的独特功能完备优势，确保了可扩展性、稳健性与操作简便性。
二、在Kubernetes上部署DeepSeek
1. 设置Kubernetes集群
在本设置中，我们将建立一个三节点Kubernetes集群，具体包含以下节点：
复制$ kubectl get nodes NAME STATUS ROLES AGE VERSION deepseek-control-plane Ready control-plane 6d5h v1.32.0 deepseek-worker Ready <none> 6d5h v1.32.0 deepseek-worker2 Ready <none> 6d5h v1.32.0
即使Kubernetes节点不使用GPU，DeepSeek-R1也仍可正常运行，只是响应速度会受到影响。这里建议大家使用GPU加速以获取最佳性能，特别是在处理复杂推理任务时请务必配备GPU。
你可以使用以下工具在本地设置Kubernetes集群：
- KIND (Kubernetes IN Docker)
- Minikube
- MicroK8s
如果部署在云平台上，则可使用Ingress对象以安全访问设置，并通过配备身份验证与TLS安全机制的Web界面对外公开服务。
2. 使用Ollama部署DeepSeek-R1
这里使用Ollama在Kubernetes 中部署DeepSeek-R1，Ollama负责处理AI模型推理。以下是Ollama部署过程中的Kubernetes manifest信息：
复制apiVersion: apps/v1
kind: Deployment
metadata:
name: ollama
labels:
app: ollama
spec:
replicas: 1
selector:
matchLabels:11
app: ollama
template:
metadata:
labels:
app: ollama
spec:
containers:
- name: ollama
image: ollama/ollama:latest
ports:
- containerPort: 11434
volumeMounts:
- mountPath: /root/.ollama
name: ollama-storage
env:
- name: OLLAMA_MODEL
value: deepseek-r1:1.5b
- name: OLLAMA_KEEP_ALIVE
value: "-1"
- name: OLLAMA_NO_THINKING
value: "true"
- name: OLLAMA_SYSTEM_PROMPT
value: "You are DeepSeek-R1, a reasoning model. Provide direct answers without detailed reasoning steps or <think> tags."
volumes:
- name: ollama-storage
emptyDir: {}3. 将Ollama作为服务公开
为了让其他服务与Ollama通信，这里需要定义一项NodePort服务：
复制apiVersion: v1 kind: Service metadata: name: ollama-service spec: selector: app: ollama ports: - protocol: TCP port: 11434 targetPort: 11434 type: NodePort
4. 部署Open WebUI
为了获得交互式体验，这里集成了Open WebUI，它会接入Ollama并提供用户友好的界面。具体部署方式如下：
复制apiVersion: apps/v1 kind: Deployment metadata: name: openweb-ui labels: app: openweb-ui spec: replicas: 1 selector: matchLabels: app: openweb-ui template: metadata: labels: app: openweb-ui spec: containers: - name: openweb-ui image: ghcr.io/open-webui/open-webui:main env: - name: WEBUI_NAME value: "DeepSeek India - Hardware Software Gheware" - name: OLLAMA_BASE_URL value: "http://ollama-service:11434" - name: OLLAMA_DEFAULT_MODEL value: "deepseek-r1:1.5b" ports: - containerPort: 8080 volumeMounts: - name: openweb-data mountPath: /app/backend/data volumes: - name: openweb-data persistentVolumeClaim: claimName: openweb-ui-pvc
5. 在DeepSeek-R1上运行推理
要测试部署，我们可以在Ollama容器内执行命令：
复制kubectl exec -it deploy/ollama -- bash ollama run deepseek-r1:1.5b
此命令将启动与AI模型的交互式会话，且允许直接输入查询。
三、访问Open WebUI
在部署完成后，即可创建指向URL的入口对象以访问Open WebUI。
复制http://deepseek.gheware.com/auth
用户通过此界面，即可在聊天环境中与DeepSeek-R1进行交互。
总结
通过在Kubernetes上部署DeepSeek，我们建立起可扩展、弹性强且可用于生产的AI推理系统。Kubernetes负责高效协调DeepSeek-R1，确保通过Open WebUI顺利运行模型并与用户交互。此外，大家还可添加GPU加速、自动扩展并使用Prometheus及Grafana监控，以进一步扩展这套基础架构。
对AI从业者来说，Kubernetes将为DeepSeek-R1等推理模型的部署和管理奠定良好基础，真正让推理大模型走入寻常百姓家。
原文标题：DeepSeek on Kubernetes: AI-Powered Reasoning at Scale，作者：Rajesh Gheware
